厦门大学计算机系优秀青年教师系列介绍之一--张亚超博士

张亚超,博士,现为厦门大学信息学院计算机科学与技术系助理教授,硕士生导师。2022年6月于厦门大学获得计算机科学与技术专业工学博士学位,2022年9月至2024年10月清华大学从事博士后工作,2024年11月加入厦门大学信息学院。


教学方面:加入厦门大学后担任《计算方法》课程助教,设计《人工智能引论》课程改革方案,以及《软件伦理》课程建设方案,为后续开设课程做好准备。以饱满的热情投身其中,坚守教书育人的初心,力求为学生的成长和学科发展贡献智慧与力量。

科研方向:目前主要研究方向为交互式3D场景感知与具身生成,包含多模态学习、3D具身感知、跨域学习、零次学习等机器学习前沿领域。致力于构建像人类一样感知、理解、交互决策的智能体。

目前已发表高水平论文30余篇,以第一作者或者通讯作者发表CCF-A类会议论文或JCR-1学术期刊论文17篇。根据谷歌学术统计,论文被引用1500余次,h-指数为18。主持国家自然科学基金青年项目,参与参与科技创新2030“新一代人工智能”重大项目。任中国自动化学会混合智能专委会委员、以及国际知名期刊、会议审稿人。分别获2022年、2021年福建省计算机学会学术年会 年度优秀论文 一等奖。


主要研究成果:

(1)提出基于知识正迁移的有限标签多模态联合学习3D环境感知方法

以解决模型适应于不同域时因数据分布差异引起性能退化为目标,从自监督学习、多视角表示和学习、知识蒸馏出发,以面向多模态无监督域自适应性的知识迁移为核心理论,研究跨模态知识迁移、跨域多模态知识迁移关键技术,用知识迁移方法解决多模态域自适应分割的一般求解范式,方法示意图如图3所示。

图3基于知识正迁移的有限标签多模态联合学习3D环境感知示意图


(2)提出面向弱标记的自监督三维点云分割方法

旨在突破弱标记带来的监督信息不足以及3D点云分割固有的点云特征表示、学习及损失函数设计等瓶颈问题,弱标记条件下自监督3D点云分割示意图如图4所示。以自监督框架下的弱标记3D点云分割建模为核心理论,研究3D点云的特征表示和学习、场景级任务先验约束等关键技术,用自监督学习方法解决3D点云分割的关键技术。



图4弱标记条件下自监督3D点云分割示意图

(3)多模态数据驱控的智能交互数字人

针对多模态驱动、沉浸式交互面临动作缺乏时序一致性与物理真实感、缺少多模态可控能力与多角色交互行为可控等问题。聚焦于多模态驱动的交互式可控数字人生成,围绕复杂语义与信号驱动下的数字人行为建模与合成关键技术,系统地提出了一系列创新性算法框架与核心技术。


研究应用案例:

案例一:【企业知识宣传】根据企业提供影音、文本,驱动企业IP形象进行内容宣讲。

案例二:【文化遗产数字化传承与短视频创作】中国传统舞蹈、戏剧3D数字人生成。

案例三:【缺陷检测、异物检测】发动机、玻璃面板、缺陷检测,电子设备异常嵌入物检测。