多模态生物特征识别方法研究

With the advances in computing and imaging technologies, particularly the applications of sensing devices such as depth, near-infrared, and 3D, visual multi-modal perception becomes an important way in machine perception. Multi-modal biometrics is becoming an important research direction in multi-modal perception, and a few methods have been proposed in the past few years. However, because of the diversities in biometrics trait and modality, multi-modal biometrics is still suffering from inefficient feature representation, missing modality, and limited data problems. To overcome these problems, this project aims at the research of complementary feature representation fusing multiple traits and modalities, cross-modality recognition method robust to missing modality, and knowledge transfer methods from auxiliary unimodal data to build robust multi-modal classifiers. Additionally, we will collect a large-scale multimodal biometrics database to improve the algorithm’s generalization ability, and robustness in realistic scenarios. The study of this project will benefit machine visual perception from robustness to accuracy in unconstrained sensing and uncooperative subject scenarios.

随着计算技术与成像技术的发展，特别是深度、近红外和三维传感器的广泛应用，多模态感知成为机器视觉感知的重要途径。作为多模态感知的重要内容之一，多模态生物特征识别近年来受到越来越多的关注并取得了一定的进展。然而，由于多模态数据的生物特征多样性和数据模态多样性等问题，多模态生物特征识别仍然面临特征表示互补性不强，对模态缺失及数据与标注稀缺不鲁棒等问题。针对上述问题，本项目研究融合多生物特征和多数据模态的互补特征表示，设计在生物特征缺失或模态缺失条件下的可靠跨模态识别方法，建立利用辅助单模态数据实现多模态分类的知识迁移与弱监督学习算法；此外，构建多模态生物特征识别数据集提升识别方法的推广能力，实现真实场景下鲁棒的多模态生物特征识别。本项目的研究将有助于提升机器视觉感知在复杂环境和用户不配合条件下的鲁棒性与准确性。

项目组按照研究计划，围绕多模态生物特征识别这一核心问题，从四个密切关联的方面开展工作，取得的主要工作进展包括：（1）在多模态融合与多任务协同建模方面，提出了基于多任务学习的模态共性特征与专有特征联合学习和兼顾任务相关性与异质性的层级式多任务学习方法，应用于RGB-D多模态人脸识别、人脸多属性分析等任务；（2）在面向跨模态生物特征识别的跨域图像合成方面，提出了身份保持的跨域人脸图像合成和基于跨模态领域知识迁移的跨域合成方法，应用于面向跨模态人脸识别的跨域人脸合成以及面向疾病分类的跨域医学影像合成等任务；（3）在非配对数据条件下的半监督分类建模方面，提出了基于协同正则化的半监督分类建模和基于无监督对抗迁移的分类建模方法，应用于人脸动作单元（AU）识别以及人脸欺骗检测；（4）在多模态生物特征数据集建设方面，从模态多样性和任务多样性的角度出发，构建了3个多模态生物特征数据集，可以分别用于研究RGB-D-NIR多模态人脸识别（包含1000多人，4种场景）、基于视觉的生理信号测量（包含1000多人，心率、血氧和呼吸率等生理指标）和纹身辅助生物特征识别（包含超过30万网络纹身图像和200张纹身模拟画像）。基于上述工作，项目组在领域主流国际期刊和论文上发表论文36篇，其中IEEE Trans论文 7篇（含2篇IEEE Trans. PAMI, IF: 17.73），CVPR/NeurIPS/ECCV/MICCAI论文9篇，申请专利4项。发表论文中最高单篇引用为174次（IEEE Trans. PAMI 2018）。部分成果获人脸识别领域国际知名会议IEEE FG2019最佳海报论文奖，CCBR2018最佳海报论文奖，以及ICMI2018国际竞赛亚军。项目负责人5次在国际会议（CVPR2020，FG2020，WACV2020，FG2019，BTAS2019）上组织生物特征识别相关的主会特别会议（Special Session）、学术论坛和国际竞赛。依托培养博士研究生2名（在读），硕士生9名（7人毕业，2人在读），获国家奖学金2项，中科院院长奖1项，中科院计算所奖学金5项。