大姿态变化条件下的深度人脸识别研究

In recent years, deep learning methods have greatly improved the accuracy of face recognition in various scenes. However, the accuracy rates of the current methods still have big gaps with the application demand in the condition of large attitude change, which needs to be studied and explored in academic research. Faces with large pose variations have high degrees of freedom and complex feature distributions, which bring new challenges to image alignment and feature representation. The project will (1) to study the task of generating virtual samples for recognition, propose an effective classification loss based virtual sample generation method; (2) to study the joint optimization of face alignment and space transformation, solve the problem of large pose alignment; (3) to model intra class variation feature based deep transfer learning method; (4) to explore the mechanism of invariant convolution characteristics, propose more effective pose invariant feature learning network structures. It is expected that this project will get the theoretical progress of deep learning, improve the recognition performance on the standard data set, and promote the practical application of face recognition in robot vision, online pursuit and anti terrorist security.

近年来，深度学习技术大幅度地提高了各种场景下的人脸识别准确率。准正面人脸识别已获得大规模商用，但大姿态变化条件下的识别水平与应用需求仍有较大差距，亟待学术界深入研究。大姿态人脸的自由度极高且特征分布复杂，给图像对齐和特征表示都带来全新的挑战。本项目将（1）研究面向识别任务的虚拟样本生成方法，使用深度特征空间的反馈高效地生成位于类别边界的支撑样本；（2）研究空间变换网络与深度特征学习联合优化，通过预测最优仿射区域来解决大姿态人脸的对齐问题；（3）研究类内大姿态复杂变化的特征迁移建模问题，把外部海量数据的姿态外观规律迁移到特定的识别候选人集合中；（4）探索深度卷积网络进行跨姿态人脸特征匹配的机理，提出具有更强姿态不变性特征学习网络结构。预期本项目将获得小样本深度学习和深度迁移学习的理论进展，有效提高大姿态人脸数据集上的识别性能，推进目标人物不配合场景下的实际应用。

本项目面向视频监控和维稳安全的国家重大需求，重点以人脸识别为目标任务研究视觉特征学习这一核心理论问题，取得了较好的理论成果。深度学习大幅度地提高了人脸识别的精度水平，但视觉识别仍然面临泛化性、鲁棒性和适应性的不足，在大姿态条件下的精度仍然不足，本项目在视觉特征表达的三方面理论进展部分地解决了这些挑战。第一，在训练样本数较少时，以特征解耦的方式提高视觉特征对开放环境变化的适应能力，增强识别系统的识别精度。第二，通过大间隔学习等手段提高对环境噪声和人为对抗噪声等干扰因素具有较强的抵御能力，增强系统的稳定性。第三，通过无监督学习和群组均衡学习来适应数据分布变化,增强识别系统对多样化输入的适应性和公平性。在本项目资助下，项目负责人以第一或通讯作者发表TPAMI、TIP、PR等SCI一区二区期刊论文和CVPR、ICCV、NIPS、AAAI等CCF-A类会议论文33篇，得到了英美等国院士和数十位IEEE Fellow等众多著名学者的正面引用。项目负责人申请国家发明专利7项。项目成果全面系统地提升了视觉识别的稳定性、准确性和适应性，据此研制的智能监控系统在封闭环境和开放环境下均获得较大规模应用，取得显著社会经济效益。因本项目的科研工作，项目负责人多次应邀在ICCV、ICB、PRCV等国内外会议上做分会场报告，作为客座主编在生物特征识别领域的顶级期刊IEEE TBIOM组织了该期刊首个“可信生物特征识别”专刊，培养了博士生4名，硕士生10余名，获得优博、优硕多人，其中博士生李珊获得北京市优秀博士学位论文奖。此外，项目开源了RFW、CALFW、CPLFW、TALFW等可信人脸识别系列数据集，推动识别鲁棒性、安全性和公平性研究，已被帝国理工、腾讯、百度等国内外著名团队广泛使用，累计引用1017次（谷歌学术），被斯坦福大学《人工智能指数2022》作为计算机视觉创新成果收录。