数据和模型联合驱动人脸识别技术研究

With the development of deep learning, the face recognition technology has achieved a big breakthrough. Most of the face recognition problems in constrained environment have been solved. However, face recognition in unconstrained environment is still a challenging research topic. The main challenging factors for face recognition in unconstrained environment are pose, light conditions and age etc. The end to end deep leaning for face recognition cannot achieve the satisfied performance. In this research project, we aims to combine the data driven and model driven methods for facial landmark detection, near infrared-visible light face recognition, age invariant face recognition etc. By combing the data driven method and model driven method, this project will improve the deep learning based face recognition performance further, which can push forward the face recognition technology for real world application.

随着深度学习的快速发展，人脸识别技术也取得了巨大的进展，可控环境下的人脸识别问题已经基本解决。然而，无约束环境下的人脸识别仍然是一个很有挑战性的问题。影响无约束人脸识别精度的因素主要有姿态、光照、年龄等因素，直接用基于深度学习的端到端识别模型难以解决上述所有问题。本项目从影响无约束人脸识别精度因素出发，提出了基于模型和数据联合驱动的关键点检测、可见光-近红外人脸识别、跨年龄人脸识别等。通过结合数据驱动算法的强大的学习能力以及模型驱动算法的精确的先验知识，本项目有望进一步提升基于深度学习算法的人脸识别的性能，进一步推动人脸识别算法的实用化。

本项目主要针对数据和模型联合驱动人脸识别算法展开研究，主要研究围绕关键点检测、可见光-近红外人脸识别、跨年龄人脸识别等，在相关的问题上充分展开研究，包括文献调研和分析、数据和知识驱动深度学习算法设计等。研究取得的重要成果包括：(1)提出基于知识和数据驱动的鲁棒人脸关键点检测方法，从关键点分布先验知识出发，通过将全卷积神经网络方法（数据驱动）和局部专家模型方法（知识驱动）相结合，设计了一个准确且鲁棒的人脸特征点检测方法；(2)提出基于体素表达和对抗学习的2D/3D关键点检测方法，首先，我们提出了紧致的立体表示用来编码3D关键点像素位置，其次联合体素表达和坐标回归框架进行统一人脸关键点定位，最终提升了关键点检测在现实场景下的定位性能；(3)提出基于交叉层级回归的头部姿态估计和关键点检测，我们发现头部姿态估计和关键点检测是两个相互关联的问题，在这个先验知识基础上我们结合头部姿态和关键点信息，同时进行头部姿态估计和关键点检测，最终提升大姿态条件下关键点检测性能；(4)提出基于全局和局部一致的人脸图像年龄编辑，整体拓扑特征可以感知人脸整体先验知识，局部特征可以感知人脸丰富细节纹理信息，提高了人脸图像年龄编辑方法逼真度；(5)提出基于属性引导（先验知识）的人脸图像年龄编辑方法，将包含人脸属性信息的向量嵌入生成器和判别器中对模型的训练加以引导，使得判别器对年龄和人脸属性均具有判别能力，从而引导生成器合成与输入样本具有相同人脸属性的老化人脸图像；(6)提出基于空间注意力机制的人脸图像年龄编辑，借鉴类脑相关知识，我们采用了空间注意力机制限制人脸图像变化区域，使得在非受控环境下人脸年龄编辑更加真实；(7)提出基于参考图像人脸肖像编辑，我们以图像补全模型作为基本框架，以缺失目标人脸图像作为输入，从参考图像中学习相应形状信息补全缺失区域，实现对人脸组成的语义形状编辑；(8)提出基于Wasserstein卷积神经网络的可见光-近红外人脸识别，学习可见光和近红外人脸图像共同特征，在可见光-近红外人脸识别上取得了优异性能。上述算法均基于数据和模型驱动思想设计，可以应用于鲁棒的人脸识别系统中。.基于该项目的资助，总共发表文章11篇，其中CCF-A类期刊或者会议上发表论文7篇，以一作或共同一作发表3篇CCF-A类文章，以通讯作者发表2篇CCF-A类文章，申请发明专利4项，培养博士5名和硕士生1名。