基于图像配准与表示联合优化的自动人脸识别研究

Practical recognition system must have accurate face detection and feature localization at the front end, in which the main purpose of feature location is face image registration. Therefore, different images of the same face are more compact, easy to extract reliable features. Most previous works mostly conduct independent study on feature localization, image registration or image representation. This proposal is based on the newly proposed transform-invariant principal component analysis (TIPCA) model by the applicant and collaborators, assumes that "registered image can be efficiently linear representation, integrates the image registration and image representation stages together, and finally conducts research on fully automated face recognition algorithms. The research project introduces occlusion detection and posture correction technology to improve the robustness of TIPCA model against face occlusion and pose changes, and introduce an extended linear representation model and its transfer learning algorithms to improve the generalization ability on representation and recognition under small training sample size conditions. The research outputs of this project will help to solve the problem occlusion and pose-robust automatic face recognition problem with small-size training samples, and have a high application value.

实用的自动人脸识别系统必须有准确的人脸检测与配准作为前端，便于后续进行稳定可靠的人脸特征表示，实现高精度的人脸匹配。以往的研究工作大多在图像配准或图像表示领域独立进行，使得现有方法难以组成稳定可靠的自动识别系统。本项目以申请人最新提出的变换不变性主成分分析（TIPCA）模型为基础，采用图像配准与表示联合优化的技术路线，利用PCA技术把前端的人脸配准与后端的表示学习结合在一起。以典型的人脸检测结果为研究对象，本项目主要研究：（1）面向遮挡或多姿态人脸图像的"配准与表示"联合优化方法，提高TIPCA模型对遮挡和多姿态人脸的配准鲁棒性；（2）扩展线性表示模型及其迁移学习算法，提高模型在小样本条件下的表示与识别的泛化能力；（3）在检测与配准过程中间引入预配准算法，提高误检测图像自动配准的稳定性。本项目的研究成果将有助于解决小样本条件下的遮挡和多姿态的全自动人脸识别难题，具有较大的应用价值。

项目组主要在面向遮挡、光照、多姿态等现实环境下的人脸图像的配准与表示和人脸识别中的度量学习、迁移学习等问题上开展研究，做出了创新性成果：.1）提出了深度非监督域自适应方法，对源数据库和目标数据库之间的最大均值差异进行约束，同时利用源数据库的大量标记人脸图像对深层神经网络进行训练，从而缓解源和目标人脸数据库的差异，以保证模型在小样本条件下的泛化能力。.2）提出了基于变分自编码器的人脸特征点定位方法，用一个改进的变分自编码器获取特征点局部响应，用一个卷积神经网络完成特征点位置映射，实现了在复杂的姿态、表情、遮挡下仍然能取得 较高性能。.3）提出了一种用三维合成扩充训练集，通过深度迁移实现人脸识别的方法。该方法首先利用3D人脸模型合成各种姿态和自然表情的人脸图像。在迁移学习中，将三维合成脸作为源域，原始的二维正面人脸作为目标域。 深度迁移网络的优化目标是使共同特征提取层和辨别层的平均差异最大化。.通过本项目科研工作的开展，项目组培养了8名硕士研究生和5名在读研究生，在人脸识别和深度学习领域进行了大量有益探索，他们在模式识别与计算机视觉领域国际会议上发表论文近38篇，参加了14次国内外学术会议。项目组研制了多姿态人脸识别的成套关键技术，已申请国家发明专利3项。