复杂场景下三维人脸的重建与识别研究

3D reconstruction methods have recently been applied to recover 3D face shapes from 2D images, which are then used to assist 2D face recognition. This effectively improves face recognition accuracy. However, existing 3D face reconstruction methods mostly have relatively high complexity and are fragile to pose and expression variations that are commonly seen in complex scenarios. Moreover, they are isolated from the facial feature representation learning process. This project aims to enhance the robustness of 3D face reconstruction to pose and expression variations, and to establish an end-to-end learning framework for joint 3D face reconstruction and face recognition. To this end, it will propose a variety of 3D face reconstruction methods based on single images, mugshot images, and 2D face image sets, and methods for joint 3D face reconstruction and recognition. Cascaded regression technique will be employed to predict 3D face shapes from 2D facial landmarks. Statistical facial texture models will be used to fuse textures in multiple face images. Deep convolutional neural networks will be utilized to implement the multi-task learning framework for joint 3D face reconstruction and recognition. The proposed new methods are believed to be beneficial to extend 3D face reconstruction research and to enhance face recognition performance in real-world complex scenarios.

人脸识别技术借助大数据和深度学习有了长足进步，但存在明显姿态和表情变化的复杂场景下效果仍不理想。三维人脸重建方法被用来矫正人脸姿态和辅助二维人脸识别，一定程度上提高了人脸识别率。然而，现有三维人脸重建方法一般采用参数化模型拟合，复杂度高，对姿态和表情鲁棒性差，且独立于人脸特征表示的学习过程，限制了其对人脸识别的提升作用。本项目针对复杂场景下三维人脸的重建和识别，围绕三维与二维人脸形状/纹理的映射关系、人脸三维重建与身份识别的相关性及联合学习模型等关键问题，采用级联回归和深度学习等技术路线，开展单图三维人脸重建、三面照三维人脸重建、图像集三维人脸重建和人脸三维重建与识别多任务学习等方法研究，构建面向复杂场景的三维人脸重建模型和人脸三维重建与对齐识别的多任务学习模型，提出复杂场景下的人脸三维重建与识别新方法。本项目成果将拓展三维人脸重建的研究、促进无约束人脸识别技术的发展与应用。

人脸识别技术借助大数据和深度学习有了长足进步，但存在明显姿态和表情变化的复杂场景下效果仍不理想。三维人脸重建方法被用来矫正人脸姿态和辅助二维人脸识别，一定程度上提高了人脸识别率。然而，现有三维人脸重建方法一般采用参数化模型拟合，复杂度高，对姿态和表情鲁棒性差，且独立于人脸特征表示的学习过程，限制了其对人脸识别的提升作用。本项目针对复杂场景下三维人脸的重建和识别，围绕三维与二维人脸形状/纹理的映射关系、人脸三维重建与身份识别的相关性及联合学习模型等关键问题，开展了单图三维人脸重建、三面照三维人脸重建、图像集三维人脸重建和人脸三维重建与识别多任务学习等方法研究，构建了面向复杂场景的三维人脸重建模型和人脸三维重建与对齐识别的多任务学习模型，提出了复杂场景下的人脸三维重建与识别新方法，并在相关技术领域也开展了一些探索。..项目组严格按照国家规定和既定计划开展研究工作，取得了一系列进展和成果，主要包括：建成包含不同精度三维人脸模型、不同场景二维人脸图像的千人规模多维人脸数据集；首次提出联合求解三维人脸重建和二维人脸对齐的新方法，并将重建的归一化三维人脸形状应用于辅助无约束二维人脸识别；提出基于回归的三面照三维人脸重建方法，并将其应用于公安刑侦中的任意视角人脸识别；首次在任意图像集三维人脸重建领域提出人脸特征解耦，有效提升了图像集三维人脸重建精度；首次实现三维人脸重建与人脸识别的多任务学习，提高人脸三维重建的准确度的同时也提高了无约束人脸识别准确率。除以上主要研究成果之外，项目组还在人脸识别相关领域取得了一些进展，例如基于三维建模的任意姿态二维人脸图像特征点定位、人脸去遮挡及遮挡人脸的身份识别、基于三维重建的无约束人脸表情识别、基于低质量三维数据的人脸识别、基于三维数据的人脸属性识别、三维点云分割和三维人脸稠密对齐、监控场景的目标检测和计数、显著性目标检测和图像细分类、鸟类三维重建和基于人脸几何分析的面瘫严重程度自动评估等。..截至2021年12月31日，本项目已发表学术论文34篇（其中TPAMI论文1篇、中科院一区和二区论文各2篇、CCF-A类会议论文2篇及CCF-C类会议论文12篇），申请发明专利4项，出版专著和译著各2部，培养5名博士和18名硕士，超额完成了既定目标任务。本项目经费使用合理，成果有望拓展三维人三维人脸重建的研究、促进无约束人脸识别技术的发展与应用。