流形稀疏鉴别的多表情三维人脸识别研究

3D data model based on the explicit geometrical description of the face, including much more information than the 2D face image, therefore, have the significant advantage in pose, and illumination robustness. Expression changes is a difficult problem of 3D face recognition. How to overcome or reduce the impact of expression is one of the key issues and challenges of 3D face recognition. The difficulty is that due to the expression changes, the surface structure of the face will also change, which will make the feature description vector vulnerable to impact by expression, and the robustness is not strong. Consequently, the expression robustness of recognition methods is not high. To address the above problems, this project aims to propose a fast and robust multi-expression 3D face recognition method. Unlike existing face recognition methods ignore the structure distribution characteristics of multi-expression 3D face data, this project aims to construct 3D facial expression invariant manifolds characterization mode by analyzing the mechanisms of visual perception characteristics, and combining with facial characterization analysis methods; and then, establish the dictionary learning methods which having the sparse manifold authentication characteristics based on sparse learning theory. Our method will have the ability to overcome the interference caused by intra-class changes, thus significantly improve the expression robustness, and finally provides an effective solution for the multi-expression 3D face recognition.

三维人脸模型基于显式几何形状的数据描述，具有比二维人脸图像更丰富的信息，在姿态和光照鲁棒性方面具有显著优势。表情变化是三维人脸识别的难题，如何克服或降低表情的影响，是三维人脸识别的一个关键问题和挑战。其难点在于由于表情变化改变人脸曲面结构，导致特征描述向量易受表情的影响，稳健性不强，使得识别方法对表情变化的鲁棒性不高。本项目针对上述问题，旨在提出一种快速、鲁棒的多表情三维人脸识别方法。不同于现有识别方法忽略多表情三维人脸数据的结构分布特性，本项目通过分析视觉感知机制的特点，结合人脸表征分析方法，构建三维人脸的表情不变流形表征模式；并基于稀疏学习理论建立具有流形稀疏鉴别特性的字典学习方法，克服类内变化带来的干扰，从而显著提高识别方法对表情变化的鲁棒性，为多表情三维人脸识别提供一种有效的解决方法。

三维人脸模型基于显式几何形状的数据描述，具有比二维人脸图像更丰富的信息，在姿态和光照鲁棒性方面具有显著优势。表情变化是三维人脸识别的难题，如何克服或降低表情的影响，是三维人脸识别的一个关键问题和挑战。其难点在于由于表情变化改变人脸曲面结构，导致特征描述向量易受表情的影响，稳健性不强，使得识别方法对表情变化的鲁棒性不高。针对上述问题，本项目以研究多表情三维人脸识别的新理论和方法为基础，主要内容包括三维人脸表情不变表征模型构建，基于稀疏学习理论的数据字典构建，以及快速稀疏求解算法的提出。经过三年的研究，项目组在三维人脸流形表征模型构建方面提出了基于曲面几何和面部三维坐标统计的五官区域分割方法、二维本征形状描述图的三维人脸特征描述方法以及基于局部曲面形状描述的区域特征提取方法，并通过准则驱动和数据驱动两种方式，依据启发式准则和表征标准，对三维人脸的流形表征模型进行评判。在三维数据配准分析与研究方面，项目组提出了基于主轴分析及标志区域定位的粗精结合的三维人脸配准方法，能够有效对抗姿态及表情变化对配准算法的影响。针对图像配准中直线检测正确率不高的问题，项目组提出了一种基于自适应梯度阈值和全方向生长线的直线检测方法以及表征多元自对偶形态学算子的构建方法，有着抑制噪音、高效率、同时保持图像细节特征的优点。在流形稀疏字典学习及快速稀疏分解方面，项目组分别构造了人脸的三维属性描述字典以及联合稀疏描述字典，构建了多尺度稀疏分解方法以及多维联合稀疏描述字典的快速求解模型，在多姿态、多表情以及弱表情人脸数据上进行算法的验证实验。基于上述研究成果，项目组建立了多表情三维人脸识别的整体系统框架，为鲁棒、快速的多表情三维人脸识别提供了一种有效的解决方法。