面部运动视觉认知表达及分析方法研究

In recent years, facial dynamic motion representation and analysis based on facial videos captured in unforced conditions is a very active area. Traditional facial representation models and analysis methods which aimed at normal facial image databases are tend to unusable in this high-complex situation. Here we introduce visual cognitive theory into facial dynamic motion representation and analysis researches. In the framework of primitive features and manifold learning, we research the theories and key techniques of facial dynamic motion visual cognitive. By resolved problems such as facial dynamic motion primitive features building and computing, features selection and on-line update method, manifold structure of primitive features and hierarchical clustering, we can build facial visual cognitive representation models and motion analysis methods. Furthermore, some applied questions such as facial action tracking, facial action synthesis and local areas estimate, eye tracking and gaze direction calculation are also researched based on models and methods mentioned above. These researches are trying to resolve critical questions about features transformation and occlusion, multi-factors facial motion analysis, facial motion high level semantics abstraction and high precision output. This project will promote the development of intelligentized facial visual systems, and has important scientific significance and potential applications.

对自然条件下采集的人脸视频，进行有效的面部运动表达和分析近来逐渐成为一个研究热点。传统针对单一因素和标准图像库的表述模型和分析方法在处理此类高复杂度的情况时，往往容易被干扰失效。针对这个问题，本项目将视觉认知方法引入到面部运动表达及分析，在基元特征流形学习理论框架下，深入研究面部运动视觉认知相关理论及其关键技术。通过突破面部运动基元特征构建及计算、特性选择及在线更新、基元特征流形结构及层次聚类等科学问题，初步建立面部认知特征表述模型及分析方法。并基于这些认知表达模型和理论，研究面部运动跟踪、运动合成及局域模态估计、眼动跟踪及视线预测等应用问题，力求解决特征渐变与遮挡、多因素联合运动分析、面部运动高层次抽象和高精度输出等关键性问题。本项目的开展及其预期研究成果将在促进面部智能视觉系统的发展，具有重要的科学意义和潜在的应用前景。

为了解决传统针对单一因素和标准图像库的人脸表述模型和分析方法的不足, 本项目将视觉认知方法引入到面部运动表达及分析，在局部特征机器学习理论框架下，深入研究面部运动视觉认知相关理论及其关键技术。为此,本项目主要从人脸图像的认知表达特征及方法，以及面部表征模型及其运动分析两个方面入手，重点围绕面部运动跟踪和分析过程中需要解决的关键问题，主要研究了压缩感知学习和恢复算法，视觉特征的局部表示和描述，显著性检测理论和方法，人脸回归表述模型及其运动跟踪等方面的问题。主要完成了以下创新成果：. 在图像认知表达特征及方法方面，一方面提出了基于SIFT和MSE的局部聚集特征描述子、局部卷积神经网络和敏感核稀疏表示等基元特征构建和计算方法，通过构建更强表述能力的特征描述子，以及结合卷积神经网络理论等最新方法，为人脸局部表述及其认知学习打下来基础。另一方面，还在压缩感知学习和恢复算法方面做出了努力，提出支撑驱动的非凸压缩感知恢复算法，以及隐变量贝叶斯模型稀疏学习方法。研究结果表明，基于认知的局部特征具有良好的表述能力，能够为面部运动表达和分析提供支撑。. 在面部表征模型及其运动分析方面，首先利用显著性检测理论和算法实现人脸区域的粗定位，提出了包括滤波合成显著性检测、基于深度神经网络的显著性检测和利用LapSVM的快速显著性检测方法。而面部运动特征点的精定位跟踪，则主要提出了判别回归人脸表述模型、基于聚类和模糊聚类的人脸特征点定位算法，以及基于形状估计先验的人脸特征点定位等多种方法和模型，针对这些模型和算法的研究有力的推动了面部运动建模及其分析方法的进步。. 本项目的开展及其研究成果有效地促进面部智能视觉系统的发展，具有重要的科学意义和潜在的应用前景。