基于面部肌肉运动模型的三维人脸表情识别研究

Facial expressions are caused due to the motion of muscles in specific face areas, which can be directly captured by the geometrical information of 3D face; therefore, the facial expression recognition approaches based on 3D data possess good potential to accurately and comprehensively represent subtle expression changes. Considering the characteristic of facial expressions, this project is going to propose a muscle motion based 3D facial expression recognition, including several important academic problems, i.e. automatic landmarking,facial region segmentation, geometric feature extraction and classifer design, aiming to construct a theoretical and systemetical framework for automatic 3D facial expression recognition especially highlight the nolvelty in facial muscle area segmentation and extraction of multi-level geometirc features. On the other side, we are going to achieve some practical conclusions and a demo system .

表情产生的本质是面部特定肌肉区域的运动，这种运动直接反映于人脸的三维几何信息的改变，所以基于三维数据的方法很可能满足对细微表情变化的完整描述。本项目结合表情产生的特点，拟提出基于面部肌肉运动模型的三维人脸表情识别方法，对产生表情的主要面部肌肉进行准确分割和独立建模，利用在这些面部肌肉变化过程中体现在人脸曲面上的几何差异进行表情区分，包含自动标志点定位，面部区域分割，特征提取以及分类器设计等研究内容,拟建立较为完善的三维人脸表情理解的理论框架，并在面部肌肉区域分割和层次化的几何特征表示方面做出独特性工作，并在理论研究的基础上，给出一些对于实际应用具有指导意义的结果，搭建演示系统，实现快速精确的三维人脸表情识别。

面部是人类主要的身份与情感的表达器官，而面部表情是人类社会信息交流的主要渠道之一。人类可以从面部表情中获取重要的情感信息，使互动变得更为顺畅。随着社会中以人为中心的智能信息处理和控制技术的不断发展，为了达到友好的人机交互，使计算机较好的理解人的面部表情是研究人员一直努力追寻的目标。对于人脸表情理解的研究不仅将对实际应用产生巨大的影响，还能极大地推动计算机视觉，模式识别，机器学习等理论的发展。.表情产生的本质是面部特定肌肉区域的运动，这种运动直接反映于人脸的三维几何信息的改变，所以基于三维数据的方法很可能满足对细微表情变化的完整描述。本项目结合表情产生的特点，深入研究了基于面部肌肉运动模型的三维人脸表情识别，涉及了自动标志点定位，面部区域分割，人脸曲面表示及决策分类等内容。提出了基于曲率分析和主动法向量模型的三维人脸标志点定位方法、基于迭代最近法向点的面部曲面分割方法、基于球面深度图和球谐函数特征的三维人脸曲面表示方法、基于多尺度多成分局部法向量模式的三维人脸曲面表示方法、基于多阶几何微分量的三维人脸曲面表示方法、基于几何散射表示的三维人脸表情识别方法、基于面部肌肉运动模型的三维人脸表情识别方法等一系列代表性方法。提出的方法在FRGC v2.0、BU-3DFE、Bosphorus等国际权威数据库的测评上均达到了目前的先进水平，在有些应用问题上的结果处于领先地位。.项目在执行期间，在IEEE Transactions on Image Processing, International Journal of Computer Vision等重要国际期刊发表SCI检索论文6篇，在IEEE International Conference on Automatic Face and Gesture Recognition, IEEE International Conference on Biometrics等主流会议发表EI检索论文10篇。此外，项目提供了完整的研究报告和初步演示系统，并协助培养博士研究生4名，硕士研究生4名。