基于稀疏表征的三维人脸表情识别研究

人脸表情的计算机自动识别是智能人机交互中的一项重要技术，当前基于二维图像和视频的识别技术因无法有效地提取表情引起的脸部三维变形特征而难以满足应用的需求，三维人脸为提取这种特征提供了天然的便利，因此，三维人脸表情识别有望克服二维图像和视频中表情识别的困难，具有重要的研究与应用价值。而近几年有关稀疏表征的理论和应用研究表明，稀疏表征具有强大的信号表示能力，并能有效地提取信号的内在语义信息，基于稀疏表征研究三维人脸表情识别的新模型、探索表情特征的变化规律，有望实现准确、稳定的识别性能，从而具有重要的理论价值。本项目紧紧围绕"表情三维变形特征提取"这一问题，研究语义对应的一致性三维人脸网格重构稀疏模型，以有效地表达人脸三维形状，在此基础上，研究两种分解表情变形的稀疏模型，基于分解出的表情变形信息深入挖掘表情变化的内在规律，最终实现准确的识别算法，并建立自动的表情识别原型系统。

人脸表情的计算机自动识别是智能人机交互中的一项重要技术，当前基于二维图像和视频的识别技术因无法有效地提取表情引起的脸部三维变形特征而难以满足应用的需求，三维人脸为提取这种特征提供了天然的便利，因此，三维人脸表情识别有望克服二维图像和视频中表情识别的困难，具有重要的研究与应用价值。而近几年有关稀疏表征的理论和应用研究表明，稀疏表征具有强大的信号表示能力，并能有效地提取信号的内在语义信息，基于稀疏表征研究三维人脸表情识别的新模型、探索表情特征的变化规律，有望实现准确、稳定的识别性能，从而具有重要的理论价值。本项目紧紧围绕"表情三维变形特征提取"这一问题， .1 提出了一种稀疏变形方法(Sparse Facial Deformable Model)，该方法可以在三维参考人脸模型和输入模型间建立稠密的、符合人体测量学标准的顶点对应关系。该模型主要包含两部分，一是几何形状约束，采用变形方法实现，保证输出人脸与输入人脸形状尽可能相似，而拓扑结构与参考模型一致；二是对应关系约束，该约束基于一个满足一致性网络要求的字典，采用稀疏模型重构变形结果，逐步逼近一致性网络要求。两个约束条件通过迭代的方式求解，迭代过程采用自适应的参数设置，从而使输出结果达到形状不变、顶点对应。.2 提出了一种基于联合字典的表情残差提取模型(Correlated-dictionary based Expression Residual Model, CERM)，可以在单张表情人脸上提取表情引起的曲面变形。CERM学习一个联合字典，该字典建立表情人脸与残差分量之间的关联，测试时对单个输入表情人脸进行稀疏编码，通过共享编码的方式，重构残差分量。.3. 收集了公开的知名三维人脸数据库，包括FRGC, BU-3DFE, 3D_RMA, BJUT，MSU，PRISM等。此外，课题组租借三维采集设备，采集了一个小型的三维人脸表情库，包括40人，共360个模型，每个人9个三维数据，其中3个中性人脸、2个微笑、2个皱眉、2个惊讶表情。. 最后，我们在BU-3DFE和自己采集的数据库上全面测试了稀疏变形模型，表情残差提取模型、及基于残差的表情识别，对比实验表明，通过建立一致性网格提取三维人脸形状信号、然后基于联合字典提取表情残差、最后基于表情残差实现表情识别的框架，可以获得更优越的表情识别性能。