人脸表情的多尺度特征提取、筛选与识别模式研究

As an important component of intelligent human-computer interaction, facial expression recognition has drawn extensive attention from both research and industry communities in recent years. Its development has been firmly associated with fields of sentiment detection, face paralysis diagnose, intelligent robot development and the intelligent entrance guard and so on. However, due to the multiscale of the expression features, there are still several problems to be explored. For example, how to effectively extract, screen and fuse these multiscale features as well as design suitable algorithm mode for the recognition problem. In this project, we will propose a facial expression recognition framework based on the feature extraction with 3D high-frequency face reconstruction, and the feature combination optimization and screening aiming at each expression. Specifically, there are four parts in the framework: (1) Multiscale geometric features extraction via high-resolution expression face reconstruction; (2) Detection and quantification models for general expression wrinkles; (3) Feature combination filtering and screening for different expression categories; (4) Multistage expression recognition based on the extracted multiscale features. The study of this project is not limited to the application of facial expression recognition. It further provides the foundation of 3D reconstruction, feature extraction, feature combination optimization for general objects.

人脸表情识别作为智能化人机交互技术中的一个重要组成部分，近年来得到了学术界和工业界的高度关注和重视，它的发展应用与情感检测、面部神经瘫痪诊断、智能机器人研制、智能监控等许多领域密不可分。然而，由于表情特征的多尺度性，如何有效地提取、筛选、融合和识别这些多尺度表情特征仍是目前尚未解决的重要科学问题。鉴于此，本项目拟研究基于三维表情人脸重建的高频几何特征提取模型，并探索针对各种表情的特征组合优化筛选算法，主要围绕下面四个方面展开：(1) 构建基于高精度表情人脸重建的多尺度几何特征提取模型；(2) 设计针对各种表情皱纹较完整的检测与量化分析算法；(3) 建立针对各种表情特征组合的筛选模型；(4) 设计对应于多尺度特征的多层表情识别模式。该项目的研究不仅为人脸表情识别与相关应用研究开拓了新的技术路线，还为人脸的三维建模与一般目标对象的特征提取、筛选与识别提供了新的研究视角和理论基础。

人脸表情识别作为智能化人机交互技术中的一个重要组成部分，近年来得到了学术界和工 业界的高度关注和重视，它的发展应用与情感检测、面部神经瘫痪诊断、智能机器人研制、智 能监控等许多领域密不可分。本项目考虑到表情特征的复杂性与多样性以及对拍摄环境的敏感性，主要研究了自然场景下的表情识别及其相关的特征提取与优化算法。具体有如下几项研究成果：(1) 建立针对各种表情特征组合的筛选模型；(2) 设计对应于多尺度特征的多层表情识别模式; (3) 构建了适用于不同数据集的损失函数模块；(4) 构建了损失函数超参数优化算法；(5) 设计了基于数据增强的表情识别算法。基于对这些问题的探讨，共发表了SCI论文6篇，其中中科院1区论文2篇；CCF A类会议一篇以及CCF C 类会议2篇。培养硕士生3名；将针对受控环境与自然场景的表情数据集的测试表情数据集的识别率平均提升了1-2个百分点。该项目的研究不仅为人脸表情识别 与相关应用研究开拓了新的技术路线，还为人脸的三维建模与一般目标对象的特征提取、筛选 与识别提供了新的研究视角和理论基础。此外，本项目的研究为下一段表情识别的具体应用，即抑郁症的检测提供了算法与理论基础。