面向人机交互的深度人脸表情分析研究

Accurate and fast facial expression recognition is especially important for intelligent friendly human-robot interaction (HRI). In HRI scenarios, the mobility of human and robot brings new challenges to automatic facial expression recognition. However, most research about automatic facial expression recognition employs datasets under laboratory environments with controlled illumination conditions, which leads to a shape decrease of recognition accuracy when applied to HRI scenarios of complex backgrounds and changing illuminations. Besides, although there have been considerable studies about automatic facial expression recognition, few attention is paid to analyze an expression in a comprehensive way, through which not only an expression can be precisely recognized, but also can been distinguished from either an unconsciously spontaneous one or a deliberately posed one. This project focuses on the research of smile recognition in HRI scenarios, employing the theory of psychology, 1) a new feature, Gradient of Self-Similarity (GSS) by analyzing visualized facial HOG features is proposed to improve the performance of smile recognition in complex and changing scenarios; 2) feature extraction is implemented based on facial orientation detection by fusing the information of depth data to raise the performance of recognition when the face is non-frontal; 3) a discriminative learning model (DLM) is proposed for spontaneous versus posed (SVP) smile recognition based on a local spatial-temporal feature, which devotes to obtaining most robust and discriminative patterns of interest. This project could not only pave the way for a new generation of high-level friendly HRI, but also promote the cross research between computer science and psychology.

精准快速的人脸表情识别对智能友好的人机交互尤为重要。人机交互场景下，人、机的可移动性给人脸表情识别带来新的挑战。然而大部分的人脸表情识别研究基于实验室环境控制光照条件下的数据库，以致应用于背景复杂、光照变化的移动人机交互场景时识别率急速降低。此外，目前仍缺少对人脸表情的全面深入分析，即不仅识别出表情的种类，并能进一步解析出产生该表情时其主体的实际内心状态。本项目针对移动人机交互场景下的笑容识别问题，结合心理学研究，1）提出一种新的梯度自相似性特征，从而提升复杂变化场景下笑容识别的性能；2）利用深度数据，进行深度感知融合的基于面部朝向检测的笑容特征提取，提升非正面人脸交互场景下的识别性能；3）建立判别学习模型，从而获取鲁棒、高区分度的特征，使其更适应只存在细微区别的真假笑识别任务。本项目的研究成果，不仅为新一代高水平的人机交互铺平道路，还能促进计算机科学与心理学的交叉。

本项目深入系统地研究了如下内容：1）研究了在真实场景下的笑容检测问题，并结合心理学研究，进一步识别出笑容的真假。为进一步提升非限制场景下笑容检测的性能，本项目受颜色自相似特征的启发，在方向梯度直方图特征的基础上，提出了一种新的梯度自相似性特征。在充分研究面部的几何特征和外观特征的基础上，针对真假笑识别，本项目提出判别学习模型，从而获取鲁棒、高区分度的特征，使其更适应只存在细微区别的真假笑识别任务。此外，本项目考虑到各面部区域肌肉运动的不同步现象，对各面部区域分别给出强度计算的新方法，进一步确保在时域对各子区域时间阶段划分的准确性。2）进一步聚焦到人脸的唇部区域，针对唇语识别（也称视觉语音识别），对三正交平面局部二值模型特征进行改进，并提出形状差分特征和一种新的唇部外观时空特征。形状差分特征是一种几何特征，通过计算唇部区域两两特征点间的距离的变化来描述唇部形状，因此依赖于人脸特征点定位算法。本项目对目前最新最前沿的人脸特征点算法进行充分调研并提出唇部外观时空描述子，用于描述唇部区域的空间外观信息和时域运动信息。此外，在基于KISSME度量学习算法的基础之上，提出了双层的多任务度量学习框架，同时解决多种特征的使用和多分类问题。3）将上述研究方法应用于面瘫自动化评估，开发移动端APP进行面瘫患者数据收集并进行自动化评估，从而提供给患者实时的反馈，提高了治疗和康复的效率。.目前，已在国内外期刊发表论文5 篇，其中3篇被SCI、SSCI收录。申报2项发明专利，已进入实质审查阶段。获得软件著作权4项。本项目的研究成果“深度融合面瘫评估系统”报名参与第48届日内瓦国际发明展。本项目研究开发的面瘫自动化评估APP已在临床应用，收集面瘫患者数据近200人次。