基于形状流形的自发性表情识别关键技术研究

The project gives an in-depth analysis of the main problems that exist in the current spontaneous expression recognition,and explores some key technologies to solve the problems:(1)For the viewpoint differences and scale variation, we propose an invariant representation method of facial activities which is composed of shape minifold learning,shape basis construction and the procedure of aquiring invariant representation.(2)In order to deal with ambiguity in facial activity and unreliability in Action Unit annotation, we propose a parameterization method of Action Unit.,The vector space construction of Action Units and the scope measure of the Action Units' effect are studied respectively based on the direction and the scope of the effect that Action Unit s put on face.(3)For representing dynamic interaction of facial activity, a modeling method of facial activity is proposed. Based on the observation of the effect that Action Units put on face at one time point and in a period of time, we study respectively the effect function learning and dynamic model of facial activity. The key technologies discussed in this project can effectively deal with the current problems in the spontaneous expression recognition, improve the performance of face recognition system, and promote the application of the system in the actual scene.

本项目深入分析当前表情识别中存在的主要问题，有针对性地展开自发性表情识别的若干关键技术的研究：（1）针对自发性表情数据中存在的视点差异、尺度变化等问题，提出一种面部活动不变表示方法，分别研究形状流形的学习、形状基元的构造及面部活动不变表示的获取等关键技术；（2）针对面部标注的不可靠性及面部活动歧义性等问题，提出一种活动单元参数化方法，并从活动单元作用方向、范围等角度，分别研究活动单元向量空间的构造、活动单元作用域的测量等关键技术；（3）针对面部活动的动态表示等问题，提出一种面部活动建模方法，从时间点到过程两个层次观察活动单元对面部的影响，分别研究活动单元作用函数的学习及面部活动动态模型的构造等关键技术。这些关键技术的研究，能够有效地解决当前自发性表情识别中存在的问题，提高表情识别系统性能，促进系统在实际场景中的有效应用。

自发性表情识别研究是计算机视觉领域的一个研究热点, 然而，目前面临系列问题的挑战，包括自发性表情数据差异性，面部活动的歧义性，面部活动标注不可靠性，及面部活动的动态交互性等。针对上述问题，本项目聚焦于自发性表情识别若干关键技术研究：（1）针对自发性表情数据中存在的视点差异、遮挡、尺度变化等问题，通过包含生理变化、头部姿态及面部运动特征在内的多个互补模态数据的融合，研究多模态面部活动表示。（2）针对面部标注的不可靠性及面部活动歧义性等问题，研究面部活动、形态及生理变化等多个模态及其之间动态关联等多个方面的参数化；（3）针对面部活动的动态交互性，研究多模态数据映射函数，评估与分析多模态情感数据关联结构，构造面部活动动态模型；进一步通过对自发性表情识别中视觉关注模式的跨目标分析，提高面部活动模型中多模态特征编码有效性与稀疏性。通过项目实施，创造性地提出一种双相机非接触可靠生理测量方法，多模态动态关联分析方法及表情识别中视觉关注跨目标分析方法，并首次揭示表情与生理变化之间峰值关联及异步关联。这些关键技术研究，能够有效处理当前自发性表情识别中存在的问题，提高情感计算系统性能，促进系统在实际场景中的应用。