眼睛与面部动作在自发表情中的协同机制研究及其应用

Eye is a crucial clue for recognizing spontaneous expression. Relevant research works in psychology indicate that there exists a certain collaborative mechanism between the expression actions between eye region and face area. In this project, firstly, video and interview are both employed to induce someone’s true emotion, and thus to construct a spontaneous database including useful eye information. On the premise of obeying the action rules of eyeball and periocular respectively, the project plans to build a description criteria of semantic features to illustrated the action behavior in eye region, named Eyeball-Periocular Action (EPA); then, the extraction method of EPA is also studied. Axiomatic fuzzy set (AFS) theory is introduced to mine the collaborative mechanism between eye and other facial components in the process of spontaneous expression, which lays a solid foundation for knowledgeable representation of emotional action in the form of fuzzy rules. Aiming at recognizing the expression in a masked condition, we intend to convert above mentioned semantic rules into a Bayesian network model for reasoning one’s emotion, and explore a new approach of expression recognition in complex scenario by integrating eye information. The semantic description criteria of eye action and collaborative rules between eyes and other facial actions to be studied in this project will enrich the relevant theories and methods of spontaneous expression recognition; boost the interdisciplinary research between information science and psychology; be applied in expression synthesis, security and mental health.

眼睛是判别人脸自发表情的重要线索，心理学及相关研究也表明眼睛与面部表情动作之间存在一定的协同机制。本项目通过视频诱发与访谈形式相结合来构建包含眼部信息的人脸自发表情视频数据库，在遵循眼球与眼周部件不同运动规律的前提下，建立眼部动作的语义特征描述标准（EPA）及其提取方法，以有效刻画眼部多种表情动作行为；引入公理化模糊集理论（AFS）挖掘自发表情中眼睛与面部其它部件之间协同机制，以语义规则集形式对自发表情动作构成规律进行知识表达；针对面部遮挡条件下表情理解问题，将上述语义规则转化为基于贝叶斯网的情感推理模型，通过融合眼部信息探索复杂场景中表情识别的新途径。本项目拟建立的EPA以及获取的眼睛与面部动作协同规则集，在丰富人脸自发表情识别的相关理论与方法手段的同时，还可促进信息科学与心理学等学科交叉，并在对于尊重多民族习惯下的表情理解与合成、安防、心理医疗等领域具有较好的应用前景。

眼睛在情感表达过程中扮演着重要的角色，具体表现在眼睛与面部表情动作之间存在一定的协同机制。本项目以自发表情识别领域应用较为广泛的RAF-DB数据库为基础，采用基于卷积专家受限局部模型和受限局部神经场等多种方法的人脸行为分析工具OpenFace，构建了融合面部表情动作单元和视线方向的情感数据库；通过多种分类方法在该数据库上开展自发表情识别，实验结果表明在多个表情组合设定下，引入视线方向信息可以提升自发表情的识别效果；针对现有的基于公理模糊集的聚类和分类方法存在的问题，结合眼睛与面部动作的协同机制挖掘与语义描述的应用背景，通过引入谱聚类和随机权重神经网络分别提出了适用于本项目研究的聚类和分类方法；由于面部的不同区域包含的表情信息是有差异的，本项目提出了一种面向3D人脸自发表情识别的具有可解释性的表情敏感特征学习方法，该方法不仅能够确定表情敏感区域，并且使用的特征能保持面部动作语义，可以形成面部敏感区域表情变化的可解释性描述；针对面部表情强度分析问题，项目组基于信息粒原理提出了一种面部表情强度描述子，通过构建面部重要组件的几何特征和表情强度之间的关系，来有效地描述和估计细粒度面部表情强度；围绕遮挡表情识别问题，将眼睛与面部动作协同机制的语义描述作为先验知识与深度卷积生成式对抗网络模型结合，提出了一种遮挡人脸表情图像缺失信息补全方法，进而提升遮挡人脸表情识别的表现；人脸的面部属性除了作为情感表达的载体外，还能够反映个体的不同性格特质，项目组基于计算机视觉领域的人脸特征点定位技术，结合心理学领域关于性格特质推理发现的部分面部特征及面部构型线索，提出了以几何特征为基础的面部语义属性学习方法，并研究了面部属性与性格特质之间的关系。本项目的相关工作一方面丰富和扩展了情感计算领域的研究，另一方面也在人机交互用户体验完善、在线教育评估和人力资源管理等领域具有一定的应用潜力。