基于族群谱系特征的多民族表情理解研究

Different ethnic groups have different characteristics in the facial expressions, it dues to the difference of genetic, geography and culture. With KINECT, the project plans to collect the expression videos with facial depth information for constructing and publishing the multi-ethnic facial expression database, analyzes deeply the multi-ethnic emotion with ethnic groups spectrum characteristics and facial depth information. Firstly, the analysis of facial ethnic groups spectrum characteristics is constructed by Axiomatic Fuzzy Sets(AFS). Secondly, combining the FACS and transfer learning classifier, the classifier is established to create multi-ethnic facial expression database and discover ethnic groups knowledge. At last, the knowledge of ethnic groups expression is represented through AU association graph pattern model, meanwhile the corresponding graph pattern evaluation and pattern mining algorithm is studied. According to the above, this project explores the commonalities and differences of multi-ethnic expressions in basic, non-basic, and dynamic expression, also reveals facial inherent knowledge of information, expression and emotion. This project prepares to enhance efficiency of multi-ethnic facial emotion analysis, ethnic groups spectrum characteristics and AU graph pattern mining, also provide many methods to the relevant researches. Especially, this project has a great significance of digital storage of multi-ethnic emotion, generation of multi-ethnic expression and study of anthropology multi-ethnic characteristics.

由于遗传、地域、文化等因素的不同，各民族在人脸情感表达上具有一定的差异性。本项目拟利用KINECT平台采集包含深度信息在内的人脸表情视频， 构建中国多民族人脸表情库并进行发布，通过提出族群谱系特征并融合人脸深度信息对民族情感表达进行深入分析和探讨；扩展公理化模糊集（AFS）体系构建人脸族群谱系特征分析方法，基于FACS编码体系结合迁移学习构建分类器对多民族表情库进行标识和知识挖掘；通过多民族图模式情感AU关联模型对族群表情进行知识表达，并研究相应的图模式比较和模式挖掘算法。据此探求多民族在基本表情、非基本和动态表情的共通性和差异性，发掘其人脸信息、表情与情感之间的内在规律。研究工作将三维数据、族谱特征和AU模式挖掘结合在一起以提高民族面部情感分析效率，也为相关研究提供可借鉴的手段，其成果对多民族情感数字化留存、民族表情生成和深化人类学民族特征研究也有一定的意义。

我国是一个由多民族构成的国家，由于遗传、地域、文化等因素的不同，各民族在情感表达上具有一定的差异性。本项目利用Kinect传感器和Tobii眼动仪搭建了一个情感数据采集平台，构建了涵盖汉族、蒙古族、壮族、回族和满族共5个民族的多民族情感数据库；基于改进后的Wang-Mendel方法和公理化模糊集理论提出了一种多民族族人脸特征的语义描述方法，将其应用于多民族人脸部件的差异性分析，并从流行结构的角度验证了这种差异性；从实际应用场景出发，针对现有的基于公理化模糊集理论的聚类和分类方法进行改进，提出了人脸表情的语义提取和知识表示方法，并根据已获得的语义规则构建了虚拟表情生成方法；以多标记学习理论为基础，提出了谱系分析方法以分析由基本表情形成的复合表情；采用目前较为流行的深度学习技术，对卷积神经网络的结构进行必要的调整和优化，进而研究了已构建的多民族情感数据库中包含的5个民族在本民族内部及各民族之间同种表情的共同性和差异性；以Tobii眼动仪获取的注视时间、注视顺序和回视次数为研究对象，建立兴趣区的权重计算模型，从而分析族系间眼动行为模式的多样性；结合Adaboost和深度置信网络提出了一种增强深度置信网络，进而提出了一种融合眼动行为和表情特征的人脸表情识别方法，探讨了眼动行为对提升人脸表情识别效果的积极作用；采用LBP-TOP特征提取方法和多种分类器，对由眼球、眼眉和眼睑构成的眼部区域在识别微表情中的作用进行研究，验证了眼部区域所反映的局部特征在识别这种持续时间短、动作强度低且非自主表达的自发表情时发挥着重要作用；通过构建局部深度信息来表示3D人脸信息，然后通过最小冗余最大相关特征选择方法筛选出特征集合中对族群信息比较敏感的特征子集，按照族群属性合理划分训练集和测试集，验证了族群属性对3D人脸表情识别的影响。本项目的研究不仅丰富和扩展了情感计算领域对民族情感理解的分析方法，还探讨了眼部区域在情感表达中的作用，为多民族面部表情识别研究提供了一种新的思路。