基于海量混合标签数据的自然表情识别

The limited laboratory-collected datasets suppress the development of facial expression recognition. To address this issue, we propose to study a series of methods for facial expression recognition under natural conditions, based upon large-scale facial data with hybrid labels. First, we explore the positive impacts of unlabeled images and weakly labeled videos on the recognition algorithms, and propose methods to automatically annotate these unlabeled and weakly labeled data. Then, we investigate how human’s supervisions affect the quality of annotated data, and propose to correct the possible label errors under a semi-automatic manner with minimal human efforts. Finally, we analyze and model the relations between two types of labels, i.e., emotions and facial action units, to boost the recognition performance on either single type, as well as to supplement the missing annotations. Based on the proposed algorithms, this proposal aims to auto-construct and release a large scale expression dataset, and to implement a robust prototype system for natural expression recognition, so as to break through the bottleneck of current facial expression recognition systems which are built upon the existing small-scale datasets.

针对小型实验数据集对现有表情识别算法性能的制约问题，本课题拟开展一系列基于海量混合标签数据的自然表情识别算法的研究。首先，探索无标签图像、弱标签视频信息对识别算法的积极作用，提出算法对大规模无标签图像、弱标签视频进行自动表情标注；然后，讨论人类监督对标签质量的影响，提出算法在尽可能少的人工干预情况下对标注错误的数据进行半自动的标签修复；最后，分析并建模情绪分类和人脸动作单元这两种异质标签之间的结构关系，以提高单种标签类型下的识别效果，并对缺失的标签信息进行补全。另外，本项目在算法研究的基础上拟自动构建并发布一个大规模表情数据集，以突破现有基于小数据集的系统在自然表情识别上的发展瓶颈，并实现一个面向自然表情的高鲁棒性人脸表情识别原型系统。

面部表情为感知内心情感提供了重要线索，表情识别与感知技术在人机交互、国家安全、医疗诊断、司法审判等领域具有潜在的应用价值，近几年备受关注。然而，真实的表情反应难以被诱发和标注，缺乏大量真实丰富的表情数据导致现有表情识别技术难以满足真实应用场景需求。本项目基于海量混合标签数据，包括无标注、弱标注或噪声标注、异质标注数据多种表情标注数据，提出了一系列有针对性的表情识别方法，有效地提高了表情识别算法的识别准确率和对自然环境的鲁棒性。针对无标签数据，提出了基于图像形变重构的自监督面部动作特征学习方法，实现了从大规模无标注视频中学习高辨识度的面部动作特征，减少了表情感知算法对标注数据的依赖。针对噪声标注数据，提出了一种基于学习隐含真实标签的学习方法，构建了利用多个标注偏差或噪声的数据集训练表情识别模型的的算法框架，在实验室和自然场景下的表情识别任务上均取得了先进的识别性能。针对异质标签的表情数据，提出了一种自适应模型参数共享的多任务学习方法用于识别离散表情和面部动作单元，提高了单任务的识别准确率，进而提出一种融合表情识别、面部动作多任务特征的情感唤起度、愉悦度估计方法，获得了FG2020联合举办的自然场景情感行为分析比赛子项唤起度/愉悦度估计第三名。除此之外，本项目还探索了自然场景中更加丰富的表情分类、局部遮挡的表情识别等问题，构建了两个中小规模的数据集用于方法验证。基于所提出算法，本项目开发了一套表情识别演示系统。