弱监督谱聚类学习及其在百万级面部表情自动检测技术中的应用

Detection of facial action units (AUs) has become a vital research in understanding human's facial expressions. Most existing models are trained with completely or partially annotated data. However, it remains unclear how AU detectors can be trained with weak annotations such as the largely, freely available facial images on the Internet. Motivated by the observation that Internet images can be retrieved with a topic keyword, we propose to use such keywords as a form of weak supervision for training AU detectors. The main technical challenges reside in the uncertainty among weak annotations and the scalability to large quantity of images. To address these challenges, we propose a novel weakly-supervised approach that finds groups of samples both visually similar and collected using the same keyword. In specific, we develop a stochastic clustering algorithm that optimizes for graph partitioning with structured sparsity constraints. Our algorithm is able to find consistent facial patterns for training AU detectors and scale up to handle a large number of images. We demonstrate the effectiveness of our approach on the EmotioNet dataset consisting of 1 million facial images collected from the Internet. Our results suggest that AU detectors trained with only weak supervision can perform closely to its supervised counterpart.

在人们的日常沟通交流中,作为比人脸表情更为客观的表述方式,自动检测人脸面部动作单元Action Unit (AU)已经成为了解人脸表情的一项主要研究。 现有大部分工作是针对人脸被全部或者部分标注AU的情况下，提出的有监督学习或者半监督学习。然而，对于如何利用弱标签来自动检测AU，在该领域从没被探讨过。从互联网免费获取大量的带有表情标签的图片是一个可利用的资源，而这些下载时的关键词可以当作弱监督信息。基于这些观察，本项目针对AU检测任务，首次提出了弱监督谱聚类算法，一方面使得视觉相近的图片可以聚集在一起，另一方面带有相同弱标签的图片也有较大概率聚集在一起。此外，为了将算法扩展到百万量级的数据，我们提出了随机梯度下降法，使得该算法可以并行计算。同时，我们将会在互联网上收集数百万图片作为研究数据，对本项目所提算法进行实验验证。

在人们的日常沟通交流中,作为比人脸表情更为客观的表述方式,自动检测面部动作单元 Action Unit (AU) 已经成为了解人脸表情的一项主要研究。本课题提出了可用于百万量级未标注数据下的弱监督学习。具体地，本课题的弱监督学习框架包含三个部分：(1) 将已有特征空间转换为考虑“语义及人脸表面特征”相似性的新特征空间，该算法是基于谱聚类学习实现的; (2) 在新空间中，采用快速排序聚类算法将样本重新聚类，使得语义相近、视觉相近的样本被聚集在同一个簇中; (3) 按多数投票准则，为每一个簇的样本进行重新标注。在已有的百万未标注的人脸面部动作单元检测和表情识别应用中，该方法所得到的模型达到了当前最好的结果。此外，本课题将该弱监督下的谱聚类学习算法扩展到行人检测、目标跟踪算法中，在相应的领域都发挥了积极的作用和成效。