基于超图和深度学习的人脸特征定位与表情分析

Facial feature localization and expression analysis is a fundamental problem in computer vision. In this project, we exploit the technology of face image analysis based on the concept of `attributes'. On the one hand, hypergraph is a very effective method to express attributes of objects; however, there are still no effective approaches to acquire those abstract attributes from low-level features. On the other hand, deep learning technologies have been widely applied in computer vision applications. Its advantage embodies the automatic extraction of low-level features and accurate attribute recognition. We aim at organically integrating the extraction of low-level features based on deep learning with representation of semantic attributes based on hypergraph, and applying the integrated model to face image analysis. Main research topics of this project include: 1) improving deep network structures to generate better abstract facial attributes; 2) improving the construction of hypergraphs to better express facial attributes and exploring large scale expression analysis problems; 3) adjustment of parameters in deep learning networks by hypergraph lost function; 4) different ways of integration of hypergraph and deep learning under different circumstances.

人脸特征定位与表情分析是计算机视觉领域的一个基本问题。在本项目中，我们希望以属性概念为基础来探索人脸分析技术。一方面，超图是一种非常有效的表达物体属性信息的手段，但如何从底层特征中获得这些属性仍然缺乏有效的方法。另一方面，深度学习技术已经在计算机视觉中得到了广泛应用，其优势主要体现于底层视觉特征的自动提取和精确的属性识别。本项目旨在研究基于超图表示和深度学习的人脸特征定位与表情分析，试图将基于深度学习的特征提取和基于超图的语义属性表达有机的结合在一起，并针对其中的关键问题展开深入探讨。主要研究内容包括：(1)改进神经网络结构以生成人脸抽象属性的问题；（2）改变超图构造方法来表达人脸抽象属性、探索大规模表情分析问题；（3）使用超图的能量函数来调整深度学习网络参数问题；（4）不同场景和条件下的超图和深度学习的融合方式探讨。

在本项目中, 我们以属性概念为基础，结合深度卷积神经网络和超图的优势来探索人脸表情识别技术。一方面，深度学习技术已经在计算机视觉中得到了广泛应用，其优势主要体现于底层视觉特征的自动提取和精确的属性识别。因此，我们利用深度神经网络来提取具有语义分析意义的属性。另一方面, 超图是一种非常有效的表达、分析物体属性信息的手段，在以往的文献中缺乏关于如何将底层特征转化为有效超图的方法。本项目的研究正好填补了这一空缺，将基于深度学习的特征提取和基于超图的语义属性表达有机的结合在一起并在人脸表情分析这个问题上取得了很好的实验结果：..(1)利用卷积神经网络的输出节点直接生成有语义特性的人脸抽象属性，并以此为根据来建立超图中的超边来进行人脸表情分类。这里我们探讨了有效地结合卷积神经网络的预训练和精细调参的方法，以解决表情图像数据库通常较小、不足以训练深度神经网络的问题。我们首次将深度卷积神经网络和传导超图学习结合起来、应用于人脸表情识别问题并取得良好的实验结果。研究成果发表在19th ACM International Conference on Multimodal Interaction, 论文的题目是：Deep learning driven hypergraph representation for image-based emotion recognition。..(2)采用混合超图构造方法来表达人脸抽象属性、探索表情分类问题。我们发现在（1）中生成的人脸抽象属性通常表达的是人脸动作单元或者及其变体。因此我们利用卷积神经网络来预测动作单元，将动作单元作为建立超边的依据。另外，我们也利用深度卷积神经网络的高层特征来计算图像之间的相似关系，以此建立图像的局部聚类，并以此来建立另外一种超边—局部聚类超边来强化超图的表达能力。利用混合超边模型，我们更进一步的提高了人脸表情识别的精度。研究成果发表在International Conference on Pattern Recognition2016, 论文的题目是：Hybrid Hypergraph Construction for Facial Expression Recognition。