基于时空神经网络的动态表情识别方法研究

Facial expression recognition is one of the most important ways to interpret human emotions for computers, and an important part to achieve harmonious and natural human-computer interaction. It shows broad application prospects in the fields such as intelligent robots, education and treatment. To achieve a significant improvement in the performance of video-based facial expression recognition, this project intends to deeply explore the theories and methods of spatial-temporal dynamic modeling of facial expression, and investigate the accurate description of dynamic facial expression based on facial action units from different perspectives, such as spatial-temporal recurrent sequence, Riemannian manifold and graph topology structure. Concretely, this work includes the following four aspects: 1) propose a spatial-temporal recurrent neural network framework to learn the large-range dependencies of facial action units; 2) propose a deep covariance neural network in Riemannian manifold to model the distribution of facial action units; 3) propose a facial expression recognition model based on graph convolution to robustly encode facial action units as well as their correlation; 4) construct a tensor graph model to encode dynamic sequences, and specifically propose a novel tensor graph convolution method to model the dynamics of facial expression. This project will enrich the theoretical methods in the fields of computer vision and pattern recognition, and also provide necessary methods and technical support for the popularization and application of facial expression recognition.

表情识别是计算机解读人类情感的重要途径之一，是实现和谐而自然的人机交互的重要环节，在智能机器人、教育和医疗等领域具有广阔的应用前景。本项目拟对视频中人脸表情识别的时空动态建模理论与方法展开深入探索，从时空递归序列、流形、图拓扑结构等不同角度，研究基于人脸运动单元的动态表情的精准表达问题，以实现视频人脸表情识别性能的显著提升。其具体工作包含以下四个方面：1)提出一种时空递归神经网络框架以学习运动单元的大范围依赖关系；2）提出一种黎曼流形空间的深度协方差神经网络模型以建模人脸运动单元的分布特性；3）提出一种基于深度图卷积神经网络的表情识别模型以鲁棒编码运动单元及其关联性；4）建立编码动态序列的张量图卷积神经网络，并提出一种张量图卷积滤波方法用于建模视频表情的动态序列变化信息。本项目的相关研究成果将丰富计算机视觉与模式识别等领域的理论方法，同时也将为情感识别的推广和应用提供必要的方法和技术支撑

表情识别是计算机解读人类情感的重要途径之一，是实现和谐而自然的人机交互的重要环节，在智能机器人、教育和医疗等领域具有广阔的应用前景。表情数据在结构上具有显著的时空动态变化特性，而研究其关键时空模式的动态变化机理对于表情识别具有重要意义，也有利于将该研究推广到其它时空序列相关任务。本研究围绕表情等视频序列的动态建模问题，结合包括人脸运动单元等关键模式的内在协同交互特点，深入探索和研究了时空动态建模理论与方法，构建具有时空结构表达能力的动态网络模型，以推动动态序列，特别是人脸表情识别相关研究的发展。具体包括：1) 提出了一种时空递归神经网络框架以学习人脸表情运动单元（AU）的大范围依赖关系；2）提出了一种黎曼流形空间的深度协方差神经网络模型以建模关键运动模式的时空分布特性；3）提出了一种基于深度图卷积神经网络的识别模型以鲁棒编码关键模式单元及其关联性；4）提出了一种张量图卷积滤波方法用于建模关键模式的动态序列变化信息。本研究的相关成果将丰富计算机视觉与模式识别等领域的理论方法，同时也将为情感识别的推广和应用提供必要的方法和技术支撑。相关方法并不仅局限于表情识别问题，也具有良好的推广适用性。