基于人脸表情、身体姿态和语音的多模态情感识别方法研究

Emotion recognition is the main research issue of affective computing, pattern recognition, artificial intelligence, social signal processing and so on. The traditional research of emotion recognition mainly focuses on facial expression recognition, speech emotion recognition, body gesture emotion recognition and other monomodal emotion recognitions, but humans utilize the multimodal pattern to express inner emotion. Therefore, the research of multimodal emotion recognition has the important theoretical significance and practical application. On the base of the original research results of monomodal emotion recognition and bimodal emotion recognition, this project will further conduct key technology research of multimodal emotion recognition based on facial expression, body gesture and speech. The main contents of this project include: (1) Establishing the multimodal emotion database based on facial expression, body gesture and speech; (2) Researching the emotion feature extraction of the facial expression, body gesture and speech modality, as well as proposing the method of video emotion feature extraction based on the harris spatio-temporal feature; (3) Researching the emotion feature fusion of three modalities and proposing the sparse multiset reduced rank regression fusion method and sparse multiset kernel reduced rank regression fusion method; (4) Establishing the multimodal emotion recognition system based on facial expression, body gesture and speech.

情感识别是情感计算、模式识别、人工智能和社交信号处理等领域的重要研究课题。传统的情感识别研究主要集中于人脸表情识别、语音情感识别和身体姿态情感识别等单模态情感识别，但人类是以多模态的方式来表达内心的情感，因此，研究多模态情感识别具有重要的理论意义和应用价值。本项目旨在申请人原有单模态情感识别和双模态情感识别研究成果的基础上，进一步开展基于人脸表情、身体姿态和语音的多模态情感识别关键技术研究。本项目的主要内容包括:（1）建立基于人脸表情、身体姿态和语音的多模态情感数据库；（2）研究人脸表情、身体姿态和语音三种模态的情感特征提取，提出基于Harris空时特征的视频情感特征提取方法；（3）研究三种模态的情感特征融合，提出稀疏多类减秩回归融合方法和稀疏多类核减秩回归融合方法；（4）建立基于人脸表情、身体姿态和语音的多模态情感识别系统。

情感识别是情感计算、模式识别、计算机视觉、人工智能和社交信号处理等领域的重要研究内容。通过研究情感识别技术，可以在很大程度上促进计算机的情感化和智能化，使计算机拥有类似人类的情感能力，从而实现自然、和谐和智能的人机交互。.本项目紧紧围绕多模态情感识别研究课题，开展了人脸表情识别、语音情感识别、人脸表情和语音多模态情感识别、人脸表情和姿态多模态情感识别、人脸表情和生理参数多模态情感识别、人脸表情、语音和姿态多模态情感识别以及多模态情感维度预测等方面的研究。主要研究内容包括：1）研究基于人脸表情和生理参数的多模态情感识别，建立PSFE多模态情感数据库；2）研究基于视频的人脸表情和身体姿态多模态情感识别，提出了基于Harris空时特征的视频情感特征提取方法以及监督多类典型相关分析、监督多类核典型相关分析特征融合方法；3）研究基于表情和语音的多模态情感识别，提出了基于图像区域块的密集SIFT特征提取方法和稀疏减秩回归、稀疏核减秩回归两种特征融合算法；4）研究基于自然场景下的表情和语音多模态情感识别，提出基于深度学习的多模态情感识别方法；5）研究基于表情、姿态和语音的多模态情感识别研究，提出了稀疏监督最小二乘多类核典型相关特征融合方法；6）研究基于鲁棒方法的面部表情识别，提出了基于回归的鲁棒局部保持投影方法；7）研究了表情识别中情感特征提取方法，提出了多尺度自适应局部方向纹理模式和压缩局部Gabor方向数字模式的特征提取方法；8）研究了多模态维度情感预测，对多模态维度情感预测进行了综述；9）研究了基于核非负矩阵因子的语音转换。