基于情感上下文的视觉语音多模态协同情感分析方法研究

Vision-speech emotion analysis is one of key problems in harmonious human interaction. In this project, extracted methods of emotional context, postures, speech and expressions, strcutured sparse representation methods and emotion collaborative analysis methods based on emotion agents are researched to analysis emotions accurately in the spontaneous interation enviroment with missing data. The main research contents included: 1) Dynamic extration methods of emotion contextes based on environment and analyzed objects are researched, and these methods can get emotion context information dynamically from the aspects of environments, scenes of actions, personal information of objectes analyzed, speech and vision. 2) Two-level emotion feature extraction methods of postures are researched, and these methods can extract the emotion featrures of postures accurately from each video frame and a sequence of video frames on time. 3)Structured sparsity representation methods of emotion features with the distinguishing capability are researched. This emotion feature representation methods can express the relationships among emotion features and have the nonlinear recognition capability. 4)multi-modal collaborative analysis methods of emotions based on emotion classifing agents are researched. These methods can improve the accuracy and the robustness of the emotion analysis in the real interaction environment by the negotiation and the collaboration among the emotion classifing agents. In a word, the research achievements in this project will accelerate the development of the advanced human-computer interaction technology.

本项目旨在利用情感上下文、姿态、语音以及表情中包含大量情感信息且这些信息互为补充的特性，结合结构化稀疏表示和多情感代理协同分析，解决在部分通道信息丢失的情况下准确分析待分析者情感的问题。本项目主要研究基于情景和分析对象的情感上下文动态提取和分析方法，针对环境、情景、分析者个人信息、语音情感上下文以及视觉上下文研究不同的情感上下文动态提取方法；研究基于视频跟踪的两级姿态情感特征提取方法，从视频帧和视频序列两个角度研究分析对象姿态特征的实时提取方法；研究情感特征结构化稀疏表示方法，该方法能够表示出情感特征之间的关联关系。从而更具有分类鉴别能力；研究基于情感分类代理的多模态协同情感分析方法，融合多通道情感特征，通过情感分类代理的相互协商、协作，优势互补，提高自然交互环境下情感分析的准确性和鲁棒性。本项目的研究成果可应用于开发智能化、人性化的新型人机交互环境，将产生很好的经济效益和社会效益。

情感分析是新型人机交互和人工智能技术中非常重要而又异常困难的问题之一。本项目旨在利用情感上下文、语音以及表情中包含大量情感信息且这些信息互为补充的特性，结合深度学习、迁移学习、图模型、结构化稀疏表示和多模态协同分析，解决自然场景下准确分析待分析者情感的问题。主要研究内容包括：研究可鉴别音频情感特征学习和识别方法，以通过自动学习的方式获得容忍说话人、说话内容变化、环境噪声以及语言变化的情感特征；研究自然场景下人脸表情特征学习和识别方法，使得学习到的表情特征和识别方法能够容忍人脸姿态、光照、分辨率等自然条件的变化；研究情感上下文信息动态学习与分析方法，挖掘情感表达的连续性，改善情感分析的准确度；研究基于视觉语音的多模态情感特征学习、表示和协同决策方法，利用不同模态间信息表达的互补性，协同识别情感状态，提高情感分析的准确性。最后，研发了视觉语音协同的情感分析原型系统。本项目研究对推动人机交互的拟人化、智能化技术发展具有重要的理论意义和实际应用价值。