真实自发情感的听视觉多模态实时心理学连续维度分析

This project focuses on the on-line audio visual multi-modal analysis of spontaneous emotions in the psychological continuous dimensional space. Firstly an audio visual spontaneous emotion database will be recorded and annotated with emotion labels as well as the arousal and valence values. After the emotional features are extracted from speech, face image sequence and key words, a switching Kalman filter is designed to estimate the arousal and valence values of the emotion on-line. To improve the accuracy and robustness of the estimation, multi-modal Dynamic Bayesian Network (DBN) models based on switching Kalman filter will be designed to fuse the audio visual and linguistic features. Finally a coupled DBN model will be built to classify and segment the emotions in a video, with the estimated arousal and valence values as input. The advantages of the proposed methods lies in: 1) on-line affect state analysis can be done on speech or face videos, whereas the traditional emotion recognition methods only can get the results after the whole video ends; 2) continuous arousal and valence dimensions can be obtained to depict the complex non-basic emotion patterns, whereas the traditional methods only classify emotions with limited labels and can't depict the composite emotions in real life. This research is essential and will have bright future in the field of intelligent monitoring, adaptive gaming design, educational software, supplementary therapy of autism and dementia patients, evaluation of service qualities et al.

录制听视觉真实自发情感数据库，进行情感类别和心理学情感维度多层标注；提取语音情感特征、面部表情特征和语言关键词特征，基于心理学维度空间，采用转换卡尔曼滤波器(SKF)对情感状态进行实时连续估计，考察情感特征对状态估计的有效性;设计基于SKF的多模态动态贝叶斯网络(DBN)模型，实现听视觉融合的实时连续情感维度估计，提高情感分析的准确性和鲁棒性；建立状态耦合DBN模型，以估计到的心理学情感维度作为观测序列，利用DBN在线推理算法，对语音或视频中的情感进行即时分割和分类。项目克服了传统情感识别方法的两个缺点：1)只有在一段视频结束之后才能识别情感类别的缺点，能够实时进行情感状态分析；2)只能对有限类别情感进行离散划分的缺点，能得到情感的心理学连续维度变化，描述复杂的复合情感。该研究在智能监控、人机交互、自适应游戏设计、自闭症和老年痴呆症辅助治疗、服务质量评价等领域有重要研究意义和广泛应用前景。

圆满完成了预期研究目标。1）录制了一个22名儿童与NAO机器人进行自然交互的非特定人听视觉真实自发情感数据库，并进行了情感维度标注。2）在情感特征提取方面，除了语音情感特征和面部表情特征之外，还得到了带深度信息的人体姿态特征、文本情感特征，以及心电、皮电等生理情感特征提取方法。3）在离散情感识别方面，提出了基于多流异步动态贝叶斯网络（DBN）模型和基于深度神经网络（DNN）的听视觉多模态情感分类和分割模型，得到了基于遍历隐马尔科夫模型（HMM）的单模态和听视觉多模态情感分类方法，有效提高了在自然环境下的情感识别正确率，获得国际多模态情感挑战赛MEC2016视觉组第一名和多模态组第一名。4）在心理学连续情感维度估计方面：a)提出了基于DNN-SKF的单模态和听视觉多模态连续情感维度估计模型，得到了基于语音、面部视频，或者文本的情感维度估计方法；b）提出了基于深度双向长短时记忆回归神经网络（DBLSTM-RNN）的听视觉双流情感维度估计模型，效果优于或接近于AVEC2014竞赛排名前五的结果，相关论文获ACII2015国际会议最佳论文奖提名；c）提出了基于DBLSTM的听视觉和生理多模态情感维度估计模型，有效提高了维度估计的精度，获得国际听视觉情感挑战赛AVEC2015的第一名；d）提出了模型级融合的多模态情感维度估计模型Multi-DNN和Multi-DBLSTM；e）提出了DRNN和DBLSTM-RNN相结合的多模态连续情感维度估计模型，均有效提高了情感维度估计的精度。.在原计划研究内容之外，还进行了听视觉抑郁症检测研究和情感标签驱动的面部表情动画合成研究：1）在听视觉抑郁症识别和抑郁程度估计方面，提出了一种基于决策树的结合听视觉低层特征和上层语言特征的多模态抑郁症识别方法，获得国际听视觉情感挑战赛AVEC2016抑郁症检测竞赛的第一名。2）提出了一种基于因子化条件受限玻尔兹曼机（FCRBM）的三维面部表情动画合成方法，能够给出与情感标签相对应的带表情的面部动画。