基于多模态深度特征学习的抑郁症识别方法研究

As a mental disorder, depression can negatively affect a person’s mental health. Recent evidences have demonstrated that facial expression and vocal prosody could be highly indicative of depressive disorder. Automated depression recognition based on machine learning is a new research topic in the computer vision and affective computing community. In this study, we will investigate a multimodal deep representation learning approach for automatic depression recognition. More specifically, we focus on the following aspects: 1) A large-scale video and audio database with even distribution of the patient samples is constructed to resolve the bottleneck of lack of labeled depression data. It is expected to become a new benchmark dataset in this research area. 2) A deep representation learning method for depression recognition is studied under the framework of deep convolutional neural network, aiming to reveal the essential visual and vocal pattern of depression patient. 3) A multimodal deep representation learning framework is introduced, where the facial image and vocal prosody are adopted as the basis modalities for feature fusion. In this framework, the discriminative pattern of different visual modalities can be well exploited, and also the complementary and relation pattern can be effective explored for improved recognition performance. 4) Based on the clinical depression scale, a prototype system is developed for evaluation of the proposed depression recognition methods on the benchmark datasets, which will establish foundation to facilitate clinical application of the proposed method.

抑郁症是一种严重的精神障碍方面的疾病，患者在面部表情、语音等方面有显著的特征。基于机器学习的抑郁症自动识别，是计算机视觉和情感计算研究领域一项全新的研究课题。本课题基于深度学习理论，研究一种基于多模态深度特征学习的抑郁症识别方法。研究内容包括：1）建立一个大规模、人群分布均衡的抑郁症患者音频视频数据库，解决该领域研究缺乏训练数据的困难瓶颈，为抑郁症识别研究提供基础数据集。2）在深度卷积神经网络框架下，研究面向抑郁症识别的深度特征学习方法，揭示抑郁症患者面部视觉和语音特征的内在表示。3）结合抑郁症患者人脸图像和语音信息，研究一种多模态深度特征学习框架。在这一框架下，不仅各个模态的深度判别特征能够得到充分利用，而且多个模态之间的互补关联特性可以得到有效挖掘。4）基于临床诊断量表，设计抑郁症自动识别系统，在基准的抑郁症样本库上评估算法的各项性能指标,为推动抑郁症识别研究的临床应用奠定技术基础。

抑郁症是一种严重的精神障碍类疾病，患者在面部视觉、语音等方面有明显特征。本项目在深度学习框架下，重点研究了基于多模态深度特征学习的抑郁症识别算法。研究成果和重要进展如下： .（1）在深度卷积神经网络框架下，提出了一种面向抑郁症识别的深度视觉特征学习方法，首次将四元数理论应用到抑郁症识别领域，构建了融合局部四元数和全局深度网络的抑郁症识别模型LQGDNet，深度挖掘患者视觉特征与诊断结果的关联，成果于发表在情感计算类国际顶刊IEEE Transactions on Affective Computing；在语音特征研究方面，提出一种以小波分析为基础的SincNet作为音频特征提取网络，有效挖掘音频深度特征。（2）融合视觉特征和语音特征，提出了一种多模态深度特征学习框架AVA-DepressNet，在基准抑郁症样本库上其性能达到国际领先水平，在样本库AVEC 2013、AVEC 2014、AVEC 2017，均方根误差和平均绝对误差分别是6.23/7.99、5.32/6.83、4.62/5.78，实现预期研究目标。成果投稿到SCI TOP期刊Expert Systems With Applications，返修。（3）提出抑郁症识别可视化研究，训练出首个可解释的抑郁症识别深度神经网络模型，也是该领域国际较早呈现具有可解释性的抑郁症面部特征。成果发表在情感计算类国际顶刊IEEE Transactions on Affective Computing。（4）与齐齐哈尔精神卫生中心、北京回龙观医院等合作，基于临床诊断量表（贝克自评量表、汉密尔顿量表），建立了一个大规模抑郁症患者音频视频数据库，解决该领域研究缺乏训练数据的困难瓶颈。后续将加强样本图像的隐私保护研究，适时公开样本库，为抑郁症识别研究提供基础数据集。（5）项目设计实现了抑郁症自动识别原型系统，为推动抑郁症辅助诊断在医学领域的应用奠定基础。