基于深度学习的多模态抑郁症辅诊识别建模研究

The pervasive hopelessness and high risk of suicide in depressive patients suggested that the self might be abnormal among them. Current state-of-the-art depression diagnostic methods include on the basis of an interview style assessment between a clinician and a patient, patient self-reporting, and typical rating scales . However, these tests are subjective and single in nature, low diagnostic accuracy and lack an objective predictor of depression. Therefore, to enhance current diagnostic methods an objective screening mechanism, based on physiological and behavioral signals, is needed. Learning from previous relevant research and preliminary experimental result, a range of acoustic features have already been identified for suitability in the classification of depression. The current project will systematically address above issue, by focusing on abnormalities of self-related processing in patients with unipolar depressive disorder and healthy controls. On the basis of multimodal data acquisition, we utilize accurate and sophisticated ways of feature extraction and fusion to develop a depression classification model. And we present a method of combining the deep learning algorithm with classical psychological experiment technology, which improves the accuracy recognition and provides an objective basis for clinical diagnosis. The result will not only provide new evidence and support for studies on abnormalities of self-related processing in depression via multimodal analysis, but also lay a solid foundation for enriching the diagnosis of depression.

抑郁症患者普遍存在绝望感和高自杀风险，提示其可能在自我相关加工方面存在异常。目前抑郁症的临床诊断主要依赖量表的评定、患者或家属描述和临床观察，主观性强，缺乏定量客观指标，分析方法单一，识别率低。因此发展可靠、客观的抑郁症早期诊断定量指标，对于早期识别与干预尤为重要。我们前期研究和预实验初步发现：声学证据及其预测模型可为抑郁症提供潜在的客观信息。对于本项目来说，我们将以单相抑郁症患者和健康对照组为研究对象，拟从抑郁症患者自我加工效应异常入手，在采集多模态数据基础上，将心理学经典实验方法与计算机深度学习技术有机结合，利用准确、成熟的特征提取、特征融合方法，研究自我加工异常下基于深度学习的多模态抑郁症辅诊识别方法，建立客观的抑郁程度评定模型，为疾病的准确诊断提供客观依据。研究结果不仅将为抑郁症患者自我加工异常的多模态分析思路提供新的证据和支持，而且为丰富抑郁症客观诊断识别方法的研究打下坚实基础。

抑郁症患者普遍存在绝望感和高自杀风险，提示其可能在自我相关加工方面存在异常。目前抑郁症的临床诊断缺乏定量客观指标，分析方法单一，识别率低。据此，我们从心理学抑郁症患者自我加工效应异常入手，在采集多模态数据基础上，将心理学经典实验方法与计算机深度学习技术有机结合，研究自我加工异常下基于计算机深度学习的多模态抑郁症辅诊识别方法。具体研究成果包括：⑴在前期研究基础上，持续优化和构建了基于心理学自我加工异常效应的抑郁文本语义、语音声学及不同生理通道的多模态数据和实验刺激，客观地印证语音声学特征与抑郁严重程度之间的相关性，有力地支撑了后续实验的信效度。⑵利用实验统计学的方法对抑郁被试声学特征做了详细分析比较，总结了有效声学特征及其变化规律。同时，采用Stroop效应对语音特征进行了抑郁被试的认知负载异常分析。⑶实现了基于CNN和语音信号的抑郁倾向识别研究，构建了残差神经网络的语音抑郁倾向识别模型。考虑到基于语音信号的双模态上下文关系及时序信息，在ResNet基础上加入了长短时记忆网络，实现了基于ResNet_LSTM网络的语音抑郁倾向识别研究。弥补ResNet在关注局部特征信息方面的缺陷，实现了基于ResNet_CBAM网络的语音抑郁倾向识别研究。⑷为解决时间信息更好地提取问题，建立了一维卷积结合BiLSTM的网络模型结构，提取与抑郁倾向相关的多模关联度较高的特征，构建注意力机制与时间信息结合的抑郁倾向识别方法。结合多任务方式实现性别影响特征之间共享，实现了结合性别信息的多任务层间共享的抑郁倾向识别方法。⑸分别利用文本语义和语音声学等双模态信息，探讨了不同言语方式、性别、情绪刺激以及自我参照加工范式下对抑郁倾向识别的影响。同时，在双模态特征融合的基础上引入注意力机制进行抑郁倾向识别，实现了基于双模态利用门控循环单元网络构建的抑郁倾向分类识别研究。项目研究成果对于丰富心理健康检测的理论和实践研究具有积极意义。