基于深度学习的听觉脑机接口信号的情绪识别模型研究

Emotion recognition provide a new way of communication for people with visual disabilities in the auditory brain-computer interface（BCI）application. Emotion recognition based on EEG is a challenging problem in the fields of psychological cognition and human-computer interaction. Many researches of emotion recognition have been conducted, but the classification accuracy is diverse due to variability in stimuli type, feature extraction and machine learning algorithms. In order to improve the accuracy rate of emotion recognition. This project aims to propose an emotion recognition system based on deep learning models under the auditory stimuli. Firstly, audio stimuli mode would be studied to evoked emotion states. Secondly, both Deep Auto-Encoder and Deep Neural Network are constructed to extract new feature vectors. It aims at extracting more robust EEG features with application of deep learning models. Thirdly, efficient classification model of the new feature vectors for emotion recognition would be analyzed and established. The system supplies a research gap of emotion recognition in the auditory BCI system. The study would enhance the robustness, flexibility and accuracy of emotion recognition technology, and thus would be used widely in special education, mental health, and human computer interaction application, etc.

听觉脑机接口应用中的情绪识别研究可以为视力障碍人群提供一种新的沟通方式。因此，基于脑电信号的情绪识别成为心理认知和人机交互领域的研究热点。然而，由于受到刺激材料，特征提取和分类器等因素的影响，情绪识别率存在较大的差异并且有待提高。为此，本项目旨在提出一种高识别率和实用性强的基于深度学习的听觉刺激下情绪脑电识别模型。具体内容和创新点包括：1.根据听觉刺激的特点，探讨情绪诱发实验的刺激构成方式，解决如何选择合适的听觉刺激模式来诱发情绪的问题；2.提出基于深度自动编码器和深度神经网络的优化特征提取方法；3.通过结合分类器进行交叉验证，找到特征提取算法与分类器的最优组合方式建立具有高识别率的情绪识别模型。本项目研究内容及成果将为听觉脑机接口系统中情绪识别方面做出贡献，提高情绪识别能力的鲁棒性、灵活性和准确性，在特殊教育、心理健康和脑机交互应用等方面会有更加广阔的发展前景。

情绪的识别评估被广泛运用到脑机接口(BCI)系统的应用开发中。以视觉系统出现障碍者为服务对象进行情绪识别的BCI研究很少。因此，针对听觉BCI信号(即EEG信号)的情绪识别研究很有必要。本研究设计了两种负性情绪视觉刺激实验范式和两种负性情绪听觉刺激实验范式。这些实验所采集的脑电数据根据研究目的的不同被分别用于进行与负性情绪相关的特征分析，特征提取和分类识别。其中，通过使用事件相关电位(ERP)和事件相关扰动(ERSP)这两种分析方法可得出具有高识别率的负性情绪相关脑区主要集中在额叶区和颞叶区，频带多分布在Alpha和Beta频段，这一结果可作为特征提取的重要依据。随后，为了更快更有效的识别大脑内部不同的情绪活动，本研究探讨了两种优化脑电特征向量的提取方法。一种是基于经验模态分解(EMD)的共空间模式(CSP)特征提取方法，提取后的优化特征在经过支持向量机识别分类后，实验结果的准确率提升至89%。另一种优化脑电特征向量的提取方法采用了Hjorth参数，在特征选择过程中对提取的特征向量进行单因素方差分析。通过计算指定频带内所有通道的Hjorth参数，为每个受试者选择最优的特征向量，该方法具有普遍适用性。本研究在使用最优Hjorth参数特征向量进行分类评估时，利用深度学习等多种方法进行情绪分类识别。结果表明，对于最优的Hjort参数特征选择，识别率较高，但对基于Hjort参数提取的所有特征识别率不高。本项目的研究内容和成果将进一步丰富我们对视觉刺激和听觉刺激下基于脑电信号的情绪识别模式的认识，加深我们对视觉和听觉刺激诱发情绪过程中的人脑信息加工机制的了解，增加当前情绪识别模式的灵活性、高效性和实用性，准确率也将得到较大提高, 因而也将加快基于脑电信号的情绪识别走向实际应用的进程。此外，对于听觉刺激下产生的不同频率段的脑电信号进行的分析总结也为认知生理学领域提供了参考依据。