脑电和眼动信号在多模态情绪识别中的区分能力、表征特性及稳定性

This project studies the discrimination ability, representation characteristics, and stability of EEG and eye movements signals used for multimodal emotion recognition from the aspects of feature learning, information fusion, knowledge transfer, and deep learning, and explores the theory and key technology of multimodal affective brain-computer interaction.The main research contents are as follows: (1) Study the ability to distinguish six emotion states (including happiness, sadness, fear, disgust, anger and neutral) of EEG and eye movements data using multimodal deep learning; (2) Perform single modality, multi-modality, and cross-modality feature learning for EEG and eye movements data using multimodal deep learning, explore the complementary characteristics of EEG and eye movements data on emotions, and build a multimodal emotion recognition model with the combination of internal neural patterns and external subconscious behavior; (3) Study the EEG and eye movements’ stability of indicating different emotions over time and study the commonness and individuality of emotional related feature patterns of different individuals and different periods, and implement a multi-individual and multi-period adaptive emotion recognition system using transfer learning. This project is of great importance to effectively utilizing increasingly wide spread wearable EEG and rye tracking devices, developing new affective brain-computer interaction technology, and exploring new applications of affective brain-computer interaction technique to the medical, information, transportation and military fields.

本项目从特征学习、信息融合、知识迁移和深度学习等多个层面研究脑电和眼动信号用于多模态情绪识别的区分能力、表征特性及稳定性，探索多模态情感脑机交互的理论与关键技术。拟开展的研究工作主要包括以下三方面：1）利用多模态深度学习技术研究脑电和眼动信号对六类情绪（喜悦、悲伤、恐惧、厌恶、愤怒、中性）的区分能力；2）通过多模态深度学习对脑电和眼动数据进行单模态、多模态和跨模态特征学习，探索脑电和眼动信号对情绪表征的互补特性，建立内部神经模式与外部潜意识行为相结合的多模态情绪识别模型；3）研究脑电和眼动信号随时间变化对表征不同情绪的稳定性，探索不同个体和不同时间段与情绪相关的特征模式的共性与个性，应用迁移学习实现多个体和多时间段的自适应情绪识别系统。本研究对有效利用不断涌现的可穿戴脑电和眼动仪头戴装置，开发新的情感脑机交互技术，以及探索情感脑机交互在医疗、信息、交通和军事等领域的实际应用都具有重要意义。

本项目从特征学习、信息融合、知识迁移和深度学习等多个层面研究脑电和眼动信号用于多模态情绪识别的区分能力、表征能力及稳定性，探索多模态情感脑机交互的理论与关键技术。本项目取得了如下六方面成果：1）本项目针对喜悦、悲伤、中性、恐惧、厌恶和愤怒这六类情绪进行了研究，其中愤怒情绪的诱发素材经评测不能有效诱发该情绪。针对其他五类情绪，我们构建了有效的五类情绪诱发素材库，建立了五类情绪数据集，验证了脑电信号对五类情绪的区分能力。2）本项目从情绪识别准确率及脑地形图的角度，揭示了脑电信号对五类情绪具有时间的稳定模式。3）本项目研究了被试的眼动轨迹与实验参与程度的关系、眼动轨迹与情绪识别率的关系以及情绪识别的关键眼动特征等问题，一系列研究结果表明，眼动特征对情绪具有区分能力。4）本项目利用多模态数据融合算法，实现了多模态情绪识别，并且通过混淆矩阵、转移状态图等方式，发现了脑电信号与眼动信号的互补性。5）本项从域适用、域泛化及‘即插即用’域适用三个角度研究了基于迁移学习的跨被试情绪识别模型，并且取得了较好的成果。6）本项目研究了基于深度典型关联分析的多模态融合算法、基于注意力机制的多模态融合算法以及基于生成对抗网络的多模态数据生成算法，既能够有效融合多模态数据，又能够缓解样本数量少的问题。本项目为开发具有实用价值的情感脑机接口提供基础算法和公开数据集。