基于表情与眼动双模态协同计算的情感状态智能分类方法研究

Online video learning is a main mode of personalized active learning in the Internet age, and MOOC course is a typical example of it. The affect process and effect evaluation of this kind of learning style is an important content to be studied. This project is aimed at the emotion recognition and accuracy evaluation problem in online video learning scenarios. The research focus is on the intelligent classification of emotional states based on the cooperative computing using the dual-modality information including facial expression and eye movement. The subjects’ facial expression, eye movement and subjective report data in the experiment of online video learning will be collected and synchronized as basic data in this research. The research contents include the feature extraction including facial expression and eye movement, and quantitative expression of the correlation relationship between emotional states and the dual-modality features; dual-modality collaborative computing classification method; and intelligent classification and quantitative evaluation of emotional state. Combining psychophysiological computation, a quantitative representation method of temporal-spatial synergistic expression on the basis of the dual-modality feature is proposed to support the construction of high-quality emotion feature space. A dual-modality intelligent classification model of emotional state based on information entropy and its evaluation method are innovatively proposed to achieve more accurate classification of learning emotional state. The corresponding algorithm and its prototype software will be developed, and the proposed model and method will be tested and validated in real video learning scenarios. This study provides model and method support for emotional assessment of online video learning, and strives to promote the development of personalized active learning.

在线视频学习是网络时代个性化主动学习的主流模式，MOOC课程是典型实例，此类学习方式的情感过程与效果评估是需要研究的重要内容。本项目面向在线视频学习过程的情感识别及其精确性评估等深化问题，以基于表情与眼动双模态协同计算的情感状态智能分类方法研究为重点，在采集被试者在线视频学习过程生成的表情、眼动及主观报告等情感数据基础上，确定了体现情感状态的脸部表情与眼动信息特征提取及其关联关系表示、表情及眼动双模态协同计算分类方法以及情感状态智能分类量化评估等具体研究内容。综合心理生理计算，提出时空协同的双模特征关联量化表示方法，支持构建高质量情感特征空间；创新提出基于信息熵的双模情感状态智能分类模型构建及其评估方法，实现更为精确的学习情感状态分类；研发相应算法及其原型软件，并在真实的视频学习场景下对提出的模型与方法进行测试与验证；为在线视频学习情感评估提供模型与方法支持，力求推动个性化主动学习发展。

视频学习是一种新兴的在线学习方式，随着网络环境质量提升、教学内容不断丰富，视频学习已成为正常教学过程的有力补充。尤其是以MOOC为代表的在线教育平台在新冠疫情防控过程中为保障教学活动不间断发挥了非常重要的作用。本项目面向在线视频学习过程中的情感识别及其精确性评估等问题，开展了以下研究：多模态生理、心理同步数据采集实验范式的设计与优化；多模态生理信号特征空间的构建和特征提取方法研究；基于多模态生理信号特征的情感状态协同计算智能分类模型的构建和优化；情感状态智能分类方法的性能评价体系和评估方法研究。该项目取得重要结果及关键数据如下：①共采集99名被试的数据，筛选后共获得91名被试的同步表情和眼动数据并用于构建高质量数据集。②设计并实现了多模态生理信号时空特征的筛选及提取方法，并构建相应生理信号指标体系特征空间。如：提出了眼动坐标差特征(FCDE)和像素变化率序列特征(PCRS)；提出一种基于连续多窗口多模态时序特征的构造方法(MMTF)；采用多头注意力机制(MHA)提取生理信号深层特征与关键信息的方法等。③建立基于CNN、Transformer、时间卷积网络(TCN)、LSTM等的情感状态分类模型；将表情、眼动等特征用于情感分类，并利用测试数据对模型进行验证与优化。其中，采用特征提取网络(FE-CNN)提取眼动信号与视频信号的深层特征，使用情感分类网络(EC-CNN)对感兴趣、高兴、困惑和无聊四种学习情感进行分类，其中决策级融合准确率最高达到81.90%。④采用准确率、召回率、F1分数、FLOP浮点数运算次数等指标对智能分类模型进行多方面评估。采用消融法对缺失模态以及关键模块进行鲁棒性分析。实验结果与公开数据集MAHNOB-HCI、SEED、DEAP和WESAD进行横向比较，均显示模型具有良好性能。该项目针对在线视频学习中的“情感缺失”问题，提供了高效且鲁棒性强的情感状态识别方案，基于识别结果提供学习方面的干预，能使慕课成为更为有效的学习方式。此外，还可以促进情感识别在人机交互、心理学以及认知科学中的发展，具有重要的科研价值。