课堂环境下基于多模态信息融合的学习情感识别研究

Emotion recognition is a hot and important research area in computer vision and artificial intelligence. Recently, the research on emotion recognition for practical application is still in its infancy. Learning emotion, as a reflection of students’ physical and psychological conditions, is an important factor affecting their learning efficiency and achievement. It has become a hot research topic in the field of education. Aim to solve the difference between the learning emotion and the traditional emotion, and also solve the limitations of single modal data in emotional integrity expression, this application proposes a learning emotion recognition method based on multi-modal information fusion. It can realize real-time automatic recognition of learning emotion in classroom environment. Our research will focus on: (1) Aim to solve the learners’ low-intensity dynamic expression recognition and subtle action recognition in classroom environment, we have proposed a multi-modal visual behavior emotion recognition model based on LSTM, and established the relationship between visual behavior representation and learning emotion; (2) Proposed a learning emotion recognition model with fault tolerance and discrimination ability based on multi-instance deep convolution electroencephalogram; (3) Study the multi-modal learning emotion recognition model based on hybrid depth neural network. The research results can realize the real-time automatic recognition various behaviors and emotional changes of learners’, and provide key technical support for revealing learners’ behavior rules and personalized characteristics. It also can provide theoretical basis and technical support for improving teaching quality, teaching evaluation mechanism and application of individualized education.

情感识别是计算机视觉、人工智能等领域的热点与重点研究方向。目前针对实际应用需求的情感识别研究尚处于起步阶段。学习情感作为学生身体、心理等各方面情况的反映，是影响其学习效率、成绩的一个重要因素，已成为教育领域的一个热点研究内容。针对学习情感与传统情感的差异及单模态数据在情感完整性表达方面存在的局限性，本项研究提出基于多模态信息融合的学习情感识别方法，实现课堂环境下学习情感实时自动识别。具体研究内容包括，①研究基于LSTM多源视觉行为特征融合的学习情感识别模型；②研究具有容错及判别能力的多示例深度卷积EEG学习情感识别模型；③研究基于混合深度神经网络的多模态学习情感识别模型。该项目的研究结果可以实现学习者各种行为及情感变化的实时自动识别，为揭示学习者的行为规律与个性化特点提供关键技术支撑，同时，为提高教学质量、完善教学评价机制及个性化教育等应用提供基础理论依据和技术支撑。

研究背景：学习者学习行为和情感识别的研究有助于为学生个性化学习分析，精准教育及完善教学评价机制等应用提供基础理论依据和技术支撑。因此，通过分析学习者学习行为与情感变化调整教学行为，按照学生在学习过程中呈现出的不同特点对其进行分类，有针对性地教育，以提高学生接受知识效率的教学行为是现代教育科学发展趋势。该项目的研究成果可以实现学习者行为及情感变化的实时自动识别，为揭示学习者的行为规律与个性化特点提供基础理论依据和技术支持。.主要研究内容：本项研究以受环境影响的课堂舞蹈学习者为研究对象，利用计算机视觉技术，通过多模态信息融合对学习者的非语言行为进行描述，挖掘学习者、课堂环境、授课者之间的关系，主要从基于轨迹信息的行为表征入手对视频中行为数据进行行为轨迹估计、姿态估计与动作识别，开展基于EEG生理信号的情感分类与识别工作，建立基于特征学习的多人轨迹估计模型、基于多尺度特征学习的多人姿态估计与识别模型、基于混合神经网络的脑电信号识别模型以及基于动态储备池时空网络的脑电情感识别模型，重点分析学习者学习行为和情感的变化，实现学习者学习行为和情感的动态实时分析。.取得的重要成果：发表与该基金相关的期刊论文12篇，SCI论文8篇，会议论文2篇，EI期刊论文1篇，CSCD论文1篇，出版学术专著2部，授权发明专利4项，获得奖励4项。参加国内会议3次，项目期间培养的研究生获得各类竞赛4项。.科学意义：本项目采用机器学习、神经网络等理论研究了基于视觉信息的学习行为分析，构建行为轨迹估计模型，为学习者行为估计提供了新的思路；建立了混合神经网络的脑电信号识别模型和基于回声状态网络储蓄池结构的脑电非线性混沌特征提取及分类模型，为学习者情感分类提供基于深度神经网络的解决途径。以课堂环境下的舞蹈教学为研究对象，研究基于2D\3D姿态估计的多模态舞蹈行为估计与识别模型，为舞蹈自助教学、专业舞者动作纠正等实际应用提供了技术支持。