在线学习自适应交互中认知负荷与学习情绪的脑电表征及认知状态的评估与调整

The e-learning systems currently cannot sense and evaluate learner’s cognitive states and are lack of intelligent interaction, which has made the learning with less efficiency and effectiveness. To solve this issue, it is essential to consider integrating detection and analysis modules of cognitive workload and learning emotions into the adaptive human-computer interaction in e-learning, which underlie the evaluation and adjustment of cognitive states. This proposal revolves around the recognition of cognitive workload and learning emotions using EEG-based brain-computer interface and the evaluation and adjustment of relative states in such digital environment. The research includes four following parts. First, we explore the active brain areas and bands related to cognitive workload and learning emotions, leveraging the application of Cognitive Workload Theory and Emotion Model of Learning Cycle. Second, we investigate the detection of intrinsic cognitive load and extraneous cognitive load, as well as the levels of load. We propose a recognition method based on the parametric AAR model based feature extraction, Robust PCA feature selection, and RNN classification. Third, we study the recognition of emotions that occur in the process of learning. We propose an approach based on rational asymmetry features, mRMR selection and SVM. Fourth, we work on the mechanism of adjustment through fusing the information of workload and emotions in adaptive e-learning, and propose the method based on state estimation to detect the unexpected states of the workload, to make the learner use well the limited cognitive resources and improve learning.

现有在线学习系统缺乏对学习者内部认知加工的感知，无法通过智能自适应交互将认知状态调整到预期水平，陷入学习质量普遍偏低的困境。针对以上问题，亟需为在线学习的自适应交互建立相应认知状态表征、实时监测、评估及调整机制，将认知负荷调整到个体最理想水平。因此，本申请拟开展基于脑电的认知负荷与学习情绪识别及认知状态评估与调整的研究，包括：1）研究认知负荷与学习情绪的脑电规律及脑区定位，利用认知负荷理论与学习过程情绪循环理论指导建模；2）研究认知负荷的估计与检测，提出基于参数模型的特征提取、基于鲁棒性主成分分析降维与循环神经网络结合的方法；3）研究学习情绪的分类与分级识别，提出基于情感半球不对称性的特征提取、基于互信息的特征选择与支持向量机结合的识别方法；4）研究自适应交互中融合认知负荷与学习情绪信息的调整机制，提出基于状态估计法的认知负荷异常诊断方法，使学习者合理利用有限认知资源，提升学习效率。

针对在线学习系统无法感知学习者认知状态并进行智能自适应调整的困境，本项目借助脑机接口技术领域的发展进行深入研究，从认知状态原理、识别算法、智能脑机接口系统三方面的角度探索了认知负荷和学习情绪识别与调整，选择机器学习算法为突破口，对具有时序特征的脑电数据进行研究和处理，主要研究内容、研究结果及关键数据集中在以下四个方面：第一：针对复杂逻辑学习环境中学习情绪识别问题，本项目设计并实施基于瑞文标准图形推理测试诱发情绪的实验，提出一种基于深度学习的端到端脑电分析方法，构建的脑机接口识别情绪准确率达到71.36%。第二：针对实际教学过程或活动复杂且持续时间长，本项目提出了一种真实教育游戏环境中检测情绪的跨任务跨被试方法，该脑机接口方案在分类任务变化中具有较强的鲁棒性，其准确率达到91.04%。第三：针对学习状态下脑电数据长度不等的问题，提出一种基于投票的滑动时间窗方法，在区分逻辑测试项目回答类型方面，本项目构建的新型脑机接口准确率达到83.71%。第四：针对实时认知状态与学习情绪的识别问题，本项目提出一种可处理变长脑电数据的新方法TOO，由TOO方法构建的脑机接口学习情绪分类准确率达到83.58%，计算量仅为现有滑动时间窗方法的十分之一左右，达到计算量小、性能高的目的。基于以上研究，本项目在Universal Access in the Information Society、Complexity、Applied Science、Concurrency and Computation Practice and Experience等国际期刊上发表SCI、SSCI索引论文5篇，在CHI Conference on Human Factors in Computing Systems等国际会议上发表EI索引论文6篇，构建脑电数据集1套，脑机接口应用系统4个，培养硕士研究生2名。项目研究内容属于教育技术、脑机接口、机器学习、认知心理学等多个学科领域的交叉，研究成果为学习情绪提供一种新型监测和调节手段，对揭示学习过程中学习情绪和认知状态的规律及指导在线学习系统的自适应交互具有重要的研究意义和教育价值，为现代教育科学中学习分析应用提供理论和关键技术支撑。