虚拟现实环境下学习者多维学习投入模型构建研究

Research on student engagement model in virtual reality environment is an important basis for developing virtual reality resources, content, and appropriate instructional design in this environment. However, current data acquisition technique on student engagement in virtual reality environment is subjective and time lag, dynamic process cannot be supported; student engagement model analysis emphasizes on a single dimension; the coupling and relevance of the eigenvalue are not fully considered. This research project tends to use distributed sensor system combining modern detection technology and virtual reality feature, to realize multi-charactieristic physiological information real-time monitoring, as well as analyze the correlation of the multi-parameter and multidimension of student engagement. Electrophysiological signal sampling, speech feature extraction, semantic recognition, dynamic expert center of bayesian network model are built to recognize emotion type and are used to analyze emotional dimension of student engagement; the degree of arousal, positive and negative emotion were quantified. Cover model and constraint model, speech, semantic and reaction behavior information are used to recognize and analyze cognitive and behavioral engagement dimensions. A complex multivariable coupling relationship between the eigenvalue and dimensions are also analyzed. To establish a complex multi-input and multi -output student engagement model, for providing a stable theoretical and technology foundation for designing instructional strategies and model of virtual reality, and optimize virtual reality learning environment.

虚拟现实环境下学习者学习投入模型研究，是开发虚拟现实硬件及资源、进行相应教学设计的重要依据。目前对虚拟环境的学习投入模型研究存在数据采集主观性，时滞性，较难支撑动态模型，模型分析维度单一，对特征值间的耦合性和关联性分析不充分等问题。本项目拟利用现代检测技术与虚拟现实相结合的分布式传感器系统，实现对学习者学习投入多特征生理信息的实时监测，并对采集的多参数、多维度特征间的关联性进行分析。针对学习投入的情感、认知、行为三维度，采用电生理信号采样、语音特征提取、语义识别为主要分析手段，建立动态以专家中心的贝叶斯网络模型，实现对情绪类型的识别，对唤醒度及情绪正负面程度进行量化；采用覆盖模型和约束模型，引入语音、语义及反应行为等信息实现对认知投入和行为投入的分析。力图构建虚拟现实环境学习者的多输入多输出学习投入模型。本项目将为深入分析虚拟现实教学策略与模式，优化虚拟现实学习环境提供理论与技术支持。

项目背景：. 虚拟教学为代表的新一代多媒体教学技术，可以在教师资源有限的情况下通过提高硬件水平的方式快速实现教学水平的提升。目前虚拟现实技术在教育应用中的发展主要以产品技术提升、优化用户体验，视频资源的开发与应用等领域，针对虚拟教学环境下的学习行为分析研究较少。本项目通过自研的可穿戴传感器阵列、虚拟课程及采集学习者数据基于三维学习投入，建立学习者模型。从而为制定个性化学习方案，弥合地域教学水平差距，实现教育公平做出贡献。.研究内容：.（1）基于虚拟学习环境的情感、认知、行为三维度特征项检测方法及分布式传感器阵列系统设计与优化。设计了适用于VR设备的解剖学课件以及电生理传感设备。.（2）设计了针对特征参数的归一化处理及降噪、放大等预处理算法，并对生理信息之间的相关性采用耦合度测量算法进行分析。设计了多维度信息的归一化算法并进行了降噪处理，关联性分析拟采用耦合度测量算法对特征参考量之间的关系进行分析。.（3）建立了三个学习投入维度上的各参数与输出的非线性映射关系模型，三个学习投入维度间相互耦合性的关联模型，学习者的三维度联合学习投入模型。.研究成果：. 研制了专用虚拟教学课程，生理信息采集设备，实现了学习者模型的建立。发表多篇SCI、CSSCI、中文核心期刊。.科学意义：. 基于学习者在学习过程中的情感投入、认知投入、行为投入，建立了学者学习投入综合模型，为进一步完善学习者画像理论、实现个性化学习方案制定提供了研究基础。