教学代理在多媒体学习中的作用及其机制:基于眼动和fNIRS的研究

Previous studies have inconsistent conclusion about pedagogical agent (PA) effects in multimedia learning and online learning because of research method limitation and not rigid variables control. The social agency theory is not supported by the neuroscience study. In this study, we plan to use eye tracking, fNIRS, VR, and learning tests, and explore the how PA affect cognitive processing, brain activity, and learning performance during multimedia learning. Three studies and 15 experiments were designed to answer these research questions. Would PA improve learning outcomes in multimedia learning? Does PA’s social cues (e.g., gesture) guide learners’ attention or distract their attention? Based on social agency theory, how PA influences the brain activity? What are the factors that affect PA effect and set the boundary condition in multimedia learning? Could we apply PA principle to children during learning with multimedia and online courses? What’s the brain activity difference between adults and children when they are engaging with PA? Moreover, we plan to analyze the correlation among eye tracking data, brain image data, and learning outcomes to give the social agency theory direct empirical support. This study will shed new light on PA effect and social agency theory in multimedia learning, and have practical implications for PA and online course design.

教学代理对多媒体学习和在线学习效果的影响由于方法局限和实验控制问题，导致以往研究存在不一致的结论、代理的社会代理理论也缺乏神经生理的证据。本项目拟采用眼动、fNIRS、VR和学习测验考察教学代理对多媒体学习认知加工过程、大脑激活和学习结果的影响。通过3个递进的研究共15个实验探讨：教学代理能否提高学习的效果；教学代理的社会线索（如：手势）对学习者起到注意引导作用还是干扰了学习；基于社会代理理论，代理是否对大脑激活产生了影响；哪些因素会影响教学代理起作用及其相互作用的机制；针对成人研究的教学代理原则能否应用于幼儿的多媒体学习；成人与儿童对教学代理的加工机制是否有差异。此外，研究还将分析眼动、大脑激活等过程性指标与学习效果等结果性指标的关系，为验证社会代理理论提供更为直接的证据。研究对于揭示教学代理在多媒体学习和在线学习中作用机制，以及如何科学合理地开发教学代理和设计在线视频课程具有重要的价值

随着人工智能、在线视频和VR技术的进步,教育心理学研究者尝试通过在视频学习中加入虚拟的人物(即教学代理)来代替传统教师的功能。但是，教学代理是否有效及其起作用的机制仍然是一个尚需解答的科学问题。项目采用3个研究和多个系列实验，借助行为实验、主观测量、眼动技术和脑成像技术，考察了教学代理在多媒体学习中的注意分配及认知神经机制、教学代理有效性的影响因素以及教学代理在幼儿多媒体学习中的作用。具体内容如下：1）研究1发现教学代理的存在要好于无教学代理（Wang et al., 2018; 匡子翌等，2021）；教学代理的手势可以引导学习者的注意，并提升了学习效果（Li et al., 2019; Wang et al., 2022）；基于fNIRS技术发现了代理的加入促进了具身认知并且大脑左侧STG有更高的激活（Li et al., 2021）。2）研究2发现物理线索在无教学代理时，也可以加强学习者的注意引导和提升学习结果（赵婷婷等，2021；Xie et al., 2019）；眼动样例可以引导学习者的注意、提高学习成绩（Wang et al., 2020; Xie et al., 2021）；视频的播放速度的增加不利于学习者的注意引导和学习成绩（马安然 等, 2021）。3）研究3发现空间邻近可以提升6-8岁儿童的注意引导作用和学习成绩（王福兴 等，2020）；基于触屏呈现的多媒体学习素材可以提高幼儿的学习结果（Wang et al., 2021; 高春颍, 等2021）；通过实证研究和元分析发现卡通教学代理可以促进儿童食物知识学习(Tong et al., 2021)。本项目的结果进一步深化了有关教学代理的理论，为社会代理理论提供眼动和脑成像数据的支持。同时脑机制的研究也将为该理论揭示其背后的大脑激活机制，更好地促进学习。这将有助于改进现有多媒体学习材料和产品设计，为设计出符合学习者认知结构的多媒体产品提供科学的参考和依据。真正做到基于多媒体的学习既符合设计原则，又符合学习者的经验要求，从而更好地提高学习效果。