基于行为感知与分析的交互式智能教育关键技术研究

With the rapid development of artificial intelligence technology, it provides a new development pattern for education, an important tool for the transmission of human wisdom. Although educational information and networking have greatly expanded the time and space constraints of teaching and learning, they have lost communication and feedback between teaching and learning, resulting in a huge gap between teaching and learning. The purpose of this project is to explore a new learning pattern in the era of artificial intelligence. Through the intelligent perception and analysis of learners and their operating objects, we can understand the learners' behavior and semantics, and establish an interactive and intelligent learning pattern. Therefore, by extracting accurate human body posture parameters, detecting and recognizing the changes of learners' operating objects, using various machine learning models to identify behaviors, studying and analyzing the high-level semantic models and methods of behavior, and studying the learning content evaluation model based on learning state, the instantaneous and overall scoring of learning state can be obtained. On the basis of these recognition and analysis results, this project studies the intelligent feedback model based on learning content, induces learners to explore and create interest content, studies the intelligent augmented reality technology, provides natural and appropriate heuristic feedback and intelligent interactive visualization presentation, induces learners' the motivation and interest of further exploration and discovery, and provides technical support for intelligent learning model.

随着人工智能技术的飞速发展，为人类智慧传递的重要工具—教育提供了新的发展模式。尽管教育信息化和网络化极大地拓展了教与学的时间与空间限制，然而丧失了教与学之间的沟通和反馈，导致教与学之间的巨大鸿沟。本申请项目旨在探索人工智能时代的新型学习模式，通过对学习者和其操作对象的智能感知与分析，了解学习者的行为状态与语义，建立交互式、智慧化的学习模式。为此，通过提取准确的人体姿态参数，检测和识别学习者操作对象的变化，利用各种机器学习模型识别行为，研究分析行为的高层语义的模型与方法，研究基于状态的学习内容评估模型，得到状态的瞬时和整体评分。在这些识别与分析结果的基础上，研究基于学习内容的智能反馈模型，规划诱导学习者探索和创作兴趣的内容，并研究智能化的增强现实技术，提供自然的、恰当的启发式反馈和智能交互式的可视化呈现，诱导学习者进一步探索和发现的动因与兴趣，为智慧化学习模式提供技术支撑。

项目背景：.随着数字媒体与网络技术的发展，在线教育正逐步发展成为一种新型的教育模式。与传统教育模式相比，在线教育能够突破时间、空间的限制，拓宽学生获取信息的渠道。但由于学生在学习过程中缺乏与教师的直接沟通和反馈，导致极低的完成率。因此及时获取学生的学习状态并做出相应调整，是提高在线教育质量的关键。..研究内容：.（1）研究多类时空注意力网络的学习参与度评估方法.本项目研究一种自动评估学习者的参与度的方法。当学生在观看在网络教程的时候，该算法能够根据学生的头部姿态以及面部表情进行自动评估。.（2）研究分层时序多实例学习模型用于学生学习参与度评估方法.研究视频序列的帧—视频片段—视频的分层表示结构，构建了一个新颖的分层时序多实例学习参与度评估模型。该模型不仅能够评估整个视频的学习参与度，而且能够对其组成的视频片段的学习参与度进行评估。.（3）研究基于智能感知的人性化的儿童教育.探索一个智能式的增强现实学习平台，孩子使用英文字母积木通过娱乐的方式在该平台上进行英文单词的探索和学习。在不接触电子产品的学习环境中，提供陪伴式、人性化、智能化的自然教育，满足教育学的基本规律。 ..重要结果：.为了解决仅使用视频级标签评估学生在学习过程中学习参与度变化的问题，引入了一种新颖的分层时序多示例学习网络来自动评估视频级和片段级学习参与度。 以端到端的学习方式流式传输数据，由底部和顶部模块组成，可以分别学习视频与其组成视频片段之间的潜在关系以及视频片段与其组成帧之间的潜在关系。..关键数据.我们的算法在我们采集的在线课程学习数据集（OCS）上，视频级平均绝对误差 (MAE) 达到0.0158，效果最好。..科学意义.首先，提出了一个基于注意力机制以及时序循环神经网络的学习参与度评估算法，能够有效评估学生整体学习过程的参与度；其次，提出了帧—视频片段—视频的长序列分层表示方法，基于注意力机制构建了多示例学习框架，用于描述帧、视频片段、视频之间的关系。