面向在线智慧学习的多模态学习资源组织与个性化推荐服务研究

The E-Learning mode not only enhances the feasibility of learning anytime, anywhere, but also provides the possibility for lifelong learning, and also provides technical guarantees for the sharing of quality education resources and the balanced development of education.However, there are also problems such as insufficient level of Intelligent services and low quality of E-learning, which need to be upgraded to E-Intellectual learning modes that can perceive users.This project focuses on the technical problems such as content analysis of multimodal learning resources, automatic construction of knowledge diagram, on-line evaluate learning effects, and the personalized recommendation of learning resources in E-Intellectual learning.It takes the junior middle school mathematics E-multimodal learning resources as the specific research object, and uses natural language processing technology, video image semantic tagging technology and knowledge map construction technology to analyze content of multimodal learning resources,automatic resource organization and knowledge granularity automatic acquisition and automatic recognition of knowledge relationship,research online learning evaluation methods based on project response theory and data mining technology, and explore personalized recommendation technologies for learning resources based on user portraits and knowledge relation diagrams.The research of the project will provide key technical support for realizing E-Intellectual learning platform based on the personalized and accurate recommendation of learning resources, the evaluation of learning effects and user requirements mining,and provide key technical support for realizing E-Intellectual learning platform that is personalized and accurately recommended for learning resources.The application of research results is of great significance for achieving deep integration of information technology and educational practice, promoting educational equity, and building a learning society.

在线学习增强了随时随地学习的可行性，为终身学习提供了可能，为实现优质教育资源共享和教育均衡发展提供了技术保证，但存在用户信息感知不足、智慧服务程度不够等问题，需要实现在线智慧学习，以及时感知用户和更好服务用户。本课题围绕实现在线智慧学习所面临的多模态学习资源自动分析、知识关系图自动构建、学习效果在线测评和学习资源个性化推荐等难点问题，以初中数学多模态学习资源为研究对象，用自然语言处理技术、视频图像语义标注技术和知识图谱构建技术进行多模态学习资源内容分析与自动组织、知识粒度自动获取与知识依赖关系自动识别，研究基于项目反应理论和数据挖掘技术的学习效果在线测评方法，探索基于用户画像和知识关系图的学习资源个性化推荐算法。课题的研究为实现基于学习资源个性化推荐的在线智慧学习平台提供关键技术支撑，研究成果的应用对实现信息技术与教育教学实践深度融合、促进教育公平和构建学习型社会具有重要现实意义。

在线学习（E-Learning）是信息技术与教育深度融合的重要模式，但存在用户信息感知不足、智慧服务程度不够等问题，需要实现在线智慧学习。课题组围绕实现在线智慧学习所面临的问题，以初中数学多模态学习资源为研究对象，用自然语言处理、视频图像语义理解、认知诊断和知识图谱构建等理论和技术，对以下几方面内容进行了深入研究：.（1）多模态学习资源分析：对文本、视频和试题学习资源，分别提出了基于密度的高斯分布词嵌入表示方法、融合句法结构和词嵌入表示的句子文本语义嵌入表示方法、基于Transformer和双向解码的视频描述方法，以及融入知识点信息的试题语义嵌入表示模型；.（2）知识关系图自动构建：提出了基于神经网络和标签注意力机制的中学数学术语抽取模型LLA-CRF，以及基于触发词和对偶学习的低资源命名实体识别方法DualNER；.（3）学习效果在线测评：课题组将OEM和MEM推广到多层次有序分级响应模型GRM，并提出基于DKVMN与多关系信息融合的学习过程建模与深度知识追踪；.（4）学习资源个性化推荐：提出了基于用户属性和矩阵分解的混合式协同过滤推荐算法、基于学科知识地图的个性化在线学习服务模型和一种融合视频字幕信息的动态MOOC推荐模型VCF-DMOOCR。.经过4年探索，课题组在国内外期刊和学术会议发表论文24篇，其中：SCI期刊论文8篇、EI期刊或会议论文7篇、中文核心期刊论文3篇、其它论文6篇，另有8篇文章在投稿；申请软件著作权1项；培养博士生1名、硕士生9名，指导在读研究生12人；协办会议3次（CCMT2019、CCKS2020、ACL2022），邀请了4位专家、教授来校开展学术交流。.课题组后期将继续围绕上述内容开展研究，同时将现有成果转化应用到跨MOOC学习资源统一检索与个性化推荐平台研发、国家教育考试试题查重系统研发等场景。研究成果对促进教育公平和实现终身学习具有重要现实意义。