融合多模态信息的教育类视频智能检索与可视分析

With the rapid development of distance learning and MOOCs, both the quantity and diversity of open educational videos are increasing dramatically on the Internet. Unfortunately, the content of these videos varies in characteristic and modality. Traditional methods become weak in massive video content efficient retrieval and intelligent analysis, which acutely affects the information acquisition efficiency and online learning experience. This project takes the educational video content such as images, speech, embedded screen text, presentations as the main research objects, mainly focuses on the key problems of multimodal information extraction, representation and fusion, and develops intelligent video retrieval and visual analytic systems. The concrete research content is as follows: 1)introducing educational video classification model and content-adaptive multimodal information processing and analysis framework; 2) structuring educational video content by fusing multiple clues and creating hierarchical content indexing automatically; 3) developing intelligent video retrieval and visual analytic systems with the extracted multimodal information and structuring clues to meet users’ various needs of information seeking and exploration.

近年来，远程教育和大规模开放在线课堂的快速发展产生了浩繁的教育视频资源。然而，由于其类型的多样性和信息载体的多元化，传统的视频处理方法已无法很好地满足教育视频大数据快速检索和智能分析的迫切需要，成为了制约学习者信息获取效率和在线学习体验的重要障碍，亟待理论方法与技术应用的突破。本课题以教育类视频所包含或关联的图像、语音、文本、演示文稿等内容为主要研究对象，研究多模态信息的提取、表示与融合等关键问题，并构建智能检索与可视分析应用平台。具体研究以下内容：1）引入教育类视频自动分类模型，研究基于内容自适应的多模态信息处理与分析框架；2）研究融合多线索的视频内容结构化方法，为视频自动建立层次化的内容索引；3）利用提取到的多模态信息和结构化线索，建立教育类视频智能检索系统、可视分析与浏览系统等，满足用户多样化的信息查找和内容浏览需求。

随着信息技术和远程教育的快速发展，大规模开放式在线课程(MOOC)对传统的教育范式产生了巨大冲击。尤其是近来发生的全球性公共卫生事件更是加速了线下教育教学模式向数字化和虚拟化转型。网络中教育类视频的种类和数量也因此都呈现出了急剧增长的态势。海量的开放教育资源为在线学习者带来极大便利的同时，也为视频内容的管理、检索和分析带来了诸多新的挑战。如何有效地处理和挖掘教育类视频资源，提升用户的信息获取效率和在线学习体验，已经成为在线教育和多媒体领域亟待解决的问题之一。为此，本课题重点开展了教育类视频多模态信息的提取与表示、融合多模态信息的视频内容摘要与结构化以及教育类视频智能检索和可视化浏览智能应用平台等理论和应用技术研究。在理论研究方面，本项目紧紧围绕以上研究内容中涉及的关键科学问题，研究并提出了多模态信息提取、数据融合、视频结构化、内容摘要以及可视化浏览等一系列关键理论和方法，为现有的视频内容分析范式提供一定的理论补充，有效克服了已有的理论模型用在教育类视频时所存在的不足与缺陷，并为后续开放教育资源大数据的研究提供了新视角和新思路。在技术应用方面，本项目通过收集和整理互联网中海量的开放教育资源，建立了大规模教育类视频数据库，并深入挖掘在线教育类视频检索、分析以及浏览等不同阶段用户信息获取的痛点和难点问题，充分利用本项目取得的理论研究成果，设计并开发了“大规模开放教育视频智能检索与可视化浏览智能应用平台”。目前，该平台已索引十余万个教育类视频，并进入了实质部署和应用阶段。系统的上线将有助于促进海量优质教育资源的共享、传播和利用，提高在线学习者的信息获取效率和在线学习体验，同时对开放教育资源大数据的应用研究具有重要的借鉴意义。