跨模态课堂大数据分析挖掘研究

Analyzing and mining education big data is the inevitable way for achieving smart education. This project focus on the problem of ‘Mining, analysis and utilization of cross-modal classroom big data’. The study aims at studying the definition and formalization of teaching activity elements, identifying the elements of teaching activities, deeply mining and analyzing the teaching model from the micro- and macro- perspectives, establishing corresponding teaching model bases that describe the teaching process and organization strategies, and proposing a scientific, standardized, effective, and calculable classroom teaching quality evaluation method. It will overcome the difficulties of teaching activity and model representation, multi-task recognition, similarity calculation, and multi-source evaluation fusion decision caused by dynamic relevance of the elements of teaching activities, complexity and diversity of the types, high-dimensional features, sparse values and multisource-based evaluation and decision. It will be verified and demonstrated in the undergraduate teaching of Xi'an Jiaotong University. The research results will effectively support the scientific evaluation and precise supervision of classroom teaching quality in colleges and universities, and promote the formation of a benign operating mechanism of big data-driven teaching quality and drive the scientific management of education. This research proposes to publish above 10 pieces of high quality international journals and conferences papers.

分析挖掘教育大数据是智慧教育的必由之路。本项目针对“跨模态课堂大数据分析挖掘利用难题”，本研究旨在研究跨模态课堂数据中的教学活动要素的定义与形式化表述，识别教学活动要素，从微观和宏观层面深度挖掘与分析教学模式，建立描述教学过程和组织策略的教学模式库，提出一种科学、规范、有效、可计算的课堂教学质量评价方法，攻克教学活动要素动态性关联性、类型复杂多样、特征高维、值稀疏、评价来源多引起的教学活动与模式表示、多任务识别、相似度计算、多源评教融合决策的难题，并在西安交通大学本科教学中验证与示范。研究成果将有力支撑高校课堂教学质量科学评价与精准督导，促进形成大数据驱动的教学质量提升良性运行机制，驱动教育管理科学化。拟发表高质量国际期刊和会议10篇以上。

针对跨模态课堂大数据分析挖掘利用难题，首先，提出教学活动要素的与形式化表述；据此，构建面向视音频的行为、表情等要素识别、课堂教学过程挖掘等4个数据集。.其次，设计并研制了多任务识别框架，精准识别教学活动要素，破解课堂要素类型复杂多样、动态关联难识别的难题。创新点有：提出了一种结合通用实例分割和鲁棒人脸检测算法的综合方法，在教室场景数据集上，可分割86.46 %的重叠、小人像人物实例，优于FastRCNN；提出一种基于特征重建模型的低分辨率图像人脸表情识别方法，在RAF­DB、SFEW数据集上，与baseline方法比，平均准确率提升超5%，解决低分辨率图像表情识别准确率低、多分辨率鲁棒性差的问题；提出融合教室信息编码的双流网络模型，对8种行为学生行为识别的平均准确率超87%，人物交互检测方法与iCAN和QPIC经典方法相比，mAP 提高了 0.21，师生联合注意力识别与Following Gaze、Static Gaze方法相比，AUC提高0.206。.进而，提出多维序列模式挖掘算法，从微观和宏观层面挖掘与分析教学模式，建立描述教学过程和组织策略的教学模式库。.然后，提出知识引导+数据驱动的课堂教学质量评价方法，创建基于迁移学习和自监督学习的指标体系自动扩充框架，设计出粗粒度指标抽取、发现、多指标融合评价等系列算法，在3个开源数据集上，与7种SOTA方法相比，新类发现准确率平均提升超5%。.相关研究成果被集成于西安交通大学、西安交通大学附属中学、联合国教科文组织工程科技知识培训中心等多个学校、企业、机构的平台，在万人规模以上示范应用。.研究成果在AAAI、EMNLP、KAIS、KBS等国际高水平期刊与会议发表/录用论文22篇，申报专利5项，授权1项；获2022年陕西省自然科学奖一等奖（排名：4）、2020年王宽诚育才奖、2020年中国自动化学会科技进步奖特等奖（排名：11）、2019年陕西省教学成果奖特等奖（排名：4），入选2022世界互联网大会成果案例；培养博士生2名，硕士8名，指导学生团队在第八届“互联网+”大赛中获高教主赛道本科生创意组金奖。