基于数据驱动的三维学习资源构建方法研究

VR/AR learning environment is a new mode of the deep fusion between the information technology and the education teaching content. The design and development of the 3D learning resources are difficult for the teachers in the VR/AR learning environment. Therefore, the 3D learning resources in the VR/AR learning environment is not enough. 3D modeling based on the data driven method is an important approach to solve the 3D content bottleneck problem. Thus the data driven 3D modeling method combined with the teaching content is the important way to solve the insufficiency of the 3D learning resources in the VR/AR learning environment. This project focuses on the research of the 3D learning resources construction method in the VR/AR learning environment. Based on the data-driven modeling method, the 3D learning resources construction methods for the demonstration learning content, the validation learning content and design learning content are proposed. The 3D learning resources are generated by the Generating Neural Network (GNN) based on the semantic and knowledge. The iteration and reuse of the 3D learning resources are realized by extracting the characteristics of the model and scene. The dynamic interactive 3D learning resources based on the common sense and certain knowledge are realized by the interaction rules of the 3D dynamic scene based on the knowledge graph. The research theory proposed in this project is useful for the quick generation of 3D learning resources according to the teaching content, solving the VR/AR education content bottleneck problem.

VR/AR学习环境是信息技术与教育教学内容深度融合的新模式，在VR/AR学习环境中一直存在着教育资源设计和开发技术门槛高的问题，因此VR/AR学习环境中三维学习资源的内容建设不足。数据驱动的三维建模方法是解决三维内容瓶颈的重要途径，因此，将数据驱动的三维建模方法与教学内容相结合是解决VR/AR教育内容瓶颈的重要方法。本项目针对VR/AR教育中三维学习资源的建设方法展开研究，借助于数据驱动建模方法，研究演示型、验证型和设计型三维学习资源构建方法，通过基于语义和知识利用生成神经网络的方法生成三维学习资源，通过提取模型或场景的特征实现三维学习资源的迭代和复用，通过基于知识图谱的方法设计三维动态场景交互规则，实现基于常识和特定知识的三维动态交互学习资源的建设。本项目提出的研究理论有利于实现根据学习内容快速生成相应的三维学习资源，解决VR/AR教育内容瓶颈问题。

在VR/AR学习环境中一直存在着教育资源设计和开发技术门槛高的问题，本项目通过采用数据驱动的方法解决三维内容自动生成的瓶颈问题。本项目借助于数据驱动建模方法，完成演示型、验证型和设计型三维学习资源构建方法。演示性三维学习资源生成的研究实现了基于文本语义的图片、三维场景和三维模型自动生成技术，实现了基于语义图的真实图片生成。对于跨模态生成问题来说，找到两个模态的联合嵌入是十分关键的挑战。在对从文本生成三维学习资源的研究中，从文本中提取联合信息是必不可缺的。本项目提出了一个新颖的训练文本编码器的架构，训练好的文本编码器可以从有着相似语义，但表达形式不同的文本中提取出相似的语义特征，它解决了传统文本编码器被文本表达式干扰的弊端。同时通过多路径结构代替单路径结构解决了在生成过程中的输入的尺寸和网络参数之间的矛盾问题，更有利于实现高分辨率对象的生成。验证型三维学习资源的研究结合知识图谱，实现基于知识的三维动态交互场景，在多路生成器网格结构加入了提取风格图像特征的网络分支，可以端到端地实现从语义图生成任意风格图像的风格迁移，可以生成更多的场景图片。设计型三维学习资源构建方法，实现从带有复杂背景的图片进行的单视图重建，能够在不用额外补充信息的前提下的自动生成结构化的三维模型资源，构建了一个能够针对结构化网格模型进行形状自编码的网络，对模型当中的部件网格进行序列化编码，得到一个能够表示这个结构化网格模型的特征向量，再解码这个特征向量得到由各个部件网格组成的结构化网格模型，并且基于结构的模型可以实现部件的调整和替换，从而设计出新的三维模型。此外，考虑到人作为三维场景的重要部分，还完成了基于四元数的人体动作生成相关的研究。项目成果应用在虚拟实验建设中，以虚拟实验方法创新教学模式，解决MOOC实践问题和解决计算机编译原理信息流动不可视问题，应用的课程《计算机基础》获得了教育部首批国家级一流本科课程。