面向VR教育的虚拟替身运动生成方法研究

Virtual Reality (VR) education is an important application field of virtual reality. Users expect VR education to be immersive, interactive and imaginary. However, the lack of effective and natural interactions in existing VR education reduces the effect of learning. Thus, the urgent problem to solve interactive experiential VR education is to create avatar and copy user behavior for natural interaction with virtual environment. The key point is to collect human motion data and assign them to the avatar in real time. The contradiction between the convenient low-precision motion capture equipment and the need for high-precision motion data leads to high cost of creating avatar and its motion. This project addresses this issue by proposing construction of multi-modal motion database and its adaptive generation characteristic scheme to support the capture of high-precision motion with low-precision equipment. This research project covers: (1) Construction of multi-modal motion database; (2) Analysis the relationship among multi-modal human motion data; (3) Generation of high-precision motion based on low-precision motion data. The theoretical contributions of this research will be the adaptive generation scheme of motion database based on generative adversarial imitation learning and multi-modal motion data correlation model with motion capture data as the core.

VR教育是虚拟现实的重要应用领域，人们期望VR教育具有沉浸、交互、想象三种特点，然而现有的VR教育缺乏有效自然的交互手段，学习效果仍有明显欠缺，建立虚拟替身并复制学习者行为实现与虚拟环境的自然交互是VR“交互体验式”教育亟待解决的问题，其首要步骤在于采集人体运动数据并实时赋予虚拟替身。便捷易使用的低精度运动数据采集设备和高精度运动数据的需求这一矛盾导致在VR环境建立虚拟替身及其运动成本高企。本项目针对这一问题，提出建立多模态运动数据库及其自适应生成特色方案，支持基于低精度设备获取高精度运动。研究内容包括：（1）多模态人体运动数据库的建设；（2）多模态人体运动数据之间的关联关系；（3）基于低精度采集数据的高精度运动生成。基于生成对抗模仿学习的自适应运动数据库生成方案、以动捕数据为核心的多模态运动数据关联模型和低精度数据到高精度运动数据的实时映射是本研究的理论特色所在。

虚拟替身是VR教育中真实感的重要支撑。为解决目前VR教育环境中获取高精度虚拟替身运动成本高企这一瓶颈问题，围绕多模态人体运动数据集的建设、基于低成本设备的高精度感运动数据获取方法及其应用展开研究。实现了以下内容的研究：.1.设计和建设了时空同步的全身运动多模态数据集HFUT-MMD，提供了动捕数据、Kinect运动数据、RGBD数据、穿戴式传感器数据的同步数据和多模态交叉融合采集网络MMCapNet。.2.基于多模态数据集，提出了一种面向运动数据处理的双向循环自编码网络BRA及其改进网络BRA-P、BRA-CAE等，形成了实时运动数据去噪工具和重定向方法。并队基于视觉的姿态估计方法进行了探索。.3.在典型VR/AR教学场景中进行了方法应用，包括康复训练指导和评估、爱国主义教育节目等，共开发相关节目十余项。.本项目执行期间共发表或录用论文38篇，其中国际期刊文献25篇，EI索引论文27篇。授权国家发明专利7项，受理4项，获得软件著作权3项。获批国家重点研发计划项目1项。.通过该项目的研究，培养了博士生3名（项目期内毕业1名），硕士生16名（项目期内毕业12名）。团队2名青年教师获得国家自然基金项目支持，2名博士后出站。.项目进行了大量的运动数据采集，包括采集、处理并公开的多模态运动数据集总计34种动作、9185983帧；多模态高噪声数据集227160帧；讲解导览动作数据集306629帧；手部运动多模态数据967550帧等。提出了一系列基于多模态数据集的运动分析和增强算法，开发了多模态运动数据同步采集系统和时空同步工具，形成了能够驱动虚拟替身模型的多模态运动交叉去噪工具和生成系统。使得团队在人体运动采集、编辑与生成领域有了丰富的数据和方法储备，成为该方向进一步算法研究和应用项目开发的有力支撑。