大数据学习的多通道虚拟环境自动构建

3D virtual environments are fundamental data for the virtual/augmented reality applications. However, existing virtual environment construction methods emphasize the reality of the visual channel, lack of techniques that can efficiently capture the physical properties required in the auditory channel and sense of touch applications. It leads to insufficient support of multi-modal virtual environment construction. Meanwhile, the techniques adopted in the modeling of visual channel information, such as 3D scanning and image-based modeling, are time-consuming. The efficiency of 3D virtual environment reconstruction should be largely improved...This project organizes multi-channel perception information in an object-oriented manner, combines the virtual/augmented reality, big data and machine learning techniques to create novel techniques for virtual environment construction. The research works include the construction of visual and auditory channel data set and body motion sensing dataset, hierarchical organization of environment knowledge, and the 3D reconstruction and automatic synthesis of virtual environments. The kernel concept of the project is to fuse semantic object and environment information to improve the efficiency of the virtual environment construction pipeline.

三维虚拟环境是提供用户沉浸式交互、虚拟融合等虚拟/增强现实关键应用的数据基础。现有虚拟环境构建方法强调视觉通道信息的真实感，即场景几何和纹理信息的真实性，但缺乏有效技术手段对物体听觉、触觉想关的材料属性进行快速获取，模拟多通道交互不足。同时，应用三维扫描和SFM技术进行高真实感三维场景几何纹理建模时间耗费巨大，并且经常需要后处理以提高建模质量，导致多通道虚拟环境构建效率低下。..本项目以语义对象为多通道信息组织中心，有机融合虚拟/增强现实技术与基于大数据的机器学习技术，构造数据驱动的虚拟环境自动构建新范式和技术手段。具体研究内容包括视听与体感数据集构建、场景知识层次组织和学习、多通道虚拟环境三维重建与自动合成。利用最新以深度学习为代表的机器学习技术在数据特征提取和语义分析上的进展，融合对象语义信息指导场景重建和合成过程，突破多通道虚拟场景构建效率难题，进行虚拟环境构建的理论与系统创新。

项目在国家自然科学基金委资助下，围绕大数据学习的多通道虚拟环境自动构建技术进行了深入研究，以深度神经网络为基础模型表达，有效提高了融合视觉、人体动作体感数据和声觉等多通道信息的虚拟环境构建效率，具体取得的研究成果如下：1）高效场景几何与外观神经网络表达构建技术。提出了新型的大尺度场景的反射分解和双层神经隐式表达（Neural Implicit Representation），以虚拟反射光源编码反射分量。该表达在场景平面表达提取的信息之上，自动构造场景分块神经网络表达，并训练网络从稀疏视点采样构建可自由视点漫游、支持高真实感绘制的场景。同时，通过场景数据训练了几何感知的上采样神经网络提高了绘制图像的分辨率。为进一步提高该表达的编辑能力，提出了无监督本征图像分解等技术从图像中解析反射材质信息，作为重光照编辑等应用的基础。2）高效人体几何和动作重建技术。提出了自适应的多尺度人体三维重建技术，通过人体数据集训练神经网络从多目深度相机同步拍摄设备的数据中自动构建高质量人体三维网格动作序列，鲁棒性高，可泛化性能较好，为下一代虚拟现实全息会议奠定了体感技术基础。提出了分解上下身动作的TPTN网络（Two-part Transformer Network），通过大规模动作捕捉数据集中训练支持交互式生成侧空翻、舞蹈等复杂动作，并基于该网络开发了数字人动作编排软件。3）高质量虚拟场景声音绘制和材质恢复技术。提出了基于Ａ加权的方差指标用于指导几何声学中路径采样质量的度量, 研发了该度量快速计算方法和在传播仿真速度和声音质量之间自适应平衡的声音传播仿真优化算法。同时，提出了一种基于SIM2REA的材料声学仿真参数无损估计方法，通过基于模态分析和边界元法的真实感声学仿真系统得到大量仿真数据构成数据集，训练卷积神经网络提取声学信号中的特征，从而推理得出材料物理仿真参数，用于物体受力冲击下的声音合成。项目共发表论文43篇，其中CCF-A类论文31篇 （含ACM TOG论文8篇，PAMI及TIP论文3篇），申请专利14项，软著11件，搭建了动态人体三维重建设备和基于声学的材质参数估计设备，形成了大规模的人体三维动作数据集及融合视觉和声音通道的三维模型数据集，所研发的成果应用于华为河图场景重建、杭州先临三维手持扫描仪等场景，达到了项目预设的研究目标。