面向WebVR的轻量级三维模型检索关键技术研究

Because it can render high immersion virtual scenes on browser side conveniently, quickly and low cost, the demand of WebVR technology application is increasing bigger. However, the lack of interactive mechanism to acquire 3D objects, and with the increasing size of 3D data, for web browser, there exist many bottlenecks problems, such as weak rendering ability and low storage space, which have badly restricted the wide application of WebVR technology. Sketch-based shape retrieval has become a study hot point because it can high-interactive obtain 3D objects. Starting from solving the practical problems of WebVR application, in this project, we propose a lightweight shape retrieval theory system and method framework for WebVR. The main research contents include: research on sketch-based shape retrieval algorithms is performed, for instance, the best view for 3D model extraction algorithm, feature representation and matching model based on cross-domain multi-modality learning; in order to break through the bottleneck of browser rendering, we conduct the research on 3D model lightweight representation method, such as, active-learning based 3D model segmentation algorithm, voxel-based components repetition detection method. Based on the above research, sketch-based shape retrieval algorithms and lightweight 3D shape representation framework are established, which can provide a feasible solution to the bottleneck problem of WebVR application.

由于能够方便快捷的、低成本的在浏览器端渲染出高沉浸感的虚拟场景，使得WebVR技术应用需求日益庞大。但缺乏可交互的获取三维对象机制，同时随着三维数据规模日益庞大，而现有浏览器存在的渲染能力弱、存储空间低等瓶颈问题，制约了WebVR技术广泛应用。基于手绘草图的三维模型检索，因其可以高交互的获取三维对象，日益成为研究热点。本课题从解决WebVR技术应用实际问题出发，提出了面向WebVR的轻量级三维模型检索理论和方法框架。课题主要研究内容包括：研究基于草图的三维模型检索，即三维模型最佳视点提取算法、基于跨域多模态学习的特征表示与匹配模型；为了有效地突破现有浏览器渲染瓶颈，研究三维模型轻量级表示方法，即基于主动学习的三维模型分割算法、基于体素的构件重用性检测的方法。通过以上内容的研究，建立一套基于草图三维模型检索和轻量级三维模型表示方法框架，从而为WebVR技术应用瓶颈问题提供一种可行的解决方案。

随着虚拟现实技术的快速发展，作为虚拟现实领域的十大研究问题之一的基于移动互联网的WebVR技术，受制于有限的浏览器渲染能力和缺乏交互手段，严重制约了WebVR的发展，为此，对WebVR场景中三维模型进行相关的轻量级处理是提高用户体验的重要手段，同时为了提高场景中交互效果，课题对基于草图的三维模型检索技术开展了研究。具体来说，课题主要研究内容包括，面向虚拟WebVR场景的三维模型检索工作、三维模型轻量化处理、虚拟场景中化身运动轨迹的研究。课题的主要研究结果如下：.1、采用学习机制，提出了三维模型草图检索的维度不对称问题一种解决方案；.2、采用草图放大机制，实现草图规模的增加，通过设计孪生神经网络，完成了基于深度学习的三维模型草图检索;.3、提出了基于生成对抗模拟学习机制的虚拟火灾场景中多智能体逃生轨迹的研究;.此外，在关键数据方面，课题的开展过程中收集了大量的数据，包括海量的三维模型数据、应急视频数据和相关的实验结果数据；这些为后续研究开展提供了数据支撑。另外，在科学问题方面，通过课题研究的开展，我们验证了相关的科学问题正确性，包括不同维度和粒度数据之间匹配问题，基于端到端的草图和模型之间的学习问题，基于对抗生成模拟学习网络的数据驱动的克隆轨迹模型刻画问题。总之，我们顺利完成课题预期相关目标，最重要的是，这些研究成果将为未来开展进一步研究提供了基础。