基于深度学习的三维模型检索算法研究

With the rapid development of multimedia acquisition devices and 3D modeling technology, a large number of 3D models emerge rapidly. It is mandatory to develop advanced 3D model retrieval methods to realize effective management of the big data of 3D models. In this proposal, the deep learning method would be utilized to handle 3D model retrieval by 2D image and sketch image. Firstly, we plan to design a novel convolutional neural network to represent the 2D image and the 3D model in the same feature space, which will help us to handle the similarity measure between the 2D image and the 3D model. Secondly, we plan to utilize generative-adversarial-nets to predict the structure information of sketch image in order to map sketch image into the 3D model. Finally, we plan to make sure the feasibility of the proposed method through the experiment based on large-scale of 2D images and 3D models. This research will not only benefit the research of computer vision and pattern recognition but also provide novel techniques for multiple industry applications, including virtual reality, digital entertainment and so on.

随着多媒体采集设备和三维建模技术的发展，三维模型数量出现爆炸性的增长。如何对其进行有效表征，从而实现便捷的三维模型检索成为当前亟待解决的问题。本课题研究中拟利用深度学习理论实现通过图片和草图进行三维模型检索的目标。首先，拟设计全新的深度卷积网络实现二维真实图片与三维模型数据在相同特征空间下的表征，进而解决跨模态数据的相似度计算，实现通过真实图片检索模型的工作；其次，拟利用深度对抗生成网络模型，实现手绘草图的空间结构信息预测，实现二维信息到三维模型信息的映射；最后，拟通过大规模真实场景下模型数据的录制和实验验证本课题所提出方法的可行性。本课题研究成果对计算机视觉和模式识别领域具有重要意义，并将为虚拟现实、数字娱乐及工业化应用提供创新性的技术储备。

近年来，随着多媒体采集设备和三维建模技术的发展，三维模型数量出现爆炸性的增长，并在智能制造领域、动漫设计、虚拟现实和增强现实领域发挥着独有的价值。有效的模型检索可以大大提高已有数据的利用率，缩短获取有效信息的时间，提高整体的产品设计和模型建模的效率。课题在整体研究过程中，利用深度学习理论解决了图片和草图的三维模型检索问题。可以实现手绘草图的空间结构信息预测，以及二维信息到三维模型信息的映射。研究过程中，课题组投入人力物力构建了跨模态的三维模型检索数据库：MI3DOR。数据库收集了21个类别的物体信息，共包含7690个三维模型数据和21000张二维图片数据，可以对基于二维图片的三维模型检索算法性能进行有效的验证。基于该数据，课题组举办了HREC2020年的跨模态三维模型检索比赛，共有全球17支队伍参赛，共提交了32组竞赛结果，有效推动了该领域的技术进步和课题组的国际影响力。最终，课题的整体研究实现了一系列具有自主知识产权，性能可靠的三维模型特征提取和相关软件工具包，并与相关企业合作开展技术落地，初步实现了技术的小范围小规模应用，取得了客观的经济效益。