基于深度学习的三维模型检索技术

The traditional 3D model retrieval technology has limited feature representational capacity, while deep learning models have powerful representational capacity to approximate distributions of input data. Therefore, the application of deep learning to extract projected image features is considered as one of the most promising methods in the field of 3D model retrieval, and it has significant theoretical and practical values. The research study on how to apply the deep learning techniques to 3D model retrieval is still new and challenging in the world, and there are many problems yet to be resolved. Based on the theoretical and methodological issues in deep learning, this project proposes a novel 3D model retrieval mechanism based on deep learning. This project will systematically analyze the principles and characteristics of representative view selection in the area of 3D model retrieval, research on the feature representations of projected views based on deep learning, and propose a new distance metric algorithm among 3D models. Finally, it will construct a 3D model retrieval framework based on deep learning, and the features of 3D models will be described as high-level abstract representation. Thus, it provides the necessary technical supports for 3D model identification, retrieval and reuse. In this project, the main researches include: the representative view selection mechanism for 3D model retrieval, deep learning model structures for feature representation of 3D models, training and learning algorithms in deep learning models, similarity measure of multi-view for 3D model retrieval.

由于传统的三维模型检索技术中特征表示能力有限，而深度学习模型具有较强的特征表示能力，因此，采用深度学习对三维模型投影图像进行特征表示被认为是最有前途的三维模型检索技术之一，具有非常重要的理论和应用价值。将深度学习应用到三维模型检索领域的研究在国际上仍是崭新且富有挑战性的，有很多问题尚未解决。本课题基于深度学习的理论和方法，提出基于深度学习的三维模型检索技术。本项目将系统地分析三维模型检索技术中代表性视图选择的原理和特性，研究基于深度学习的模型视图的特征表示，提出新的模型间距离度量算法，最终构建基于深度学习的三维模型检索技术框架，实现三维模型特征的高层抽象表示，从而为三维模型的形状比较、识别、检索和重用提供必要的技术保障。研究内容包括：面向三维模型检索的代表性视图选择机制、面向三维模型特征表示的深度学习模型结构、深度学习模型中的训练学习算法，面向多视图的三维模型相似性度量算法。

由于传统的三维模型检索技术中特征表示能力有限，而深度学习模型具有较强的特征表示能力，因此，采用深度学习对三维模型投影图像进行特征表示被认为是最有前途的三维模型检索技术之一，具有非常重要的理论和应用价值。将深度学习应用到三维模型检索领域的研究在国际上仍是崭新且富有挑战性的，有很多问题尚未解决。本课题针对三维模型检索的代表性视图选择机制，提出基于视图评价网络和中心特征增强网络的代表性视图选择模型，可以从冗余的三维模型视图中有效选取具有较强鉴别力的三维模型视图。针对三维模型特征表示的深度学习模型结构，提出基于递归全景网络和三维卷积神经网络的三维模型深度特征表示模型，显著提升了三维模型特征的表达能力。针对深度学习模型中的训练学习算法，提出基于多图融合的深度特征训练算法和基于多级特征融合的深度特征训练算法，进一步优化三维模型的深度特征表示。针对多视图的三维模型相似性度量算法，提出基于角距离的距离度量算法，有效提升了特征表示的空间分布。最终本课题构建了基于深度学习的三维模型检索技术框架，实现三维模型特征的高层抽象表示，所提出的三维模型深度特征在国际三维模型数据集（PSB,ModelNet，ShapeNet）上取得了较好的检索精度，同时相较于传统算法（SIFT，BoW等），检索和识别精度提高了20-30个百分点，这为三维模型的形状比较、识别、检索和重用提供必要的技术保障。