基于超图的三维模型检索方法研究

With the rapid development of multimedia acquisition devices and 3D modeling technology, a large number of 3D models emerge rapidly. It is mandatory to develop advanced 3D model retrieval methods to realize effective management of the big data of 3D models. In this proposal, we plan to discover and leverage the latent local and global structural characteristics in the multi-view images of one 3D model to realize the similarity measure between pairwise 3D models by constructing and matching the hyper-graphs of 3D models. It mainly contains three steps: 1) Constructing graph model by fusing geometry and visual features and then extracting representative views of individual 3D model with graph clustering algorithm; 2) Designing the nodes and edges of the hyper-graph by exploring the latent hierarchical local structural characteristics in the representative views of 3D models; 3) Formulating and optimizing the objective function of hyper-graph matching for the similarity measure of pairwise 3D models with the global structural characteristics in the hyper-graph represented by high-order tensor computation. This research will not only benefit the research of computer vision and pattern recognition but also provide novel techniques for multiple industry applications, including virtual reality, digital entertainment and so on.

随着多媒体采集设备和三维建模技术的发展，三维模型数量出现爆炸性的增长。如何对其进行有效管理，从而实现便捷的三维模型检索成为当前亟待解决的问题。本课题研究中拟挖掘三维模型的多视角二维视图表征中潜在的局部和全局结构特性，通过合理的超图构建和匹配实现不同三维模型的相似性度量，从而实现有效的基于视图的三维模型检索。主要研究内容包括三方面：首先，拟通过三维模型的空间结构特征和视觉特征构建图模型结构，利用有效的图聚类算法提取三维模型的特征视图；其次，拟挖掘三维模型特征视图集合潜在的多层级局部结构化特性，从而实现超图模型节点和边的构建；最后，拟基于高阶张量理论实现超图全局结构的特征表征，从而通过超图匹配目标函数构建和求解实现三维模型相似性度量。本课题研究成果对计算机视觉和模式识别领域具有重要意义，并将为虚拟现实、数字娱乐等相关领域的发展提供技术基础。

三维模型检索技术是当前计算机视觉领域的一个高新技术前沿课题，相对于传统基于文本和图片的检索方式，三维模型提供了更丰富的视觉和结构信息，因此可以实现更精确的信息检索。随着三维模型数据的逐年增多和三维模型数据应用领域的增多，有效的三维模型检索技术可以大大缩减产品的设计周期，提高三维模型数据利用率，提高设计师工作效率，缩减企业生产成本。本课题围绕三维模型检索技术，从模型特征视图提取，模型结构化信息表征和模型相似度计算三个方面着手对模型检索任务进行研究：首先，通过三维模型的空间结构特征和视觉特征构建图模型结构，利用有效的图聚类算法提取三维模型的特征视图；其次，挖掘三维模型特征视图集合潜在的多层级局部结构化特性，从而实现超图模型节点和边的构建；最后，通过高阶张量理论实现超图全局结构的特征表征，从而通过超图匹配目标函数构建和求解实现三维模型相似性度量。另外，课题组成员还利用自身在三维模型检索上的技术积累，基于深度学习理论，在基于图片信息的三维模型检索等几个方向进行了探索性研究。最终，课题的整体研究实现了一系列具有自主知识产权，性能可靠的三维模型特征提取和相关软件工具包，并构建了三维模型检索算法测试平台，可以实现不同三维模型检索算法在不同三维模型数据库上的评测和结果展示。为真正实现三维模型检索算法的实用化迈出了坚实的一步。