基于草图语义部件的三维模型检索技术研究

With the coming of the 3D digital media age, there will emerge more and more 3D models both on the Internet and in industry. As the 3D models are increasing rapidly, how to quickly search desired 3D models and reuse existing models is becoming an important research topic across multiple research fields and applications. Sketch-based 3D model retrieval is one of the most promising techniques among 3D model retrieval methods because of the nature of sketching, which appears to be an intuitive communication method in Human-Computer-Interaction. Currently, there are two main problems unsolved in existing sketch-based 3D model retrieval methods: 1) those methods did not provide the quick access to desired models for users who cannot draw well, and 2) most of them are not suitable for CAD models. In this project, we will propose new techniques and algorithms to tackle the problems in existing methods. We will study efficient and user-friend interaction modes, effective algorithms on 3D model retrieval using semantic parts in sketches, and retrieval methods which are specifically designed for CAD models. This project expects to significantly advance the area of 3D model retrieval and to be broadly applied to 3D model and scene synthesis, sketch recognition and so on.

随着三维数字媒体时代的来临，无论是网络上还是商业公司的数据库中，三维模型数量越来越丰富且呈现迅猛增长的趋势。如何在海量的三维模型中快速地检索到目标数据，实现资源复用，已经成为了一个涉及多个技术领域和应用行业的重要研究问题。在各类模型检索方法中，基于草图的三维模型检索技术由于交互方式的自然便捷性将成为最具有应用前景的技术。当前国际上对这一技术的研究主要存在两个问题:1）无法满足绘图水平不高的用户快速获取目标模型的需要,2）不适用于CAD模型的检索。在本项目的研究中，我们将探索这些问题的根本原因，针对性地提出一套新的技术和算法。我们将研究适合不同层次绘图水平的交互方式、研究如何利用草图中语义部件提高检索性能以及研究适合CAD模型的检索技术。本项目的研究内容不仅能将三维模型检索这个主要研究领域的发展向前推进一大步，还将在三维模型合成、场景合成、草图识别等相关应用中得到广泛的应用。

随着三维数字媒体时代的来临，无论是网络上还是商业公司的数据库中，三维模型数量越来越丰富且呈现迅猛增长的趋势。如何在海量的三维模型中快速地检索到目标数据实现资源复用，已经成为了一个涉及多个技术领域和应用行业的重要研究问题。在各类模型检索方法中，基于草图的三维模型检索技术由于交互方式的自然便捷性将成为最具有应用前景的技术。当前国际上对这一技术的研究主要存在的问题是无法满足绘图水平不高的用户快速获取目标模型的需要。在本项目的研究中，我们探索造成这些存在问题的关键的因素，针对性地提出一套新的技术和算法。我们研究了适合不同层次绘图水平的交互方式、以及如何利用草图中语义部件提高检索性能的的检索技术。在这项研究成果中我们在领域内第一个提出融合结构信息跟几何信息进行草图跟三维模型相似度的计算，填补了基于草图的模型检索技术中结构信息利用解决方案的空白。在满足了我们的预期研究目标的要求之外，我们还研究了通过三维模型样例检索三维模型的技术、草图的语义理解技术、三维模型的显著性技术、三维场景的自动合成技术。我们从草图检索三维模型的技术以及从草图直接重建三维模型的技术以及其他的相关技术已经发表在SIGGRAPH Asia顶级会议以及ACM TOG、Pattern Recognition、Pattern Recognition Letter、The Visual Computer等重要的期刊上。我们一共发表了6篇SCI期刊论文，1篇国际顶会会议论文，以及1项国家发明专利。这些研究成果取得了国际同行的高度关注，截止到2018年12月为止，这些论文已经获得包括国际一流研究机构在内的超过40次以上的它引。本项目的研究内容不仅能将三维模型检索这个主要研究领域的发展向前推进一大步，还将在人机交互、工业设计等相关领域中得到广泛的应用。