基于自由模态的三维模型检索

This projects targets on the requirement of industrial design from the 13-th Five-Year Plan, and focuses on the research of 3D model retrieval. With the development of data acquisition technology and the increasing of 3D model databases, there are limitations for 3D model retrieval methods using single modality dealing with multimodal data or missing modality data. The main contribution of this project is to build a free-modality 3D model retrieval system, including the following three components: (1) build the multimodal 3D model representation scheme; (2) propose multimodal 3D model relevance fusion method; and (3) propose cross-modality 3D model retrieval method. These three components target on accurate representation, similarity measurement and robustness on missing modal data for free-modality 3D model retrieval. This project will build an accurate and efficient free-modality 3D model retrieval system, providing technical support for aircraft design, high end CNC machine tools development, etc. The applicant has rich research experience in the field of 3D model retrieval, which builds the foundation for this project.

本项目瞄准国家十三五规划纲要草案中针对工业设计的重大需求，着眼于面向三维模型大数据的自由模态三维模型检索研究。在数据获取方法愈发简易、各类型数据库快速增长的形势下，早期单一模态的三维模型检索方法受到了极大的限制。本项目拟以模型及视图联合表示为出发点，探索基于自由模态数据（多模态或者存在模态缺失）的三维模型检索方法和关键技术。本课题主要贡献是建立一套针对自由模态的三维模型检索框架，包括如下三个研究点：(1)建立基于多模态信息的三维模型刻画机制;(2)提出基于多模态信息的三维模型相关性融合方法；(3)提出跨模态三维模型检索方法。这三个贯序的研究点分别对应解决自由模态三维模型检索的精确表达、相似性度量和缺失模态鲁棒性，互为耦合并相互增强。本项目以输出一套精准而高效的自由模态三维模型检索系统为目标，实现为飞机研制、高档数控车床等十三五规划重大项目的产品设计提供模型检索技术支撑。

三维模型是计算机视觉领域中最常用的数据类型之一。随着三维模型在AR、VR等领域的广泛应用，如何有效地对三维模型进行理解与检索就成为了学界与工业界的关注焦点。近年来，各类模态的三维模型数据呈现爆发式的增长趋势，如点云、与多视图等，这就使得早先单一模态的三维模型检索方法无法满足新的应用需求。因此，研究自由模态下的三维模型检索问题，建立基于三维模型的融合特征刻画机制，设计有效度量多模态三维模型间相似性的方法，进而设计支持模态缺失的检索机制，实现高适应性、高精准的跨模态三维模型检索系统，对于计算机视觉领域的发展与三维模型的应用有着重要的意义。本项目针对自由模态的三维模型应用技术开展算法研究和系统开发的工作，主要解决了基于自由模态信息的三维模型刻画、基于自由模态信息的三维模型相关性融合以及跨模态的三维模型检索等问题，提出了基于正交环形采样的多视角数据获取方法、多视数据权重自适应优化的深度学习一体化框架、基于视图全局特征引导的点云特征融合注意力模型、超图神经网络以及基于多模态数据的三维模型哈希方法等，解决了普遍存在的单一模态三维模型检索性能差等问题。相关研究成果应用于轨旁装备视觉检测系统，在青岛地铁二号线进行了部署应用；此外还搭建了基于多视角超声数据的先心病辅助诊断系统，在武汉亚洲心脏病医院进行了测试应用。在相关方向上累计发表论文33篇，其中CCF A类论文23篇；申请国家发明专利7项，其中授权发明专利3项；累计培养博士、硕士研究生14名，其中1名博士生入选2019年微软学者（全球12人），1名硕士生获得清华大学优秀硕士毕业生称号，1篇硕士学位论文入选清华大学优秀硕士毕业论文。项目成果已开展应用，并取得了良好的应用效果。本项目按照计划完成全部研究任务，所有指标要求均已超额完成。