基于上下文感知的部件组装三维建模

The assembly-based 3D modeling method is to retrieve some interesting 3D models from a database according to user's interactive input, and then extract the relevant shape components from these retrieved models to assemble into one or more than one desired 3D models. The assembly-based 3D modeling method recycles preexisting 3D model source rather than modeling from scratch, which is in line with the rule of masses creation therefore has been highly valued by correlative researchers. In the modeling process, however, the user's input is always with ambiguousness and contingency even that, the user has no clear idea about the geometrical form of the designing object. In this case, the user should be immediately inspired from the system. Accordingly, taking man-made 3D objects such as as furnitures and handicrafts as instances, in this project we attempt to introduce the contextual information (e.g., the consistency of geometry textures, the coordination of shapes, and the compatibility of connectors between 3D parts, and constraints of practical modeling environmental, and so on) to the assembly-based 3D modeling process. With the help of contexts, the system can understand the intention of customer better and provide the user the reasonable suggestions and inspirations. The key issues of this project include the separately extraction and matching for multi-scale visual properties of 3D models, and the context-aware retrieval of 3D models. The objectives of this project are to enrich the theory of understanding and analysis for 3D models, explore the application mechanism of contextual information in 3D modeling, and make the assembly-based 3D modeling method more perfect.

基于部件组装的三维建模方法主要根据用户的交互输入从模型库中检索用户感兴趣的模型并提取相关部件组装成新的三维模型。该建模方式实现对已有三维模型资源的复用而无须从零开始建模，符合大众的创造规律，因此近年受到相关研究人员的高度重视。然而在建模过程中，用户的输入往往具有模糊性和随意性，甚至用户对建模对象的几何形式尚未形成完整清晰的概念，需要得到即时启发。针对这些问题，本项目拟以家具、工艺品等人造三维目标为建模对象，研究在部件组装建模中引入上下文信息（如几何纹理一致性、形状协调性、接口兼容性等部件间潜在的关联及建模实际环境约束等），从而更好地理解用户的意图并为用户提供合理的建议和启发。研究的关键问题包括对三维模型多尺度视觉属性的分开提取与匹配以及基于上下文感知的三维模型检索。本项目的研究目标是丰富对三维模型的理解与分析理论，探索上下文信息在三维建模中的应用，进一步完善基于部件组装的三维建模方法。

基于部件组装的三维建模方法主要根据用户的交互输入从模型库中检索用户感兴趣的部件组装成新的三维模型。该建模方式实现对已有三维模型资源的复用而无须从零开始建模，受到业界以及相关研究人员的高度重视。构建这样的建模系统需要重点解决两个问题：1）理解用户的输入意图并进行相应的模型部件检索；2）进行合理的部件组装。在建模过程中，用户的输入往往具有模糊性和随意性，甚至用户对建模对象的几何形式尚未形成完整清晰的概念，这给系统理解用户意图带来了极大挑战。针对这些问题，本项目以人造三维目标为建模对象，研究在部件组装建模中如何引入上下文信息来加强系统对用户意图的理解以及部件自动拼接功能。研究内容涉及图像理解、三维形状（模型）获取与收集、三维模型分析与语义分割、三维模型语义理解与检索、三维模型拼接等。.经过三年的项目开展，课题组在上述研究内容取得一系列研究成果，主要包括：1）提出若干关于图像本征属性提取、语义分析以及图像识别方法；2）提出一种主动交互的三维数据获取方法；3）提出一种基于谱聚类的模型协同分割方法；4）提出基于投影分析的三维模型语义分割方法；5）提出两种保角的四边形网络直接参数化方法；6）提出一种增强形状对称性的方法；7）提出了一个交互式草图设计系统。基于该系统，用户只需勾画每个部件的二维突出特征即可完成对三维模型的组装。其中，系统对每个部件相应的草绘笔画进行分析，并根据部件间的上下文信息帮助用户快速考察不同的部件组合,启发用户创造新的造型。.在本项目的资助下，基于以上研究成果共计发表了10篇高质量学术论文，其中有6篇发表于SCI源刊（包括ACM Transactions on Graphics、Computer Graphics Forum、Computer Vision and Image Understanding等国际著名刊物），3篇发表于EI收录的会议（包括ICIP等国际知名会议），同时申请国家发明专利5项，完成项目预定目标。此外，本课题组已经发布自建的数据库Projective shape analysis (PSA)，供相关研究人员用于图像辅助的三维形状分割方面的研究和评估，目前已经获得较大关注。.本项目的开展丰富了三维模型的理解与分析理论，探索了上下文信息在三维建模中的应用，进一步完善了基于部件组装的三维建模方法，使得项目组多名年轻科研人员得到快速成长。