面向大规模三维模型集的交互式共分割及应用

Due to the emergence of shape repositories and the development of data-driven methods, existing shapes are widely used in many computer graphics applications. However, before reusing shapes, most of applications based on shape repositoreis require us first to extract their high-level structures from a set of shapes which belong to the same class but exhibit significant shape variability. Co-segmentation is one of the methods that allows us to extract such information, since it reveals semantic shape parts and establishes their correspondence across the set. However, most of the existing methods work in an automatic way, which are not accurate enough on large sets of shapes.In this project, we study interactive co-segmentation, which incorporates the user knowledge into the co-segmentation so as to improve the accuracy of the co-segmentation result. We also aim at developing multi-user collaborative interactive co-segmentation, in order to address the difficulties in the co-segmentation of a large set of shapes with a single user. Thus, this project involves the design of the interactive co-segmentation flow and collaborative interactive co-segmentation algorithms. The major contribution of this research is to develop systematic theory and effective algorithms for the interactive co-segmentation of a large set of 3d shapes, which will help users to understand the structures of the shapes and improve the efficiency in 3d modeling.

三维模型库的大量涌现和数据驱动方法的发展加大了人们对已有三维模型资源的利用程度，但多数基于模型库的应用都需要先从三维模型集（一组语义属于同一类但形状差异很大的三维模型）中提取模型的高层语义信息。作为提取这些信息的方法之一，共分割能同时对模型集中的所有模型进行分割并建立对应关系。但是目前的共分割方法多是自动分割，无法从复杂的模型集中提取准确的信息。因此，本项目拟研究交互式共分割，通过人机交互，将用户的先验知识融入到共分割中，使共分割更加准确高效。同时，本项目还将研究多用户协同交互式共分割，以解决单用户在面对大规模三维模型集时无法快速完成共分割的问题。设计面向三维模型集的交互式共分割算法和协同交互式共分割算法是本项目的关键问题所在，其目标是探索和发展面向大规模三维模型集的交互式共分割的关键理论和整套算法，开发新的基于模型集的应用，丰富人们对三维模型的理解和分析，从而提高模型库的利用率。

三维模型库的大量涌现和数据驱动方法的发展加大了人们对已有三维模型资源的利用程度，但多数基于模型库的应用都需要先从三维模型集中提取模型的高层语义信息,然后基于语义信息进行三维建模。作为提取这些信息的方法之一，共分割能同时对模型集中的所有模型进行分割并建立对应关系。但是目前的共分割方法多是自动分割，无法从复杂的模型集中提取准确的信息。因此，本项目研究交互式共分割，通过人机交互，将用户的先验知识融入到共分割中，使共分割更加准确高效。当若干输入的三维模型被分割和标注为有意义的部件后，数据驱动的三维建模通过重组若干输入模型的部件来生成新的三维模型，从而显著的提高了三维建模的效率。..目前该项目已经取得了突破性进展，在图形学领域顶级会议和一流学术期刊发表 7篇学术论文，其中SIGGRAPH (Asia)和顶级期刊ACM Trans. On Graphics上发表论文两篇，在图形学领域主要会议Eurographics、SMI等会议发表论文5篇。2012 年，本人提出了三维模型集主动式共分析的方法，发表于计算机图形学领域的顶级会议SIGGRAPH Asia 2012，并入选封面图片。该该方法只需要用户输入很少的限制条件，就能快速的收敛到一个接近完全正确的分割结果。该工作同时发布了一个共分割数据集SHAPE COSEG，目前它已成为三维模型语义分析领域的标准数据集，被多篇文章使用。2013年，本人开始探索基于图像的三维模型语义分析方法，在计算机图形学领域的顶级会议SIGGRAPH Asia 2013上发表了基于投影分析的有监督的三维模型语义分割算法。通过利用大量标注好的二维图像进行分割，此算法不仅能分割低质量的三维模型，比如大量存在的非流形网格和点云数据，还解决了三维模型分析中数据源问题。2015年本人提出的基于文本图像搜索的图像集合提纯算法，发表在Eurographics 2015。该方法直接基于通过文本搜索得到的海量网络图像，同时对海量网络图像进行图像提纯和物体分割，从而为基于海量网络图形的三维模型提供了数据准备。 ..该项目的顺利初步建立一套基于三维模型库的交互式共分割的理论和方法，并发布了可测试的数据集，极大推动了三维模型的语义分析和数据驱动的发展。