三维物体结构和形状的感知和理解

在众多工业应用中，随着互联网和计算机辅助设计的普及，人们能够越来越方便的获取更多三维数据信息。三维数据被广泛地认为是下一波数字媒体的代表。除了专业用户外，越来越多的业余用户也积极参与到三维内容创作的过程中。因此，提供有效、便捷的三维数据存储、检索和处理工具成为迫切的需要。本研究项目将从理解三维物体本征的组成方式出发，提取有效的、有形状语义意义的三维物体的部件及其特征，并将其应用于基于内容的三维物体分割、检索和重组。此外，还将建立一个三维物体部件库，并在此基础上构建一个三维设计应用插件平台。

本项目主要关注于在三维图像数据中，如何刻画和表现物体的形状特征。我们特别关注那些其部件能够灵活变化的物体，其中一个典型的例子就是人体，它的各个部分，如手、腿都是连接在躯干上并且能够灵活运动。..如何判定在部件会产生比较大的形变的情况下，物体形状感知最显著的特征是什么，如何利用它们完成三维模型的分类、检索、和分割构成了我们2011年和2012年研究的主要内容。我们的主要思路是，给出一种物体各个部分形变对物体形状感知——即判别该物体是否属于某一类的分类的重要性的分布图。例如，直观的来说，三维人体的手部、腿部的一些变化，视觉上我们还是能够判断该三维模型是人体。我们在原来提出的二维形状感知理论的基础上，发展出了三维的形状弹性特征，该特征能够给三维模型的各个部分给出一个重要性的分布图——弹性图。通过弹性图我们认为那些弹性比较大的部件对三维模型物体形状的判别重要性会降低。这个现象通过三维物体检索的实验得到了验证。弹性图除了对三维模型的分类和检索有益之外，我们还将其应用在三维模型的部件分割上。通过弹性图检测那些类似关节连接的部分，从而对模型进行语义部件的分割。..我们将这一想法应用到大规模三维场景建模中的物体分割问题上。在该场景下，我们发现可以定义一种z-轴的形变弹性特征，它能够很好的应用于场景中不同物体基于形状的分割。这使得大规模点云数据的自动分割的性能和效率有较大的提升。我们将这一成果应用在城市三维模型的重建上，我们的方法能够将点云预处理速度提高一倍以上，而且分割的正确率，特别是对于像数目、桥梁等原来很难处理的目标物都能够得到比较好的分割结果。相关的成果也发表在ACM Multimedia上。..对模型形状弹性的研究使得我们可以利用它来增强三维模型形状的特征描述以及相似度的计算。通过弹性分布图，可以在三维模型之间对比时（即计算他们之间的相似度），适当的弱化弹性强的部分，这可以使得在模型分类的时候，特征的计算不会被那些很容易形变的部分的变化而导致类内的不变性变差。类似的思想除了可以应用在三维模型的检索之外，还可以用于图像中的物体基于形状的分类。这些成果发表在CVPR2013上。..基于以上的成果，我们发表了5篇SCI/EI收录的论文。其中IEEE CVPR 2篇，ACM MM 1篇，IEEE ICIA 2篇。