面向SIFT特征描述的三维模型检索技术研究

采用SIFT描述子对模型进行特征提取被认为是最有前途的三维模型检索技术之一，具有非常重要的理论和应用价值。该技术的研究在国际上仍是崭新且富有挑战性的，有很多问题尚未解决。本课题针对基于视觉信息的三维模型检索技术中存在的三个主要问题，研究SIFT特征点重复率与模型观察点角度变化之间的关系，结合正多面体的几何属性，设计三维模型投影方法；针对模型投影图像，研究边缘和轮廓曲率融合的分割技术，定位图像中不同语义部分之间的分割线；研究投影图像中SIFT特征点的筛选方法，以及SIFT特征向量的降维方法；研究基于三维模型空间属性的分割区域特征重组技术。重点突破SIFT描述子与三维模型检索结合的技术理论和应用方法，确立面向SIFT特征描述的三维模型检索技术，开发面向SIFT特征描述的三维模型检索平台原型系统，为推动三维模型检索技术的发展做出贡献。

计算技术、计算机硬件和网络技术的发展促使了三维模型在众多领域的应用。由于三维模型数量的快速增长，三维模型的理解与检索技术逐渐成为研究热点。.本项目的研究成果包括三个内容：.（1）三维模型投影技术。项目首先根据SIFT描述子的仿射不变性特征，提出了一种无需旋转标准化的投影模型。通过理论证明和实验验证了将正二十面体的顶点观察模型对于基于投影面的三维模型检索来说是最为理想的观察模型。此外，本项目还提出了一种基于马尔可夫随机场的视图选择方法。该方法首先将三维模型中所有的视点看成一个马尔可夫随机场，并根据视点的空间位置和视点对应的视图信息对所有视点进行分割，形成不同的视点区域，然后利用视点区域中所有视图信息提取成一幅该视点区域的代表性视图。.（2）基于SIFT的三维模型检索技术。项目首先研究了SIFT和Dense-SIFT特征描述子在三维模型检索框架下的表示效果。由于其表示三维模型特征维数太大，故采用bag-of-words方法减低特征向量维度。该方法对所有的SIFT和Dense-SIFT特征采用K均值聚类算法，计算得到词汇树，从而根据词汇树生成每个模型的bag-of-words。然后，我们将LDA模型应用到基于视觉的三维模型检索方法中，把每一个三维模型的所有二维投影面视为一个文档。在基于LDA的主题模型中，主题的数量是固定的，而主题数量的粒度对于检索效果是一个比较关键的参数，但找到最佳的主题数量比较困难。因此，项目提出了一种基于多主题模型和相关性反馈的三维模型检索技术，即用一组有不同主题数量的主题模型进行线性优化组合，而线性组合的比例参数由用户反馈机制学习得到。实验采用国际公认的模型库和标准的评价机制，实验结果表明本项目提出的算法具有较好的检索效果，明显优于现有多种相关算法，研究成果发表在国际顶级期刊IEEE Transactions on Image Processing。.（3）基于深度学习的三维模型检索技术。数据表示是三维模型检索中一个重要环节。最新研究表明深度学习机制具有强大的数据表述能力。项目提出了一个基于深度信念网络的三维模型检索技术。三维模型的特征通过训练好的深度信念网学习得到，采用逐层贪婪的训练方法对深度信念网络进行训练，并利用反向传播算法对训练得到的网络参数进行调优，实验结果表明该算法的检索效果显著优于现有多种相关算法。