三维模型在异构空间中的语义迁移方法研究

3D model retrieval is an important part of multimedia information retrieval. Because the low-level features of the model can not express the high-level semantics effectively, the retrieval and classification techniques currently are difficult to achieve satisfactory results. Taking into account the key to overcome the "semantic gap" is effective combination of shape features and semantics of 3D model. Then our project takes the heterogeneous relationship between semantic and content as the starting point, taking advantage of the guiding role of the high-level semantics to the low-level shape features of 3D models to reveal the intrinsic link between the two. Firstly, research on the feature space and semantic space respectively. On one hand, study the selective fusion method of heterogeneous key features in feature space. On the other, taking effective semantic expression of 3D model as the goal, to build the heterogeneous semantic network which can describe the semantic relationship of 3D models. Secondly, learning semantic transfer method in heterogeneous space by subspace learning. Finally, on this basis we put forward a heterogeneous distance metric method based on semantics and features of 3D model. Researches can improve the effectiveness of 3D model retrieval greatly, as well as to provide strong support for promotion and application of 3D model. The project is constructed by the general model description, and can provide reference to other fields of multimedia information retrieval.

三维模型检索是多媒体信息检索的重要组成部分。由于模型的低层特征不能很好表达高层语义，使得现有的检索技术很难取得令人满意的结果。我们认为，克服语义与特征之间"语义鸿沟"的关键在于三维模型内容特征与表达语义的有效结合。因此，课题以语义与特征异构空间为切入点，探索三维模型高层语义和底层特征的有效结合方式，进而揭示两者的相互作用和内在联系。首先，分别对特征空间和语义空间展开研究。一方面，研究特征空间中异构关键特征的选择性融合方法；另一方面，以三维模型有效且可量化的语义表达方式为目标，构建描述模型语义关系的异构语义网络。其次，结合语义空间和特征空间，研究语义与特征异构子空间的构建方法及异构空间中的语义迁移方法。最后，在此基础上提出三维模型语义与特征异构距离度量方法。课题的研究能对大幅度提高三维模型检索的有效性提供有力的支持。课题建构在通用的模型描述之上，对其它多媒体信息检索领域也有一定借鉴作用。

本项目的主要目标是探讨一种三维模型高层语义和底层特征的有效结合方式，从而提高三维模型的检索有效性。具体完成的工作有：（1）、在三维模型底层特征提取方面，提出了基于张量子空间的三维模型特征识别及检索方法，通过将加权张量主成分分析方法应用在三维模型的多角度的二维投影图像中，能够从多方向上通过张量进行特征提取。此外，提出了一种加权多线性主成分分析与加权线性判别分析相融合(WMPCA+WLDA)的三维模型识别方法，该方法不仅能保存投影图像的空间相关性，还可以利用模型的类标签信息及特征权值来提高三维模型的特征识别度。（2）、在语义与特征异构空间构建过程中，提出了基于异构语义网络的三维模型特征联合聚类方法，该方法将有限的语义信息构建一个异构语义网络，并将该网络转换为语义特征，通过语义与形状特征的联合聚类算法，使得形状特征的聚类结果带有一定的语义信息。（3）、在异构空间中的语义迁移方面，提出了基于异构特征LDA的三维模型分类及检索方法以及基于语义特征LDA的三维医疗模型自动标注及检索方法，这两种方法对包含模型语义特征的数据进行主题分类，并将其应用于模型检索中，实验结果表明了该方法的有效性。（4）、最后提出了基于异构语义信息拉普拉斯特征映射的三维模型检索方法。通过特征映射将异构语义网络中三维模型之间的语义关系嵌入到低维的特征空间，从而在特征降维的过程中极大地保留了三维模型之间的语义信息。（5）、此外，本项目在深度学习方面进行了扩展应用研究，提出了基于拓扑稀疏编码的三维模型识别方法，该方法将三维模型的多角度投影视图作为输入层，用拓扑稀疏编码学习的特征来表征三维模型，从而提高三维模型的识别率。资助项目发表学术论文9篇，其中被SCI、EI、CPCI 索引论文5篇。申请软件著作权1项，培养硕士1人。