高维多媒体特征的低维流形子空间降维及聚类研究

Cross-media is more in line with the information cognitive of human brain than single media. However, the high-dimensional and differences of different media features caused the disorder application of cross-media data. The features dimensionality reduction and clustering is proposed to make unified understanding of different semi-structured or non-structured media in cyberspace. In this study, we will research the human beings information in cyberspace with five different types of media mode including text, image, video, audio and 3D model. The features correlation selecting and mapping model will be built in order to explore the efficient mapping mechanism between low-level and high-level features. The manifold learning based semantic features space dimensionality reduction will be studied to solve the curse of dimensionality problem of image, video and other media features. The kernel-based fuzzy clustering method will be researched to build the similarity computing model of different media features in the non-linear manifold subspace, which can solve the problem of similarity computing of different media data in low-dimensional feature spaces. After these studies, the proposed methods will be verified and modified. The researches can provide a theoretical and practical basis for the high-efficiency application of cross-media data.

跨媒体与单一媒体相比更加符合人类大脑对信息的认知处理模式，然而不同类型半结构化和无结构化媒体数据特征的高维度和差异性对其使用造成了困扰。多媒体特征降维与聚类分析的目标是克服这一问题，实现跨媒体数据的有效利用。本课题以网络数据中人的文本、图像、视频、音频和三维模型这5种类型媒体形态数据为研究对象，研究建立异构媒体相关性特征选择与映射方法，探明不同类型媒体底层到高层特征的有效映射机制；研究基于流形学习的异构媒体语义特征空间降维方法，建立高维媒体特征的低维语义子空间，解决图像、视频等媒体特征维数过高引起的维数灾难问题；研究基于核函数模糊聚类的子空间特征相似度计算模型，解决不同模态媒体特征在低维非线性特征子空间中的相似度计算问题；最后对所提方法进行验证、评估与修正。通过本课题研究为实现跨媒体数据高效综合利用提供理论与实验依据。

跨媒体与单一媒体相比更加符合人类大脑对信息的认知处理模式，然而不同类 型半结构化和无结构化媒体数据特征的高维度和差异性对其使用造成了困扰。多媒体特征的提取、降维和聚类分析可克服这一问题，实现多媒体数据的有效利用。本课题以文本、图像、视频和3D模型为研究对象，首先对多媒体文件通过分割、增强、背景分离等方法进行预处理；提出了稀疏表示方法。将深度学习与核字典学习相结合，用语义多核方法提取有效特征，在保持特征有效性的基础上，实现降维；提出了将融入运动特征的基础底层特征与融入语义更加精细的高层特征相结合，计算媒体文件的相似程度；提出了通过对抗学习修正特征的提取，将特征匹配和最大均值差异度量相结合，提取隐含特征，进一步提高相似度计算精度；提出了图像特征与文本特征相结合，融合目标检测与识别，提高识别精度；提出了SURF特征点检测与GMS特征点匹配相结合，提高3D物体的相似度计算的精度与速度，并应用于3D模型的重建。本课题的研究为多媒体数据的高效综合利用提供了科学的方法和理论依据。依托本项目资助，共发表论文34篇，其中SCI论文13篇，EI论文16篇；申请发明专利12项，其中已授权发明专利1项，公开10项；出版专著1部；登记软件著作权3项；培养硕士研究生7名。