跨媒体的语义挖掘与深度关联建模方法研究

Along with the age of big data, demands for cross-media applications are roaring with the explosive growth of multi-media content, such as text, image and video. The massiveness, heterogeneity, numerous semantic categories and complex relationships of cross-media data make them difficult to be analyzed and understood. Traditional methods focused on simple semantics and single media cannot adapt to deal with large-scale heterogeneous data. The project starts from studying abundant semantic information existed in cross-media data, and it mainly contains the following three parts. (1) Since the cross-media semantics are ignored by existing researchers, we study the semantics in massive data, the relations between cross-media and building the structured semantic network. (2) To deal with the semantic gap caused by the deficiency of feature representations, we explore feature processing unit applied for media characters and study hierarchy semantic feature learning based on deep models. (3) To deal with diversity and complex semantics of the heterogeneous media data, we construct the adaptive correlation learning model for cross-media, study the semantically consistent distance measurement, and do research on an end-to-end cross-media retrieval system with deep feature learning and correlation learning.

随着网络大数据时代的来临，文本、图像、视频等多媒体内容呈现爆炸式的增长，人们对跨媒体应用的需求也日益增加。海量性、异质性、种类繁多、关系复杂等特点对跨媒体数据的智能分析造成了困难，传统的专注于简单语义和单一媒体的研究思路已不能满足大规模异构数据分析的需求。本项目以跨媒体数据中蕴含的丰富语义信息为研究切入点，拟从三个方面展开：1）现有工作中跨媒体的语义研究匮乏，本项目拟从海量数据中充分挖掘语义信息，研究跨媒体语义相关性，构建结构化的语义网络；2）特征表达能力不足是造成语义鸿沟的关键问题，本项目探索适用于不同媒体特性的特征处理单元，研究基于深度学习模型的层次化语义特征学习机制；3）针对异构媒体数据多样化、语义复杂性等特点，构建自适应的跨媒体关联模型，学习具有语义一致的跨媒体距离度量，研究特征学习和关联建模于一体的端到端的跨媒体检索系统。

随着网络大数据时代的来临，文本、图像、视频等多媒体内容呈现爆炸式的增长，人们对跨媒体应用的需求也日益增加。海量性、异质性、种类繁多、关系复杂等特点对跨媒体数据的智能分析造成了困难，传统的专注于简单语义和单一媒体的研究思路已不能满足大规模异构数据分析的需求。本项目以跨媒体数据中蕴含的丰富语义信息为研究切入点，主要研究内容包含以下三方面：1）现有工作中跨媒体的语义研究匮乏，主要利用监督信息中的分类信息或者一一对应的跨模态关系，本项目研究了多模态层次化的语义关系对于检索性能的提升；2）特征表达能力不足是造成语义鸿沟的关键问题，本项目研究适用于不同媒体特性的特征处理单元，研究了基于深度学习模型的图像和文本特征学习机制；3）学习具有语义一致的跨媒体距离度量，研究了特征学习和关联建模于一体的端到端跨媒体检索系统。在研究过程中，针对复杂语义关系，通过双向三重态损失函数建立同类和不同类跨模态数据的距离排序关系，或者通过多模态数据的多类别标签向量建立多尺度的相似关系，与已有方法相比，所提语义关系建模方法对于跨模态检索的性能有显著提升。针对特征表达，本项目研究了基于现有深度学习结构的跨模态网络结构，为图像和文本设计了特征学习模块，通过跨模态对抗学习提升特征表达的能力。并联合语义约束关系和特征学习模块，构建端到端的多媒体检索系统，以此从原始数据中提取可被直接比较多模态样本之间距离/相似度的特征表达，在多个数据集上验证了所研究方法对于检索性能的提升。总的来说，本项目的工作丰富了语义关系和特征学习在多媒体/跨模态检索中的研究，为检索和深度学习领域的应用研究提供了新的思路，具有一定的应用前景。