基于深度学习的跨模态检索方法研究

Cross-modal retrieval is an information retrieval method that supports mutual retrieval between multimedia data of different modalities. Due to the increasing multimedia data on the Internet in recent years, cross-modal retrieval has received extensive attention. This proposal plans to deeply explore the relationship between multimedia data of different modalities through deep learning, and design a flexible and effective cross-modal retrieval model and general framework. Firstly, aiming for cross-modal retrieval applications, we study the representation of various multimedia data from the perspective of human attention mechanism to obtain more robust features. Secondly, we study to learn multiple differentiated common spaces for cross-model relevance computation, and measure the cross-modal relevance from multiple perspectives. Thirdly, we study the adaptive fusion strategy of the cross-modal retrieval model, and design a learning-based fusion to aggregate the cross-modal correlations from different models according to their characteristics. Finally, a cross-modal retrieval demo system is designed and developed based on the research results of the research. The resultant techniques of this research will provide theoretical and technical support for cross-modal retrieval and beneficial to the development of multimedia search services in a more convenient, accurate and intelligent direction.

跨模态检索是一种支持不同模态多媒体数据之间相互检索的信息检索方式。近年来互联网上的多媒体数据日益增长，跨模态检索受到广泛的关注。本项目拟通过深度学习技术深入挖掘不同模态数据之间的关系，设计灵活有效的跨模态检索模型和通用框架。首先，针对跨模态检索应用，我们拟从人注意力机制的角度出发研究多媒体数据的特征表达方法，以得到更鲁棒的特征。其次，我们研究为不同模态的数据学习多个具有差异化的公共空间，探索从多个角度来衡量跨模态数据之间的相关度。进一步，我们研究跨模态检索模型的自适应融合策略，根据不同模型的特性设计一种基于学习的融合策略对不同模型的跨模态相关度进行融合。最后，基于项目的研究成果设计开发跨模态检索原型系统。本项目的研究成果将为跨模态检索提供理论与技术支撑，有助于多媒体搜索服务朝着更方便、更准确、更智能化的方向发展。

近年来互联网上的多媒体数据日益增长，跨模态检索受到广泛的关注。本项目围绕文本视频等数据的表示学习、跨模态相似度计算、细粒度跨模态检索三方面展开研究，提出多个跨模态检索新方法，并开发了一个跨模态检索原型系统。相关研究成果发表高水平学术论文13篇，其中6篇为第一作者，8篇为CCF A类论文。研究成果受国内外同行认可，其中一篇论文发表在在计算机视觉和人工智能领域国际公认的顶级期刊IEEE TPAMI 2022，该论文目前已经被引用90余次。申请跨模态检索相关专利 4项。此外，项目组整理了一个文本视频跨模态检索的论文集，包括2018-2022年主要的跨模态检索方法、相关开源代码，常用数据集等，方便跨模态检索的初学者学习；项目组所开发的7份跨模态检索代码已在Github开源。相关研究成果在海康威视和阿里巴巴应用，产生了良好的社会效益。本项目的研究成果将为跨模态检索提供理论与技术支撑，有助于多媒体搜索服务朝着更方便、更准确、更智能化的方向发展。在项目的资质下，项目负责人在项目执行期入选了中国图像学会青年托举计划。