基于内容的跨媒体检索研究

With the rapid increase of multimedia content on the Internet, cross-media retrieval has become a key problem in both research and application. Currently, single-media retrieval is the most frequently used retrieval way, such as "search text by text", "search image by image", etc. However, the multimedia contents are of various types, usally including text, image, video, audio, etc. In cross-media retrieval, user gives a query of any media type, then the system can automatically retrieve the contents of all media types that are related to the query topic. More importantly, this is content-based cross-media retrieval, and the key problem lies in the measure of content similarity among different media types. In this project, we will focus on the content-based cross-media retrieval, and mainly study the following two important problems: cross-media joint representation and cross-media similarity measure. In cross-media joint representation, we mainly study the feature representation based on cross-media structural unit and the joint representation learning, which enables us to effectively map the contents of different media types to the joint feature space. In cross-media similarity measure, we will focus on the cross-media constraint propagation and learning-based cross-media similarity measure, which can measure the content similarity among different media types. This project is of great importance to the promotion from single-media retrieval to content-based cross-media retrieval, and will provide key technology support for the next-generation multimedia search engine.

随着互联网多种媒体内容的快速增长，如何实现跨媒体检索成为了研究和应用的关键问题。目前常用的检索方式是单媒体检索，如以文搜文、以图搜图等。但媒体内容种类多样，一般包括文本、图片、视频、音频等。跨媒体检索是指用户任意给定一种或几种媒体查询，系统自动检索出与查询主题相关的所有媒体内容。更为重要的是，这是一种基于内容的跨媒体检索，关键问题在于如何度量不同媒体的内容相似性。本项目研究了跨媒体统一表示和跨媒体相似性度量这两个重要问题：在跨媒体统一表示上，我们主要研究基于跨媒体结构单元的特征表示和统一表示学习，这样能够有效映射不同的媒体内容到统一的特征空间上。在跨媒体相似性度量上，我们主要研究跨媒体约束传递和基于学习的跨媒体相似性计算方法，这样能够度量不同媒体的内容相似性。本项目的研究，对于推动目前从单媒体检索到基于内容的跨媒体检索具有重要意义，能够为下一代多媒体搜索引擎提供关键技术支撑。

随着多媒体、计算机视觉和网络技术的迅猛发展，信息的传播已经从单一媒体形态发展到包括视频、图像、文本、音频等的跨媒体形态。跨媒体检索旨在实现跨越不同媒体类型的信息检索，克服传统单媒体检索信息有限、媒体类型单一的不足，也更加符合人脑的多模态感知与认知方式，对于提高用户搜索结果的广度和深度具有重要意义。然而，由于不同媒体之间存在“异构鸿沟”，导致跨媒体相似性无法直接度量，使得跨媒体检索面临重要挑战。针对上述问题，本项目针对基于内容的跨媒体检索问题，根据申请书计划从跨媒体统一表征、跨媒体相似性度量、跨媒体基础数据集构造三个方面展开研究，克服了现有方法只能进行2种媒体统一表征的局限性，实现了交叉检索的媒体类型从2种到5种（图像、文本、视频、音频、图形）的突破。构造了跨媒体基础数据集XMedia和XMediaNet，克服了现有数据集规模小、媒体类型少、评测标准不一致的局限性，推动了跨媒体检索的进一步研究。此外，本项目还根据需要进行了“图像细粒度分类”和“视觉对象检测”的扩展研究，首次实现了无对象标注的图像细粒度分类，并解决了遮挡、低分辨率等复杂条件下的视觉对象检测难题。. 基于上述研究成果，发表学术论文38篇，包括IEEE Trans.和CCF A类论文21篇（IEEE TIP, TCSVT, TMM, ACM MM, CVPR, AAAI, IJCAI），部分工作被国际学者评价为首创工作、巨大进展等。申请发明专利19项，授权3项。在国际评测上，本项目组连续四年（2014-2017）参加了由美国国家标准技术局NIST举办的视频检索领域的权威国际评测TRECVID，均获得第一名。在国内评测上，项目组2014年参加了由中央网信办、国家自然科学基金委、科技部联合举办的第一届特定音视频分析系统评测资格大赛。因为在评测中的优异表现，受国家网信办邀请提供关键技术和系统投入实际应用。同时也因技术优势，成为受公安部第三研究所邀请进行互联网视频图像识别与检索应用的唯一入选队伍。研究成果“互联网多模态内容分析与识别关键技术及应用”获2016年北京市科学技术奖一等奖（项目负责人为第一完成人），成功应用于国家网信办、公安部、国家新闻出版广电总局、西藏网信办等重要单位。