跨网互联视音频关联分析与搜索

The amount of audio-video data from different sources are growing very fast. This causes that audio-video data are becoming the majority component of information acquisition, exchange and consumption in various web-based services. Audio-video information search have widely and important application potentials. Towards the great challenges of audio-video data under different web environments, such as complex and big data, various inter-connections, difficult to understand the content, lack of structural organization, deficiency in intelligent search, this project works on the key techniques of audio-video connection analysis and search, aiming to solve the scientific problems of cooperativity of network connection, reliability of spatial-temporal effectiveness, consistency of content cognition. We plan to develop the key technologies of audio-video contextual connection and fusion, hierarchical structural representation and content understanding, complex connected network modeling and evolution, query sensitive spatial-temporal data alignment, efficient audio-video content index and search. We will establish multi-layer and multi-dimensional audio-video correlation model and evolution mechanism with information reasoning. We will also establish the methods of multiple granularity audio-video description and multi-model indexing. This project will create a set of theories and techniques of audio-video representation, correlation, understanding and search. we will also develop a prototype system to validate the proposed methods. This project will provide theoretical and technical support for the new generation audio-video big search system, thus playing an important role in web space smart search.

来自不同来源的视音频数据的产生量剧增，成为用户信息获取、信息交换与信息消费的主要对象，视音频搜索具有广泛应用需求和重大应用价值。针对泛在网络环境下的视音频数据所面临的数据庞杂、关联多样、内容理解困难、结构化组织缺失、智能化搜索不足等挑战，本项目开展视音频数据关联分析与搜索关键技术研究，以突破网络关联的协同性、时空效用的可靠性和内容认知的一致性等关键问题为科学目标，研究视音频上下文关联与融合、层次化结构表示与内容理解、复杂关联网络建模与演化、查询敏感的时空数据对齐、高效视音频内容索引与查询等技术，建立视音频多层次多维度的关联模型和推理演化机制，实现视音频内容多粒度描述和多模态索引，形成一套视音频数据的表示、关联、理解、搜索的理论和技术体系，在此基础上开发应用原型系统验证所提理论、方法与技术的有效性，为新一代智能视音频大搜索系统提供理论和技术支撑，更好地在网络空间的智慧搜索方面发挥作用。

目前视音频数据产生量剧增，成为用户信息获取、信息交换与信息消费的主要对象，具有广泛的应用需求和重大应用价值。然而视音频数据具有关系繁杂、冗余性强、全面理解困难等特点，这对视音频搜索技术提出了很大挑战。 本项目利用多媒体数据的内在属性，按照研究计划执行，从图像/视音频数据的多模态多属性的关联分析、场景与物体的层次化关联与融合方法、视频事件检测与搜索、面向搜索的信息挖掘与推荐、跨平台的视频类别预测和大规模异构网络的索引和查询等方面开展了深入研究，提出了多模态关联的知识建模、类别无关的图像局部相似性匹配、应用于场景识别的概念共生方法、基于多种上下文信息的视音频关联建模、音视频数据的多角度关联识别与多粒度理解、以及结构索引和基于位置的图片挖掘及推荐等技术，并构建了大规模跨平台多媒体数据库，同时开发了跨网视音频搜索原型系统，在上下文数据关联、视音频内容理解、多维度网络建模与演化、跨网视音频搜索等方面取得了创新性研究成果，相关技术在联想、华为和美团等公司进行了技术转化落地。项目共发表论文130篇，其中 IEEE/ACM Trans.和CCF-A类会议论文62篇，申请发明专利18项(授权7项); 获得ICDE2019最佳论文奖、WISE2017最佳学生论文奖、WISE2017最佳论文奖、和2019 年度 F5000 论文(Front Runner 5000: 中国精品科技期刊顶尖学术论文)。项目组成员多次获得国际竞赛的冠军，包括ACM MM2016 Yahoo-Flickr Grand Challenge on Caption Prediction竞赛第一名、ImageCLEF 2016 Natural Language Caption Generation竞赛第一名、2016年美国国家标准技术协会视频信息检索国际权威测评TRECVID竞赛多媒体事件检测任务第一名、2017年TRECVID监控事件检测任务6个事件全部获得竞赛第一名、2018年和2019年视觉跟踪VOT竞赛主赛均获得第一名、CVPR2019 ActEV事件检测竞赛冠军。项目培养硕士研究生26人，博士研究生6人，其中1人获2019年中国图象图形学学会优秀博士学位论文奖，2人获博士后创新人才支持计划支持。项目在论文发表、人才培养、会议申办和组织、原型系统及技术转化应用等方面完成了预期目标。