网络信息感知的视频语义分析与检索

The rapid advances of video capture devices and Internet technology drive the explosive growth of web video data, which are rich in metadata and swarm intelligence information provides a new effective way to solve the open problem of video semantic understanding. In this proposal, we will target the video semantic analysis and retrieval and take the web information perception and deep mining as the core means. In view of the network video information is noise, sparse and dynamic, we will focus on key research on (a) web information awared video structured representation, (b) online video tag positioning and tag noise processing, (c) multi-model machine learning with fusion of video content and web information, and (d) multiple relevance feedback strategies and automatic selection mechanism for feedback strategies. Meanwhile, a platform for experiment will be developed to verify the effectiveness of above technologies. Our research will strive for results with innovation and breakthrough, which may play an important role in the next-generation video management and service technologies.

视频数据采集设备的普及和互联网技术的发展，推动了网络视频数据的爆炸式增长，其中所包含的丰富元数据信息及群体智能信息为解决视频语义理解的开放性难题提供了新的有效途径。本课题将以视频语义分析与检索为重要目标，以网络信息感知和深度挖掘为核心手段，针对网络视频信息的高噪声、稀疏性及动态性特点，重点研究基于网络信息感知的视频结构化表征，网络视频标签定位和标签噪声处理，网络信息与视频内容融合的多模态机器学习，以及检索过程中多策略相关反馈和反馈策略自动选择等关键问题，同时建立实验平台验证各项关键技术的有效性。本课题力争取得创新性及突破性的研究成果,为新一代视频服务和管理提供核心算法和技术。

本项目针对基于网络信息感知的视频语义分析和检索中的关键科学问题，对符合网络视频特性的中层特征表示、网络视频标签定位和标签噪声处理、基于多模态中端融合的统计学习方法以及自适应的多策略相关反馈方法展开深入研究，提出了视觉属性标签自动发现与构建方法、从带噪声的海量社交图像数据中自动学习提取视觉语义特征的方法和利用自动构建的语义视觉知识库辅助增强视频时间的检测方法。本项目所提出的研究方法，能够以数据为驱动，从数据中直接发现和建立视觉属性标签，为实现视频和图像的全自动标注提供可行性方案和技术保证，利用图像和文本协同计算的机制，可以从数据中自动识别、建模、命名发现的语义特性，实现互联网社会多媒体的自动语义分析。我们的工作不但为视频图像的高级语义概念检测自动提供训练数据，有效解决了之前方法需要大量标注样本的困难，为真正解决人工智能中“语义鸿沟”问题做出了有效尝试。本项目在国际重要刊物和会议上发表16篇论文，培养博士生和硕士生4人，并搭建了相应的实验原型系统。