面向移动终端的视频检索与浏览

With the popularization of mobile multimedia terminal and the rapid development of the Internet, how to provide effective video retrieval and content adaptation gradually becomes a hot research topic. This proposal aims to research on the mobile video retrieval and browsing approach. Through semantic understanding for videos with noise tags, we investigate the multiple instances graph model for video annotation. Combined with the context information, we study the video retrieval methods based on graph models. To adjust the frame size and video length simultaneously, we investigate video retargeting based on the subspace theory to overcome the limitation of bandwidth and storage. We plan to perform hierarchical clustering for search results with dual-constraint topic models, and generate the video thumbnails with screen adaptation.

随着多媒体终端的普及和移动互联网的迅速发展，如何给用户提供有效便捷的视频检索并与不同设备的进行内容适配逐渐成为研究的热点。本项目旨在研究移动终端上视频检索与浏览方法，通过深入分析基于噪音标签下视频的语义理解，研究多示例图模型的多标签视频标注；结合上下文信息，研究基于图谱分析的视频检索方法；探讨同时调整画面大小和视频长度，研究基于子空间理论的视频自适应，克服带宽和存储量的限制；通过双重局部限制的主题模型对检索结果进行层次化聚类，并生成与屏幕适配的视频缩略图。

为实现面向移动终端的视频高效浏览和索引，我们从视频自适应和检索出发，围绕时空网格优化、多视角及多模态特征表示、深度紧致视频描述子、以高效视觉检索等方面展开深入研究，并取得了一系列的研究成果。提出了基于网格图模型的视频自适应和基于网格的优化的智能缩略图算法；并将视频自适应与视频检索相结合，提出了多模态深度紧凑编码的二值目标表观模型，以及基于多视角卷积网络的快速高效检索方法等方法。项目组共发表论文46篇，其中发表国际期刊19篇，包括图像处理会刊、多媒体会刊等；发表高水平国际会议论文27篇，包括ICCV、IJCAI、AAAI、ACM MM、WWW等重要国际会议。此外，还申请1项国际专利。在项目的资助下，项目组成员积极开展国际学术交流，有5人次参加国际学术会议。本项目在理论方法研究成果基础上，积极与企业合作，分别与华为、联想、京东和影谱等公司建立的合作机制，并完成了一些核心技术的产业化和技术转移。总体来看，我们按照预定计划研究了各项主要研究内容，研究成果完成了预期目标。