面向网络多视频摘要的关联学习关键技术研究

Multi-video abstraction studies the efficient content analysis and integration for large-scale web videos. It is an important research topic in both academic and industrial domains. A critical problem in this research topic is to explore the complex associative relationships among the video contents. However, current research works are still in a fledging stage, in which traditional representation methods and statistical models are employed. Enlightened by the studies on "association learning", in this project, we tackle this problem mainly from association inference, relevance ranking, and diversity analysis respectively. Specifically, the following issues would be addressed: 1) The design of associative inference models with Multi-Layer Bayesian and Maximal Information Coefficient methods respectively; 2) The mechanism of novel relevance propagation and ranking algorithms with random walk and manifold ranking respectively in the framework of probabilistic Hypergraph model; 3) Diversity analysis study with semi-supervised association clustering and absorbing ideas respectively on the basis of the above two issues; 4) Constructing a prototype system with news or sports videos to verify the advanced nature and practical value of the proposed methods. The implementation of this research project will enrich and develop the basic theories of both video abstraction and associative learning, as well as promoting the development of related industries, such as multimedia browsing and mobile internet.

网络多视频摘要主要研究同主题下海量网络视频资源的高效内容分析及整合技术，其中一个关键技术是对视频内容间关联关系的有效分析，即将大而冗余的视频内容空间向小而简约的内容空间有效的转换。而这方面的研究仍处于起步阶段，尚停留在采用传统的表示方法和统计模型进行分析的阶段。针对这一现状，受到近年来关联学习相关成果的启发，本项目将主要从关联推断、传播与排序机制、多样性分析三个方面展开研究。具体包括：1）基于多层贝叶斯和最大信息系数方法的关联推断模型的设计；2）在概率超图模型框架内，研究基于随机游走和流形排序的相关性传播与排序机制；3）基于上述两项研究内容，分别引入半监督关联聚类和吸收性的方法研究多样性分析策略；4）结合互联网中的新闻、体育等类型的视频构建原型系统，验证算法的先进性和实用性。本项目的实施将丰富和完善视频摘要和关联学习领域的基础理论研究，有效推动多媒体浏览、移动互联网等相关产业的发展。

网络多视频摘要主要研究相同主题下海量网络视频资源的高效内容分析及整合技术，其中一个关键技术是对视频内容间关联关系的有效分析，即将大而冗余的视频内容空间向小而简约的内容空间有效转换。而这方面的研究仍处于起步阶段，多停留在采用传统的表示方法和统计模型进行分析的阶段。针对这一问题，本项目利用关联分析、传播与排序机制以及深度学习等理论和技术展开研究。.项目构建并发布了目前多视频摘要领域最大的公开标注数据集——MVS1K，受到相关专家的高度评价。提出了查询感知的稀疏编码框架，利用视频帧和网络图像的相似性关系来学习视频与图像之间的共有模式，进而获得帧的重要性分数，同时考虑了摘要的稀疏性、代表性和重要性，在MVS1K上的F指标可达0.56的高分。在视频摘要领域首次提出基于深度注意力机制的视频摘要算法，已经被CVPR、 ECCV等主流会议论文借鉴和引用，并作为基于深度学习的摘要方法的代表方法之一。基于最大间隔学习、字典学习等框架，提出一系列关联关系建模方法，在几个基准测试数据集上达到了当时最好的性能水平。提出了一系列基于超图模型的视频摘要方法，不但能够表示多个节点之间的局部聚合信息，而且可将节点间的相关关系嵌入到超图模型中，取得了较好的性能。针对相关性排序，提出了一系列有效的方法。例如提出基于超球的相关保持投影与方法，将原始数据映射到超球空间，从而实现了数据的特征变换。使数据特征表示更适合于相关性排序。此外，还进一步依据距离超球球心的距离，提出了一种新的排序方法，称为基于超球的排序方法。还分别提出一种基于半监督学习的方法以及相关图和不相关图的方法。提出了一种加权原型分析方法，通过初始化原型数目将数据聚合到不同的原型中，并结合视频视觉特征、相关文本语义特征作为加权突出重点信息。.本项目的实施为丰富和完善视频摘要的基础理论研究，推动关联分析、深度注意力模型的研究范畴以及多媒体浏览、移动互联网等相关产业的发展具有十分重要的理论和实际意义。