时空上下文感知的网络视频主题目标发现与分割研究

Besides the intrinsic characteristics such as mass and high-dimension, web videos tend to be social and thematic, and they contain the discretely existed objects which have large variations and have hierarchical correlation with each other. Most existing video object discovery and segmentation methods neglect the association between visual objects and the collaboration between object discovery and segmentation, and thus often suffer from computational difficulty and low accuracy. To solve these problems, our goal in this research is to study spatiotemporal context aware video thematic object discovery and segmentation from web videos. Based on our recently proposed image object discovery and segmentation methods, we analyze and represent the intra-category construction and inter-category correlation of thematic objects to construct a spatiotemporal context model, and propose an efficient and robust learning algorithm. We then leverage the collaboration relationship between object discovery and segmentation, and propose thematic object discovery and segmentation algorithms to deal with objects of single and multiple categories based on the spatiotemporal context model, respectively. We further propose a thematic object based video summarization algorithm. A system capable of annotating, discovering, segmenting and summarizing thematic objects from videos is also proposed. Two new web video datasets are built to evaluate the proposed algorithms. The implementation of this research will benefit the understanding of video contents, and can be used in video surveillance, browsing and retrieval.

网络视频除具有海量、高维等固有特性外，日趋呈现出社会化和主题化的特点，且包含的目标离散分布、变化较大并具有不同层次的关联关系。现有的大多数视频目标发现与分割方法由于对视觉目标的关联特性及目标发现和分割间的协同关系重视不够，经常陷入求解困难、精度低等困境。针对这些问题，本项目旨在研究时空上下文感知的网络视频主题目标发现与分割的协同计算模型和方法。以申请人已有的图像目标发现与分割工作为基础，分析并表征目标类内的构造关系和类间的相互关系，建立时空上下文模型，设计快速鲁棒的学习算法；利用目标发现与分割的协同关系，分别提出基于时空上下文模型的单类和多类视频主题目标发现与分割的联合计算模型和算法，并提出基于主题目标的视频摘要算法；开发视频主题目标标注、发现、分割与摘要系统，建立新的网络视频数据库以完整评测所提算法。本项目的实施可为网络环境下的视频内容理解提供技术支持，并可应用于视频监控、浏览和搜索等。

在基金项目的资助下，紧紧围绕时空上下文感知的网络视频主题目标发现与分割开展研究，在四个方面取得了重要进展。在视觉上下文信息表示与建模方面，提出了一种基于层次化多模态LSTM的视觉语义联合嵌入方法。在单类视频主题目标发现与分割方面，基于动态马尔科夫网络的噪声视频目标联合发现与分割方法，一种借助极少量用户监督的视频目标发现与协同分割方法，以及一种基于分层超图模型的视频目标协同分割方法。在多类视频主题目标发现与分割方面，提出了一种基于知识主题模型的无监督目标发现与定位方法，进而提出了一种基于视频印记分割的未剪辑视频时序行为检测方法，以及一种未剪辑长视频人体动作联合定位与分割方法。在基于主题目标的视频摘要方面，提出了一种统一的复杂视频事件联合检索、识别与解析方法。在系统整合方面，建立了一个图像/视频数据自主采集、筛选与标注系统，实现了对类别图像/视频数据的自动下载、筛选和标注。在基准数据库建立方面，建立并发布了五个图像和视频数据库，包括视频目标分割与分类数据库（XJTU-Stevens dataset）、带噪声的视频目标发现与分割数据库（Noisy-ViDiSeg dataset）、带噪声的视频目标协同分割数据库（Noisy-ViCoSeg dataset）、视频行为时空定位数据库（ActSeg dataset）和亚洲人脸年龄数据库（AFAD dataset），为本课题研究和同类研究提供了基准数据。目前课题已在国际权威期刊和重要国际会议上发表论文14篇，包括IEEE Trans. on Pattern Analysis and Machine Intelligence、IEEE Trans. on Image Processing等重要国际期刊论文6篇，CVPR、ICCV和AAAI等重要国际会议论文8篇。获授权国家发明专利1项，申请国家发明专利2项。项目执行期间，项目负责人王乐入选中国科协青年托举人才工程项目。培养博士生2人，硕士生4人。