基于语义概念深度挖掘的视频复杂事件检测方法研究

Complex event detection in video is one of the most important but challenging tasks in video retrieval and detection. The hand-crafted low-level features can hardly be utilized in representation of complex events in videos. However, context concepts and their temporal correlations can better represent complex events in videos. This project aims to automatically extract discriminant spatial-temporal features in video segments, deeply mine the semantic concepts in video under diverse environments, and effectively establish the complex event detection model for reflecting the salient temporal relations of the semantic concepts, in order to conveniently and effectively detect the complex event in video. The key research tasks include: 1) The method of unsupervised multimodal spatial-temporal feature deep learning for video segment with topology information is studied, in order that the features of semantic concepts in video can be comprehensively and reasonably represented. 2) Supplemented by the semantic concept priors, the method of optimized spatial-temporal features learning in the deep neural networks for video segment is researched, so that the learnt features will have a good discrimination for the semantic concepts. 3) In order to improve the accuracy of semantic concept detection in the diverse video, the method of semantic concept detection in video based on multi kernel ensemble learning is studied. 4) The method of the complex event analysis based on the semantic concept scene and hierarchical fuzzy probabilistic graph model is investigated, which makes it convenient and effective to detect complex events under diverse video environments.

视频复杂事件检测是视频检索、检测中非常重要而又困难的问题之一。手工构造的低层特征难以满足视频复杂事件的表达要求，视频语义概念属性及其时序关系更适合视频复杂事件发生的表达。本项目研究旨在自动获取可鉴别的视频段语义概念时空特征，深入挖掘环境多样性视频的语义概念，有效建立一种反映语义概念潜在时序关系的视频复杂事件检测模型，以达到能更方便有效地检测视频复杂事件的目的。主要研究内容包括：研究具有拓扑结构信息的视频段多模态时空特征无监督深度学习方法，以使视频语义概念的特征表达更丰富、更合理；研究辅以语义概念先验信息的深度网络视频段特征优化方法，以使视频段的特征具有多语义概念的可鉴别性；研究基于多核集成学习的视频语义概念检测方法，以期提高多样性视频语义概念检测的准确度；研究基于语义概念场景和层级式模糊概率图模型的视频复杂事件分析方法，以实现更方便有效地检测多样性环境下的视频复杂事件。

视频复杂事件检测是视频检索、检测中非常重要而又困难的问题之一。本项目针对自动获取可鉴别的视频时空特征、环境多样的视频语义概念检测和反映语义概念潜在时序关系的视频复杂事件检测方法进行研究。主要研究内容：1）研究具有拓扑结构信息的视频段多模态时空特征无监督深度学习方法；2）研究辅以语义概念先验信息的深度网络视频段特征优化方法；3）研究基于多核集成学习的视频语义概念检测方法；4）研究基于语义概念场景动态分割的视频复杂事件分析方法。重要结果：1）提出了一种基于拓扑稀疏编码预训练CNN的视频特征学习方法，使得视频特征的表达更具鉴别性并能更有效提高视频语义概念检测率；提出了不同层次特征图加权的金字塔网络视频图像特征学习方法，可以显著提高目标检测器的性能，尤其是对小目标的检测能显著提升其检测性能；提出了基于目标似然矩阵的相关滤波器的视频对象特征深度学习方法，有效地抑制了边界效应并能获得更高的目标追踪准确性。2）提出了多图正则化深度网络和局部性与稀疏性保持嵌入卷积神经网络的视频图像特征学习方法，能更好地刻画样本近邻关系与更合理地获取样本关联特征；提出了超图诱导图卷积网络的多标签图像特征学习方法和两阶段线性重构的特征学习方法，具有更好的多标签语义分类性能。3）提出了基于自适应局部敏感可鉴别稀疏表示字典学习的视频语义分析方法，能够快速有效地检测视频语义概念；提出了基于多核的数据相似度自适应度量方法，这种多核集成能有效提高视频图像语义概念分类的准确性。4）提出了基于时序可变的动作分割检测方法，使得动作分割更准确；提出了基于时空融合图网络学习和结合语义概念及层级式深度网络模型的视频复杂事件分析方法，可有效提高多样性环境的视频复杂事件检测性能。本项目的研究为视频事件时空特征的有效学习、视频语义概念可鉴别表达与有效检测、多样性环境下的视频复杂事件检测分析提供了有价值的参考。