海量监控视频中敏感目标快速浓缩研究

With the acceleration of informatization of the modern society and the popularity of video surveillance, surveillance video features massiveness, diversity and redundancy. How to make efficient use of surveillance video has become an urgent problem to be solved. Against this backdrop, this project studies a new theory and algorithm of fast summarization of object-aware, combining with the structure features of surveillance video and application requirements, based on motion trajectory on spatio-temporal slice. This study is carried out from three levels, which is segments-aware, frame-aware, and target-aware. In order to obtain sensitivity, adaptability, and efficiency of spatio-temporal information, the inner mechanism of the spatio-temporal trajectory of object-aware is studied further, which can create favorable conditions for video synopsis. Further, a fast object synopsis method is studied, aims to explore the general, universal video synopsis mechanism, and to provide new ideas for surveillance video synopsis. The research results will be conducive to the technology innovation of intelligent video surveillance, and the study on the internal mechanism of the spatio-temporal trajectory of object-aware is a beneficial exploration.

随着社会信息化进程的加快以及视频监控应用的普及，监控视频呈现海量、多样、冗余等特点。如何充分、高效地利用监控视频信息已成为当前亟需解决的难题。在此背景下，本项目从监控视频的结构特点和应用需求出发，瞄准智能信息处理学科前沿，研究一种新型的敏感目标快速浓缩理论与方法，即基于敏感目标时空轨迹分析的快速视频浓缩。该研究拟从敏感片段、敏感帧、敏感目标三个层次展开，深入研究敏感目标时空轨迹的内在机理，以期获得敏感性、自适应性、高效性的时空信息表征，为监控视频浓缩创造有利条件；在此基础上，研究敏感目标快速浓缩方法，探索具有一般性、普适性的视频浓缩机制。研究成果可为监控视频浓缩提供新思路，有利于推动我国在智能视频监控领域的技术创新和研究水平的提高，同时，在敏感目标时空轨迹内在机理研究方面也是一个有益的探索。

随着社会信息化进程的加快以及视频监控应用的普及，监控视频呈现海量、多样、冗余等特点。充分、高效地利用监控视频信息是实现智能视频监控的基础和前提。本项目自实施以来，紧跟智能信息处理学科前沿，从监控视频的结构特点和应用需求出发，开展了基于视觉感知能量的敏感片段浓缩理论与方法、运动状态自适应敏感帧浓缩理论与方法、基于融合信息的敏感目标浓缩理论与方法三方面的研究，完成了基于敏感目标时空轨迹分析的快速视频浓缩原型系统开发。本项目的主要研究成果如下：①分析了监控视频的结构特征和当前的视频分割算法，指出了渐变检测是当前视频分割的瓶颈问题，基于监控视频通常背景固定，运动片段与静止片段的更替具有显著的渐变特性，提出了基于视觉感知能量的视频运动片段分割方法。②在监控视频中，不可预知的运动状态改变比运动本身更具有视觉吸引力，基于这一事实，定义具有目标运动状态改变的视频帧为关键帧，有效缩减视频底层特征表征与人眼视觉感知之间的差距，研究了敏感目标时空轨迹与运动状态改变的映射关系，构建了运动状态自适应模型以及人眼视觉感知曲线刻画机制，提出了一种全新的运动状态自适应的关键帧提取方法及其优化方法。③以敏感目标作为基本处理单元，充分挖掘目标敏感信息进行融合，构造复杂度低的浓缩比功率函数，提出了一种新型、高效的视频拼合方法，实现了监控视频浓缩原型系统。上述研究成果可为监控视频浓缩提供新思路，有利于推动智能视频监控领域的技术创新和研究水平的提高。