多相机监控系统联合视频摘要与浏览方法研究

Surveillance video usually contains a large amount of redundant content. Video synopsis, the aim of which is to obtain a much compact video by removing redundant information, is useful in fast browsing, storing, and transferring of surveillance videos. Nowadays, a surveillance camera is not isolated. Multiple cameras in the same area that are closely related to each other form a camera network that can capture a complete event together. Joint analysis, synopsis, and browsing of multiple videos they produced are more practical and significant. For a multiple camera surveillance system, this project studies: (1) abnormal behavior detection algorithms oriented to video synopsis, (2) multi-camera joint synopsis methods based on data decoupling, and (3) dynamic storyboard based multi-video visualization and interactive browsing approaches. From some new research perspectives, we can achieve aims of intensively eliminating multi-camera redundant content, preserving object consistency between multiple cameras, and enhancing effects of multi-video visualization, based on which to primarily construct a high credibility, high efficiency, easy to use multiple surveillance video synopsis and browsing platform. Meanwhile, the study of this project can enrich fundamental algorithms for video applications of complex multi-camera network such as building monitoring system, highway traffic monitoring system, etc., and will open up some new research directions with wide application prospects.

监控视频通常存在大量冗余信息，视频摘要技术目的是压缩冗余信息获得简短的摘要视频，在视频快速浏览、存储、传播等领域起着广泛而重要的作用。现在，监控相机不再孤立，同一区域的监控摄像头构成紧密相关的相机网络，共同记录完整的事件信息。对多相机视频进行联合分析、摘要和浏览更符合实际需求，意义更为重大。本项目针对多相机监控系统，研究（1）面向视频摘要的异常行为检测方法，（2）基于多相机数据解耦的联合视频摘要技术，和（3）基于动态故事板的多视频可视化与交互式浏览三个方面的内容。旨在从一些新的研究视角，深入消除多相机冗余信息,保持多相机数据连续性，增强多视频内容可视化效果,初步为多相机监控系统构建一个高可信、高效率、高易用的视频摘要和浏览平台。同时，基于本项目的研究，能够进一步丰富复杂相机网络（如建筑物监控系统、公路交通监控系统等）的多视频应用基础算法，并开辟一些全新的有广泛应用前景的研究方向。

监控视频通常存在大量冗余信息，多相机监控网络拍摄的一套视频更是如此。本项目针对多相机监控网络及其摘要问题，设计了一系列相关算法。（1）首先，为更好地进行异常物体检测，提出了图像非显著轮廓的交互式精确性提取方法，该方法能帮助提取图像轮廓，而图像轮廓是异常检测的重要特征之一。此外，还进行了视频超分辨率研究，由于监控视频通常分辨率较低，有效的超分辨率方法能提高异常检测方法的准确性。（2）在视频摘要方面，一方面提出了改变物体速度和缩放物体尺寸相结合的视频摘要方法，极大提高了视频摘要的灵活性和压缩率，同时减少了物体碰撞、时序颠倒等瑕疵。另一方面，针对多相机监控系统，提出了联合物体移动和视角切换的多视频摘要方法。能在压缩多视频内容的同时，更好地帮助用户浏览多视频重要内容。（3）最后，对多视频布局和展示方法进行了研究，提出了场景平滑转换技术和场景拼接技术。两项技术用于多视频摘要结果的表示和浏览。其中，场景平滑转换技术能平滑地在多个视频之间进行视角转换；场景拼接技术能将多个视频内容拼接在一起，方便用户对所有内容进行整体浏览。