基于图模型与增量学习的网络化智能视频监控研究

Wide-area and complex public scenes are now often monitored by numerous cameras, networked camera surveillance becomes one of the most important part of the society. However, it is not economical and nor practical to watch all these videos by man in traditional way. The inner key scientific problem is how to efficiently extract/mine useful information from the numerous surveillance videos. Many researches have been done to detect events in single cameras or associate object across a few cameras.However,in practical scene, the detection performance suffers when the objects move across camera views and experience different illumination conditions, occlusion, and etc. We propose Graph structure to model the physically inter-connected camera surveillance system:the node extract the partial event feature, like the status of object existance in local region, the crowded density, moving trajectory, timestamp of entrance and departure, the disorder degree of the optical field, and etc; the edge represents the corelationship of local observation information, like the correlation of entrance timestamp, the correlation of trajectory, correlation of object appearance, and etc.By optimizing the cost function, we present incremental learning to adapt to the changing environment, train the components of graph structuture (node and edge) and its weight to the event detection. Instead of particular algorithm, we will explore the general basic theory and methods of networked intelligent video surveillance, including Graph based modelling and incremental learning.

如今世界几乎已是摄像头监视的世界, 海量摄像头监控网络将是社会重要组成部分。但人眼实时监看所有画面既不经济也不现实，如何分析这些海量网络化视频是监控网络普及的关键。为求实用，已有研究注重单摄像头内事件分析或较少摄像头间画面关联。受摄像视野所限、光照变化、目标遮挡等因素，对整个监控网覆盖区事件分析性能检测率受限、虚警率高。本项目拟对物理上互连成网的摄像监控系统用图结构进行建模，节点属性含区域内提取的事件局部特征, 如视野内有无目标、其拥挤度、运动轨迹、进出时间、光流场有序度等；节点间的边反映区域局部观测信息间关联，如目标进出的时间关联、轨迹的空间位置关联，目标间表观相似性关联、光流有序度关联等。通过代价函数最小化，用增量学习动态适应监控场景变化，"训练"图模型中节点状态和边连接及其对事件检测的权重。不以特定应用为目标，我们探索图模型及增量学习等较一般化的视频监控网络基础理论和方法。

如今世界几乎已是摄像头监视的世界，海量摄像头监控网络将是社会重要组成部分。但肉眼实时监看所有画面既不经济也不现实，如何分析这些海量网络化视频成为监控网络普及的关键。为求实用，已有研究注重单摄像头内事件分析或较少摄像头间画面关联。受摄像视野所限，对整个监控网覆盖区事件分析如管中窥豹，检测率受限、虚警率高。同时，仅基于普通摄像头的方案很难获取丰富的监控信息，也增加了后期识别的难度。.针对这些难点，本项目围绕网络化视频监控展开研究，分高精度深度成像、单摄像头智能识别算法和多摄像头智能关联算法进行深入研究。首先，我们研究深度成像的算法，因为深度图像成像是获取图像中深度信息的关键技术。我们提出了一系列高精度深度成像算法，包括给予激光散斑投影的主动深度传感算法，基于级进可靠点生长匹配算法的深度估计算法，自适应初始化和组合精化滤波策略和高精度滤波光场重建，在公开数据集上取得了世界第一的精度。在高精度深度图像的基础上，我们进一步提出了针对监控的智能识别算法，针对物体和人研究出一系列识别方案，包括多尺度目标检测算法，基于迭代直推式学习的自动图像分割算法，基于图模型和聚类的人体姿态检测算法和基于隐变量的层级动作识别算法，在世界上取得领先的水平，为监控性能提供了重要的保证。最后，我们将跨摄像头目标对应算法做到国际领先的性能，融合各方面信息，进一步整合监控。基于这些结果，我们搭建了包含20个高清摄像头网络的监控系统，将研究成果应用于实际场景。.经过研究，我们超额完成论文目标，发表进入SCI、EI和ISTP检索的论文21篇，其中SCI有13篇，包括计算机视觉顶级会议ICCV，顶级国际期刊IEEE Transactions on Image Processing, Pattern Recognition, NeuroComputing等。同时，我们培养了博士4名，硕士4名。