视频监控中基于云台可控制摄像机的目标追踪技术研究

Compared to traditional static camera, Pan-Tilt-Zoom camera has the large field of view and strong zooming ability, and it can keep tracking on the target. Therefore, such camera becomes more and more popular in the application of video surveillance. This project aims to investigate the target tracking techinique based on the platform of the PTZ camera. Its topics and innovations lies in following aspects: First, the algorithm of background modeling and background/foreground segmentation based on the PTZ camera will be designed. It makes full use of the camera position so that the foreground can be segmented from the background region even if the camera is moving. Second, we will investigate how to construct the cost-benefit function for key point matching, so that those key points can be matched based on the optimazation on the cost-benefit function. Moreover, the key point matching method can be used to track high resolution target in the iamge from the PTZ camera. Third, we will also investigate the camera control strategy for PTZ camera based on PID control closed loop. The integration of the target tracking algorithm and the camera control algorithm makes the camera to keep captureing the target in a stable way. This project is of important theoretical and practical significance on constructing the video surveillance platform based on the PTZ camera.

云台可控制摄像机与传统静止摄像机相比，具有更大的可视范围和超强的变焦能力，能够保持对目标持续的追踪，因此在视频监控领域有着广泛的应用。本项目重点研究基于PTZ摄像机的目标追踪技术，研究内容和课题的创新之处主要包括三个方面：设计基于PTZ摄像机的背景建模和前、背景分割方法，充分利用摄像机的位置信息，在摄像机运动的情形下完成前背景分割；研究如何构建关键点匹配的效用代价函数，并基于效用代价函数最优化完成关键点匹配，探索如何将关键点匹配用于PTZ摄像机，实现对高分辨率目标的跟踪；研究基于PID闭环的摄像机控制策略，结合目标跟踪算法和摄像机控制算法，使摄像机能够持续、平稳的捕获目标。课题的研究对基于PTZ摄像机构建视频监控平台，实现智能视频监控技术有着重要的理论实践意义。

云台可控制（Pan-Tilt-Zoom）摄像机是视频监控应用中常用设备。本课题重点研究了视频监控应用下基于PTZ摄像机的目标追踪技术。课题主要进行了四个方面的研究：1）课题研究了视频监控场景下的目标跟踪问题。针对这个方面，课题又从四个角度开展：首先，我们设计了一种基于AdaBoost的两层级联目标跟踪框架。这里重点研究了如何在目标区域内选择图像块，同时选择图像块的描述特征对目标进行特征表达，并基于这些特征，对候选位置是否为感兴趣目标进行二值（二选一）分类；第二，课题还重点研究了基于全局检测和局部模板匹配结合的目标跟踪算法。将局部描述引入基于检测的目标跟踪框架，使得跟踪算法遮挡和姿态变化鲁棒；第三，课题研究了多行人跟踪算法，将结合基于HOG特征行人检测与跟踪器结合，在粒子滤波的框架内，通过将检测器和跟踪器进行匹配，区分多个不同行人；第四，课题研究了眼动仪应用场景下人手跟踪算法。这是一种基于2D和3D模型相结合的人手状态跟踪算法，在使用2D模型对人手姿态初始化之后，对3D人手模型的状态空间进行分解，同时考虑人手抓取物体时的遮挡因素，在高维度人手状态空间跟踪人手。2）课题研究了视频监控应用中复杂场景的背景建模和前背景分割技术。针对复杂场景内的某些区域存在着细微运动的情形，在背景建模时同时考虑时间和空间上的累积，以降低前景区域的错检。3）课题研究了PTZ摄像机的控制方法和策略。使用PID控制器，控制摄像机的运动速度。同时，在理论上推导了PID系数对控制器稳定性的影响，并通过实验进行了验证。4）针对视频监控的实际应用，课题研究了基于DMD投影设备的视频显示技术。设计了一种基于FPGA的DMD芯片驱动方式，在不影响人眼视觉感知的前提下，降低了硬件设计的带宽要求。课题在目标跟踪、目标检测、摄像机控制和视频显示的四个方面研究都围绕视频监控的应用展开，为今后在该领域的进一步研究打下了基础。