多目主动相机智能监控关键技术研究

With the improvement of security awareness around the world, vision based intelligent surveillance technologies have received more and more attention. Now using multi-camera and active camera is the mainly development trend in vision based intelligent surveillance. According to the above development trend, and the strong mutual assistance of multi-camera and active camera, this project will research on the multiple active cameras video surveillance system, which has complex structure and function, and can also meet the needs of practical applications. Particularly, this project will establish complete theoretical system about the multiple active cameras video surveillance system, which mainly contains five aspects: multiple active camera calibration, moving object extraction from the active camera, multiple active camera shadow removal, multiple active camera tracking and the information fusion with multiple active camera. This project can provide a new idea to the vision based intelligent surveillance. And the achievement can be widely applied in the surveillance of important sites such as bank hall, meeting space, military position and key entrances of important places.

当前智能视频监控的发展方向是从单目相机到多目相机、从静止相机到主动相机。本项目结合多个相机和主动相机所具有的优势互补性，针对结构更加复杂、功能更加完备、与实际需求更加贴近的多目主动相机视觉系统进行研究，并通过建立“多目主动相机系统标定→多目主动相机前景提取→多目主动相机阴影去除→多目主动相机目标跟踪→多目主动相机跟踪融合”的完整框架体系，为智能视频监控的研究探索一条新途径。

随着世界范围内安全形势的日益严峻、人类公共安全意识的不断提高以及军事安全的迫切需要，智能视频监控技术已经渗透到人类日常生活的各个方面。基于当前智能视频监控从单目相机到多目相机、从静止相机到主动相机的发展趋势，本项目针对结构更加复杂、功能更加完备、与实际需求更加贴近的多目主动相机视觉系统进行研究。本项目具体研究内容是：构建“多目主动相机系统标定→多目主动相机前景提取→多目主动相机阴影去除→多目主动相机目标跟踪→多目主动相机跟踪融合”的完整理论体系，在每一部分提出相应算法框架。. 通过近三年研究，项目取得如下成果：(1) 提出了一种基于球面公共坐标系的多目主动相机系统标定方法，可实现多个相机之间精确的信息交互和协同控制；(2) 先后提出基于光流场分析的前景提取方法，以及基于运动显著图和光流矢量分析的前景提取方法等主动相机前景提取算法；(3) 提出了一种基于多平面几何约束的多目主动相机阴影去除方法，解决了现有阴影去除方法无法适应于主动相机的问题；(4) 先后提出了结合灰度共生与三阶张量的在线目标建模与跟踪算法、基于深度特征迁移学习的目标建模与跟踪算法等单目主动相机跟踪算法，并利用两相机间的球面坐标模型，研究提出一种多目视觉系统目标跟踪方法框架；(5) 在多目主动相机跟踪融合方面，先后提出了一种结合限制密集轨迹与改进VLAD编码的人体行为识别算法，以及结合有序光流图和双流卷积网络的人体行为识别算法。. 项目已公开出版学术专著2部，获省部级奖项2项，发表学术论文19篇，其中SCI检索论文1篇，EI检索论文11篇，授权专利4项、软件著作权1项，申请专利5项，培养研究生4名。本项目研究将为智能视频监控探索一条新途径，不仅将满足现代智能监控领域的应用需要，而且将满足现代智能监控领域的研究需求，具有重要的研究意义和实际应用价值。.