基于微观仿真模型的非重叠视域多摄像机多目标连续跟踪技术研究

Multi-object tracking based on non-overlapping multi-camera is one of the core technologies in intelligent video surveillance systems,existing researches have mainly focused on multi-object tracking in observed regions. How to track multiple objects in blind regions and fuse the information among blind regions and observed regions are still difficult problems to be solved. To solve these problems, the method of multi-object continuous tracking based on microscopic simulation model among multi-camera blind regions and observed regions is proposed in this project. Microscopic simulation model is established according to the surveillance scenes and the properties of the objects. Learning and training the model by using the prior motion information of multiple objects in observed regions, meanwhile, giving the initial value to the model, we can achieve the multi-object tracking results in blind regions. The results can effectively reduce the range of the object matching candidate sets, improve the accuracy and processing speed of the object re-capture and re-recognition among multi-camera observed regions. This project can realize the multi-object continuous tracking in non-overlapping multi-camera by making full use of the information relevance among blind regions and observed regions. Research results of this project will provide a new thinking and a theoretical basis to the field of visual object tracking.

基于非重叠视域多摄像机的多目标跟踪技术是智能视频监控系统的核心技术之一，现有的研究主要集中于可视区域的多目标跟踪，如何实现盲区的多目标跟踪以及盲区和可视区域间的信息融合仍然是亟待解决的难点问题。为了解决该问题，本项目提出一种基于微观仿真模型的多摄像机盲区和可视区域间的多目标连续跟踪方法。根据不同的监控场景和被跟踪目标的属性构建微观仿真模型，利用可视区域测得的先验信息对微观仿真模型进行学习和训练，并且给模型赋予进入盲区时的初始值，实现盲区的多目标跟踪。再利用盲区的多目标跟踪结果有效的缩小可视区域间目标匹配的候选集范围，提高多摄像机可视区域间目标再捕获和再识别的准确度和处理速度。本课题在实现盲区多目标跟踪的基础上，充分利用盲区和可视区域间信息的相关性，实现非重叠视域多摄像机的多目标连续跟踪。项目的研究成果将为视频目标跟踪领域提供一种新思路和理论基础。

基于非重叠视域多摄像机的多目标跟踪技术是智能视频监控系统的核心技术之一，该技术在平安城市、智能城市等领域有着广泛的应用前景。本课题针对多摄像机盲区和可视区域间的多目标连续跟踪方法展开深入研究，本项目研究主要有以下四点学术贡献：1. 针对可视区域提出了一种基于运动目标检测和图割理论的多目标跟踪算法。 首先,利用码本模型对背景建模,检测运动目标。然后，令一个标签对应一个目标,建立能量方程,把多目标跟踪问题转化为能量最小化的组合优化问题。 最后,构造网络图,利用最大流-最小割算法寻找最优解。2.针对先验信息测定，提出一种基于视频多目标跟踪的高度测量算法。首先，采用码本模型检测前景，利用图割理论实现对多目标的跟踪。 然后，提取每一帧中目标的头部特征点和脚部特征点， 根据投影几何的约束关系计算每个目标的高度。 最后，融合多帧的测量结果进行数据优化。 本项目提出的算法不需要对相机进行完全标定，只需计算摄像机的灭点和地平面的灭线，降低了计算的复杂度。3.针对盲区，提出一种基于微观仿真模型的盲区的多目标连续跟踪方法，根据不同的监控场景和被跟踪目标的属性构建微观仿真模型，利用可视区域测得的先验信息对微观仿真模型进行学习和训练，并且给模型赋予进入盲区时的初始值，实现盲区的多目标跟踪。4.将深度学习应用到该领域，提出了一种基于深度玻尔兹曼机的RGB-D数据跨模式特征学习的视频目标跟踪改进算法。构建基于深度玻尔兹曼机的跨模式特征学习网络，提取RGB-D视频数据中样本的跨模式特征。将样本的跨模式特征输入到逻辑回归分类器中，得到分类器的置信分数作为贝叶斯最大后验概率估计的观测似然模型。通过贝叶斯最大后验概率估计算法来实现RGB-D数据中的视频目标跟踪。除上述重要进展外，本课题组还有一些有关视频预处理，多摄像机传输控制，半监督学习方法的研究等方面的研究成果，所提出的方法对于多目标连续跟踪领域的研究具有推动作用。