动态多摄像头环境中拥挤多目标跟踪的联合建模与协同优化

Crowded multi-target tracking in dynamic multi-camera environments has been a difficult problem of intelligent video tracking. Jointly modeling and collaborative optimization would bring great breakthrough toward some difficulties. The purpose of this project is to solve the problems of crowded environment, such as, target re-recognition, muti-target precise tracking and multi-camera's collaborative optimization. First of all, Jointly model the spatial and visual information of multi-target, and then use the feature comparison and geometric relationship detection to re-recognize targets. Second, create a interactive matrix of crowded targets to describe the relationship between them, so we can directly excluding the false association through querying the interactive matrix. Furthermore, we use the camera motion model to correct the targets state transition equation, These treatments can improve the accuracy of crowded multi-target tracking while effectively reduce the amount of computation, and ultimately achieve precise tracking. Third, the proposition of multi-camera collaborative optimization can make crowded multi-target achieve optimal tracking and displaying. The research of jointly modeling and collaborative optimization of dynamic multi-camera environments will provide new research ideas and new achievements to the complex tracking problem.

动态多摄像头中拥挤多目标的跟踪问题一直是智能视频跟踪领域的一个难点，联合建模和协同优化问题的研究将对其中一些难点带来突破性的研究进展。本课题旨在解决拥挤环境中目标再确认、多目标精确跟踪和多摄像头协同优化的问题。首先，对多目标空间信息和视觉信息进行联合建模，利用特征对比和几何关系检测的方式来进行目标再确认。然后，建立拥挤目标间的交互矩阵用以描述目标间的交互关系，通过查询交互矩阵的方式直接剔除虚假关联，并利用摄像头运动模型矫正目标的状态转移方程，这些处理方式可以在有效地降低计算量的同时提高多目标跟踪的准确性，达到精确跟踪。第三，多摄像头协同优化算法的提出，可以使得拥挤多目标均达到最优的跟踪和显示效果。动态多摄像头环境中拥挤多目标跟踪的联合建模与协同优化研究将为复杂跟踪问题的研究提供新的研究思路和研究成果。

.多目标跟踪中目标再确认、多目标精确跟踪，以及协同优化等问题一直是动态多摄像头多目标的跟踪问题中的难点，针对这些问题，本项目通过联合建模、协同关联等技术的运用取得了一系列的研究成果，并在目标再确认度量算法上的研究取得了进一步的突破，具体如下：..1）交互多目标跟踪中的协同关联技术的研究：提出了一种交互多目标跟踪过程中目标与多候选目标之间的协同关联算法，使得多目标跟踪统一到一个跟踪框架中，并能在跟踪过程中完成目标数量的估计。具体来说，我们将把多目标跟踪统一到基于粒子滤波Markov跳变非线性系统的状态估计框架中，并定义了可变数量目标的出现、消失、遮挡等，在进行多目标状态估计的同时，实现可变目标数量的估计。..2）目标外形与空间信息的联合建模：很多场景下，摄像头网络的拓扑结构和跟踪信息很难得到，尤其是在摄像机距离较远和拥挤的环境下，这时基于时空推理的多摄像头跟踪难以实现或者结果不够准确。近年来，很多学者仅利用目标的视觉特征来对多摄像头视角内的目标进行再确认，通常，基于外形特征的方法相比而言更有可靠性，但基于目标本身特征对比来判断不同视角中目标再确认的方法，容易受到目标形变的影响，其准确度还容易受到光照、遮挡等干扰，且算法计算量比较大。本项目通过目标外形特征和空间信息的联合建模，使目标再确认更加准确。..3）目标再确认中度量算法的研究：寻求更优质的目标表示方式仅是实现目标再确认的其中一种途径，除此之外，建立优秀的度量算法也是一种很好地解决方法，本项目在度量算法方面主要进行了三方面的研究，其一：提出了一种基于推土机距离的目标关联度建立的方法，实现了利用推土机距离来度量目标的关联度；其二，提出了基于优化扩散距离的目标再确认方法；其三是提出了一种优化KISSME算法用于目标再确认。. 总之，动态拥挤环境中多目标跟踪问题的联合建模与协同优化的研究对多摄像头多目标跟踪问题具有重要的理论意义和现实价值。