复杂摄像机网络中的跨场景目标跟踪研究

Nowadays, object tracking across multiple cameras becomes one of the hottest research points. Current multi-camera object tracking methods generally have limitations when applied to complex camera networks, such as inability to adapt to the situations that the topology of the multi-camera network changes or the network contains both overlapping and non-overlapping views. To solve this problem, this project will conduct a study on inter-camera object tracking in complex camera networks. Firstly, we will exploit the inter-camera characteristics to build robust and effective appearance models and realize unsupervised object matching across cameras. Secondly, the inter-camera motion regularity will be analyzed and applied, to automatically estimate the topology of a complex multi-camera network and update it when the topology changes. Finally, we will formulate the problem of establishing correspondences across overlapping and non-overlapping views into an integer programming model by fusing useful cues provided by object matching across cameras and topology estimation. Thus，object tracking across cameras will be realized by solving this integer programming model. This project will advance the research on multi-camera object tracking and it will promisingly improve the performance of object tracking and re-identification in large-scale complex camera networks. This project has vital scientific and practical significance.

随着多摄像机网络的兴起，基于摄像机网络的跨场景目标跟踪成为一个研究热点。现有的跨场景目标跟踪方法应用于复杂摄像机网络时往往遇到很多局限，如不能处理网络中既有重叠场景又有非重叠场景的情况，不能适应网络结构改变的情况等。针对该问题，本项目将就复杂摄像机网络中的跨场景目标跟踪问题展开系统研究。首先，本项目将深入挖掘跨场景特性，建立鲁棒且区分性强的目标表观模型，实现非监督的跨场景目标匹配；其次，分析目标跨场景运动规律，非监督学习复杂摄像机网络拓扑结构，使得拓扑结构在摄像机网络变化时可以自动更新；最后，融合跨场景目标匹配与拓扑信息，将重叠场景与非重叠场景下的目标对应关系统一建模为一个整数规划问题，通过求解该整数规划，最终实现目标的跨场景连续跟踪。本项目将推进跨摄像机目标跟踪的研究，有望显著提高复杂摄像机网络下的大场景目标跟踪与再识别的性能，具有重大的科学意义和很高的实用价值。

随着多摄像机网络的兴起，基于摄像机网络的跨场景目标跟踪成为一个研究热点。现有的跨场景目标跟踪方法应用于复杂摄像机网络时往往遇到很多局限，如不能处理网络中既有重叠场景又有非重叠场景的情况，不能适应网络结构改变的情况等。针对该问题，本项目就复杂摄像机网络中的跨场景目标跟踪问题展开系统研究。首先，为了对单摄像机下以及跨摄像机轨迹片段建立全局最优的数据关联模型，我们提出了一个基于均衡化的全局图模型结构来实现多摄像机目标跟踪方法，该方法将单摄像机目标跟踪和跨摄像机目标跟踪放在一个图模型中进行统一优化，克服了分别优化所带来的误差放大问题；其次由于对多摄像机目标跟踪影响最大的部分就是跨摄像机中的行人匹配过程，我们分别从行人匹配的两个研究思路展开研究，即行人再识别和行人属性识别。针对分类和排序问题的互补性，我们先后提出了一种多任务深度网络和一种四元组损失函数来融合分类和优化问题，同时针对目标再识别中的局部细节信息表达不充分现象，我们又提出了一种局部层次化特征嵌入的网络结构，来在网络中弥补细节信息，从而提升对细节的表达能力。这三种行人再识别方法在公开数据集上都达到了优于之前方法的效果；最后，我们又从语义属性层面，研究了一种基于卷积神经网络的端到端的多属性联合识别算法，既可以进行特征学习，又可以挖掘属性之间的关系，并且希望通过行人属性识别的研究进一步提高行人再识别以及跨场景行人匹配的性能。相关工作发表在CVPR，AAAI，TCSVT等多个模式识别领域顶级期刊会议上,引用已达50余次。