跨摄像头网络多目标跟踪数据关联建模与身份重识别

Multi-object tracking across non-overlapping cameras is a crucial topic in many applications, for example, intelligent video surveillance. Despite intensive research in the last years, it remains challenging because of the following two problems: robust multi-object tracking in single cameras and accurate person re-identification across non-overlapping cameras. In this project, we propose to study several key issues for the topic: data association, feature fusion, and distance metric learning. We plan to solve the above problems by combining our previous research results and new machine learning methods. In detail, we plan to 1) develop a graph-based data association modeling approach integrated with occlusion reasoning; 2) propose a feature fusion approach based on CNN feature output from multiple layers, and a feature selection method based on SVM-RFE. This allows for extracting discriminative features while keeping computational complexity low; 3) propose an efficient feature distance metric learning approach for the semi-supervised setting,which jointly considers the camera network topology and the re-identification task. The outcomes of the project will significantly improve the state-of-the-art and encourage applications of multi-object tracking in non-overlapping camera networks. Moreover, this project can provide new theories, solutions, and key algorithms to universal problems in computer vision, including feature fusion and distance metric learning.

实现跨摄像头网络多目标跟踪在智能视频监控等应用中具有极为重要的意义。由于现实场景的复杂性，该课题的发展仍面临着两个方面的挑战：单摄像头多目标的鲁棒跟踪与跨摄像头目标准确身份重识别。本项目拟结合申请人在多目标跟踪方面的前期研究工作并结合机器学习领域的发展趋势，分别从复杂场景数据关联、特征融合与距离度量学习等方面针对该课题中的几个关键问题进行重点研究并提出解决方法。主要体现为：1）提出基于图论的数据关联模型，结合遮挡策略有效的解决单摄像头多目标跟踪问题；2）提出基于CNN各层输出的特征融合方法及基于SVM-RFE的特征选择方法，保证特征有效性同时降低运算复杂度；3）提出基于半监督式学习的特征距离度量方法，并获取摄像头网络拓扑以解决多摄像头联合协同问题。本项目的研究将有力推动跨摄像头多目标跟踪的研究与应用，为计算机视觉领域特征融合及度量学习等共性问题提供理论依据、关键技术和可行算法。

本项目针对复杂现实场景跨摄像头网络多目标跟踪存在的难点进行了以下研究：（1）针对恶劣天气降低图像质量的问题，提出基于GAN网络的图像增强模型作为预处理；从图像语义分割角度，利用深度学习全卷积网络，融合轻量级的人体检测网络，提出了一种人体分割卷积神经网络，为后续的人体跟踪提供更精确的目标前景信息；（2）针对多目标跟踪中存在的遮挡、目标间交叉的问题，提出一种基于全局优化二步图论模型的多目标跟踪算法。针对已有算法大多在2D图片上进行多目标跟踪，加之场景距离信息的缺失导致算法对复杂环境的鲁棒性较差的问题，本项目结合图片的深度图估计，将深度信息融入多目标跟踪中，在三维空间中对目标进行跟踪，有效的提高了模型的准确度。另外，针对很多场景下获取真实标记的深度图的不可操作性及深度估计的模糊性，提出了一种利用左右视图及视频先后帧之间几何关系恢复深度图的非监督学习算法；（3）由于跨摄像头网络环境下，不同的摄像机传感器参数、监控角度，背景杂波、光照条件、人体姿态不同等因素会影响目标身份重识别的准确性，本项目提出一种基于注意力机制的人体特征提取卷积神经网络框架。并将人体的具有区别性的特征进行融合，结合三元损失函数针对相同目标对和不同目标对进行联合训练，提高了特征提取在不同目标之间的区分度，并拉近相同目标之间的相似度；（4）利用多目标跟踪成果对于后续的场景理解，本项目进行了探索研究，并在智慧交通视频监控领域进行了应用尝试，结果能够准确的实现对车载端的压线检测与违章预警，且在复杂环境，如阴天、雨天、大桥下亦能准确检测。本项目的研究有力推动了多目标跟踪在跨摄像头网络的实际应用。