3D空间中的图像逆投影及车辆目标检测跟踪

To the question of object detection and tracking, almost all of the methods are based on 2D image in essence. For the attribute of projection, the appearance and motion of an object in an image change dramatically, which leads to the complexity of its detection and tracking. Using the priors of an object and its scene, the proposal will project the 2D image inversely to the real 3D space, and directly construct the algorithm of detection and tracking based on the inherent features (not the features after the significant change).Because the avoidance of the deformation of appearance and motion caused by perspective, can achieve high precision object detection and tracking, and obtain the real construction and motion attributes of an object in the 3D space. Aiming at the problem of vehicle detection and tracking in an image/video, the important points of this proposal are: The off-site camera calibration based on vehicle object ,scene reference and traffic signs in a traffic circumstance; The construction and important attributes of data of inverse projection in the 3D space; The local object detection based on feature sparse representation and back projection; The mixing component model in the 3D space based on back projection and vehicles detection and tracking. Through the research, initially establish the technique framework of detection and tracking based on inverse projection, and applied in the popular traffic surveillance.

针对图像目标的检测跟踪，几乎所有的算法本质上都是基于2D图像空间构建的。由于投影属性，目标在图像中的表观及运动特征会发生显著变化，这使得其检测跟踪问题变得复杂。通过利用目标及场景的先验知识，本项目将2D图像逆投影到现实的3D空间，直接构建基于目标固有特征（不是显著变化后的图像特征）的检测跟踪算法。由于避免了由透视造成的目标表观及运动变形，可以实现高精度的目标检测与跟踪，并直接得到目标在3D空间的真实结构特性和运动特性。针对基于图像/视频的车辆目标检测跟踪问题，本项目重点研究：交通场景中，基于车辆目标、场景参照物及道路标志标线的非现场相机标定；3D空间中的图像逆投影数据构建及其重要特性；基于逆投影变换和特征稀疏表示的目标局部检测；3D空间中基于图像逆投影的部件混合模型及车辆检测跟踪。通过研究，初步建立基于图像逆投影的目标检测跟踪技术架构，并在大量普及的交通监控系统中应用。

本项目针对图像中的车辆目标检测跟踪问题，充分考虑投影属性造成目标在图像中的表观及运动特征会发生显著变化这一核心，通过利用目标及场景的先验知识将2D图像逆投影到3D空间，直接构建基于目标固有特征的车辆检测跟踪算法，实现高精度的目标检测与跟踪。本项目完成了四个重要研究内容并取得了相关成果：完成交通场景中基于车辆目标、场景参照物及道路标志标线的非现场相机标定问题研究，形成了针对交通场景的非现场标定方法，精度大于94%；完成了3D空间中的图像逆投影数据构建及其重要特性分析研究，形成了逆投影图的构建方法与相关算法，分析并总结了逆投影空间车辆目标局部特性，并提出了逆投影空间车辆模型构建方法；完成基于逆投影变换和特征稀疏表示的目标局部检测问题研究，形成了完整的理论模型与车辆部件检测框架，所提出的算法在实际交通场景下的测试达到实时；完成了车辆在3D空间中基于图像逆投影的部件混合模型建模理论及方法研究，形成了车辆检测跟踪框架及相应技术，同时提出了针对多车辆目标的深度关联网络跟踪器与检测跟踪一体化跟踪器，并且多个指标在公开大型数据集上表现优异。本项目形成了图像逆投影空间车辆目标检测跟踪相关理论与方法，对交通场景下的车辆目标检测跟踪、行为分析及我国智能交通相关领域的发展就有借鉴意义。