未知复杂环境下目标长时鲁棒跟踪方法研究

Accurately and robustly tracking target under unknown complex environment for a long period is a challenging task due to complex unknown background, occlusion, appearance changing, and fast motion etc. This project aims to propose an intelligent tracking method to solve these challenges. The main objective is to 1) propose an illumination invariant feature extraction method based on locality sensitive histograms, and present an end-to-end tracking strategy by integrating deep learning frame with background perception correlation filter, to track target under unknown complex environment; 2) propose a self-adaptive and cooperative target appearance modeling method based on keypoints and complex cell, and develop a coarse-to-fine tracking method to handle with challenging issues of occlusion, scale changing, target deformation and fast motion; 3) propose an adaptive target appearance model update strategy based on response map, which achieves the optimal update by using the network feedback propagation under gradient descent framework, to improve the accuracy and robustness in long-term tracking. The output of this project can provide scientific principles and key technologies for the future research and development of intelligent target tracking in any unknown environment.

实现未知复杂环境下目标精确、长时、鲁棒跟踪仍然是计算机视觉领域的一项极具挑战性的任务，具有非常重要的研究意义和应用前景。本项目面向未知复杂环境下目标长时鲁棒跟踪任务，围绕“目标建模”和“在线更新”两个功能要求，提出了：1）基于局部敏感直方图的光照不变特征提取方法，融合深度学习框架和背景感知相关滤波器实现端到端的目标学习跟踪策略，以适应未知复杂背景；2）基于关键点和复杂单元格的自适应目标协作建模和由粗到精的跟踪算法，以适应目标遮挡、尺度变化、目标形变、快速运动等情况；3）基于目标响应图的具有自我反馈特性的自适应目标模型在线更新策略，利用网络反馈传播机制在梯度下降框架下实现模型最优更新，以提高目标长时跟踪的精确性和鲁棒性。所提方法可望为场景不受限的智能目标跟踪提供新的技术原理和解决方案。

本项目针对未知复杂环境下目标长时鲁棒跟踪中存在的背景深度感知问题，提出了基于局部敏感直方图的光照不变特征提取方法，融合目标特征和背景特征构建端到端的背景感知深度学习网络模型，并利用网络反向传播进行在线更新；针对目标鲁棒外观模型构建问题，提出了基于复杂单元格和关键点的方法，利用复杂单元格探索多尺度的语境信息，增强了全局特征的独特性和可区分性，通过个体化匹配内部单元格来度量外观变化的程度，构建了鲁棒外观模型以适应目标遮挡、尺度变化、快速运动和目标变形的影响；针对目标模型在线更新问题，提出了具有自我反馈特性的在线更新策略，根据目标响应图的分布特性探索自适应模型更新，利用网络反馈传播机制在梯度下降的框架下实现模型最优更新，探索了模型的学习速率与目标外观变化的关系，通过匹配当前帧目标与模版间的内部单元格来判定目标形变程度，采用双sigmoid函数来测量学习率参数，实现目标模型的实时在线更新。实验结果验证了本项目所提方法的鲁棒性和优越性，相关研究成果可为智能安防、智慧交通、智能机器人等领域提供理论依据和技术支撑。