面向鲁棒跟踪的目标表观建模、搜索与更新关键算法研究

Object tracking has important research value, whose success relies on the three key components, such as: object appearance model, search mechanism and model update. However, these three key components face many challenges, such as: 1) The handcrafted features or shallow structures based object appearance models cannot effectively handle the complex and time-varying properties of object appearances; 2) How to achieve rapid and robust target searching; 3) The dilemma of judging occlusion and appearance changes, and the uncertainty of the precise sample location during the model updating process. To address these problems, the project will focus on the work in the following three aspects: 1) In terms of object appearance model, we construct a deep learning based appearance model using transferring learning, regression, and recurrent neural networks respectively. 2) In terms of search mechanism, we apply the objectness proposal generating methods and fuse multiple motion models to estimate and model complex object dynamics respectively. 3) In terms of model update, we propose a method to handle the dilemma of judging occlusion and appearance changes via an adaptive patch-based adaptive appearance model driven by local background estimation. Meanwhile, the useful information contained in the image sets is effectively used to alleviate the uncertainty of the precise sample location. Finally, we hope to develop a real-time tracking system with high accuracy and robustness.

目标跟踪具有重要的研究价值。其成败的基石取决于表观模型、搜索与更新三项关键算法，然而目前这三项关键算法面临诸多难题，例如：1）基于手工特征或浅层分类器结构的表观模型难以应对表观分布的复杂性和非静态性；2）如何进行快速鲁棒的目标搜索；3）模型更新时存在判断遮挡和目标表观变化的两难问题、以及样本精确位置的不确定性等问题。本课题针对这些难题，拟开展以下三个方面的工作：1）在表观模型方面，以深度学习理论为基础，分别探索如何采用迁移学习、回归方法、以及递归神经网络，来构建基于深度学习的表观模型。2）在搜索方面，针对复杂运动，构建基于物体对象度和多运动模型融合的搜索方法，快速获取量少质高的候选区域。3）在更新方面，融合自适应部件模型和局部背景模型，实现对遮挡和表观变化的有效判断；将图像集合中蕴含的信息有效利用起来，从而缓解样本精确位置的不确定性问题。预期开发出具有较高准确率、鲁棒性和实时性的跟踪系统。

目标跟踪具有重要的理论和实用价值。目标跟踪过程中表观模型、搜索与更新三项关键的问题使得目标跟踪在复杂场景中鲁棒性带来极大的挑战。本课题针对这些问题，将目标表观信息、模型更新和多运动模型融合的方法融入到目标跟踪的过程中，以实现面向鲁棒的目标跟踪算法。具体地，经过四年期间，本课题从如下几个方面开展了工作：（1）基于深度学习和图像集合的目标跟踪算法，提出一系列针对目标表观建模中现有的手工特征选择方式、浅层分类器结构、以及不具备记忆功能存在的问题，以深度学习和图像集合的建模为理论基础。（2）通过基于物体对象度的高效候选区域的搜索算法，与跟踪任务相结合，在目标具有复杂的运动模式，从而实现快速鲁棒的目标候选区域搜索。对具有目标物体运动模式的高度复杂性，采用深度强化学习对目标物体的运动进行有效建模，实现了高准确率的目标运动建模和搜索。（3）在对目标跟踪结果进行分析中结合多模型融合，研究了基于峰值旁瓣比(PSR)和尺度切换的由粗到细的多模型融合跟踪算法，融合了具有互补性质的多种线索，对判断遮挡和目标表观变化的问题进行有效的解决，并对目标跟踪算法实现了有效的更新，提高目标跟踪算法的鲁棒性。本研究对视频监控、人机交互等领域有较高的学术与应用价值。