基于动态图模型与多元结构化在线学习的视觉目标跟踪

Visual object tracking is an important topic in computer vision. The performance of long-term tracking is affected by similar objects, heavy occlusion, and non-rigid deformation in real scene. In this project, we define dynamic context. Differing from traditional single structural learning, we propose a new dynamic and online multiple structural learning method, which the tracking object and dynamic context are trained and predicted in the same structural constraint framework. On one hand, the object and dynamic context share the training examples, which could reduce the influence of similar objects. On the other hand, the structural constraint of dynamic context enhances the robustness of the algorithm against to heavy occlusion and non-rigid deformation. In this project, we will first detect and update the global and local dynamic context, and then we build graphical model based on dynamic context. Second, we will propose joint inference method to improve the accuracy and real-time performance of the subsequent learning process. Finally, based on the graphical model, a new dynamic multiple structural learning framework and online optimisation method will be proposed to train the tracking object and dynamic context and to predict the object location quickly by using the graphical model. This project will provide a new effective method for robust long-term visual object tracking in real scene. In addition, the new dynamic multiple structural learning method can be used to multiple objects tracking, object recognition, object detection, and etc.

视觉目标跟踪是计算机视觉领域非常活跃的研究方向。实际场景下长视频中存在相似目标干扰、严重遮挡及非刚体目标形变等难题，导致跟踪效果不佳。本项目通过定义动态上下文，提出一种不同于传统单一结构化学习的动态多元结构化在线学习方法，将目标与动态上下文在同一结构化约束框架内训练及联合推理。从而一方面通过共享训练样本提高目标与相似干扰的可分性；另一方面通过动态上下文的结构化约束提高对严重遮挡及形变的鲁棒性。本项目拟首先研究动态全局和局部上下文的检测与更新，以构建相应的动态图模型；再提出联合推理方法，以提高后继学习过程中推理的准确性和实时性；最后重点研究针对动态图模型表示的多元结构化学习框架及在线优化方法，使其对被跟踪目标和上下文在同一框架内进行训练，同时使用图模型快速准确的预测目标位置，为实际场景下长视频鲁棒目标跟踪提供一个有效的新方法。动态多元结构化学习可用于多目标跟踪、目标识别、对象检测等领域。

视觉目标跟踪是计算机视觉领域非常活跃的研究方向。实际场景下长视频中存在相似目标干扰、严重遮挡及非刚体目标形变等难题，导致跟踪效果不佳。本项目通过定义动态上下文，提出一种不同于传统单一结构化学习的动态多元结构化在线学习方法，将目标与动态上下文在同一结构化约束框架内训练及联合推理。研究内容如下：1）本项目提出使用隐变量对未知目标部分进行建模，为了进行以上操作，我们对在线学习算法进行了推广，使它可以包含隐变量，并可进行结构化的预测（如预测目标边界框的位置）。为了更好的估计目标部件，避免由于部件引发的模型复杂性造成的过拟合现象，我们提出基于原始形式而非对偶形式的两阶段训练方法。2）本项目提出利用空间结构建立基于部件的外观模型。该模型最大限度地减少外观和变形同时花费预测对象的新位置。然后，优化问题分为两部分。核化相关滤波器（KCF）用于跟踪部件，加快跟踪速度；同时，通过结构性学习来最小化可变形损失，可以减少由于不准确的边界造成的标签噪声问题。最后，最小生成树和动态规划被用来结合外观的分数部件，并检测目标的最佳新位置。3）本项目提出了一个统一的马尔可夫随机场（MRF）模型，可以有效捕捉时空内部部件关系和遮挡先验来增强跟踪性能，得到了一个高效的密集信念传播推断的MRF模型。我们提出一个跟踪器使用星型拓扑对跟踪对象建模（即全局对象和几个局部部件），其中图结构模型描述了成对的空间结构图像观察模型，对应于相关性过滤器和遮挡处理措施的外观相似性。此外，这两个模型通过利用在线更新局部部件的灵活性。4）传统的结构化在线学习方法不能同时处理多个动态结构化预测问题，本项目提出动态多元结构化支持向量机，以处理动态上下文情况。推导出多元学习拉格朗日对偶形式，以便方便的使用核函数，并在线优化结构化的多元分类器。在研究中，我们将上述多元结构化分类器推广到多目标跟踪应用中，获得了良好的跟踪效果。