基于协同图模型和协同相关性滤波的多模态目标跟踪方法研究

The goal of multimodal object tracking is to track target objects robustly in challenging scenes and environmental conditions by leveraging multiple different yet complementary visual data. It plays a critical role in wide range of applications, such as visual surveillance, self-driving systems and robotics, due to its potentials in handling variety of challenging factors (low illumination, smog, background clutter, etc.). Existing multimodal tracking methods usually localize the object with a bounding box, in which the foreground object trackers/detectors are often disturbed by the introduced background information. To handle this problem, this project aims to learn a collaborative graph with image patches as nodes for multimodal tracking, in which the weight of each node indicates how likely it belongs to the foreground and edges are also weighted for indicating the appearance compatibility of two neighboring nodes. The optimized node weights are then incorporated into the object representation to achieve robust tracking. In addition, we also study a collaborative correlation filter to overcome the dependency of multimodal alignment in conventional methods. The collaborative correlation filter takes the relations of object locations and motions in different modalities into account to track the object collaboratively.

多模态目标跟踪是融合多个视觉模态数据实现挑战场景和环境下目标的稳健跟踪。它能够利用模态之间的互补性较好地克服低照度、雾霾和杂乱背景等因素的影响，在视频监控、自动驾驶和机器人等领域有着非常重要的作用。现有多模态跟踪方法一般是用矩形包围盒来表示目标，这样会使得目标模型易受背景信息污染。为此，本项目将研究一种协同图模型，即以图像块为结点构图，利用多模态信息同时优化图像块之间的相似性关系（边权）和图像块表示目标的重要性权重（点权），以此构造目标的协同特征表达，抑制背景影响，实现稳健跟踪。此外，针对非配准视频，本项目将研究一种协同滤波算法，考虑目标在不同模态中的位置和运动关系，协同地实现目标跟踪。

本项目针对监控视频下的多模态目标跟踪及相关任务展开分析和研究，以实现全天时全天候视觉跟踪为目标，重点研究了多模态跟踪中的关键问题，提出了多个新型融合模型，主要包括动态协同图模型、协同相关滤波模型、跨模态流行排序模型、挑战感知网络模型，极大提高了跟踪算法在复杂场景和真实环境下的鲁棒性。此外，本项目还研究了多模态目标跟踪有关的视觉任务，包括多模态显著性检测、多模态运动目标检测和目标重识别，形成了一系列重要创新成果。特别地，在动态图学习理论和方法上形成原创型成果；在多模态跟踪方面，国际权威比赛VOT组委会在2019年依据我们的论文与数据集设立了新的赛道；提出的若干数据集建立了新的国际基准，为相关领域的研究和发展做出了重要贡献。在项目运作期间，发表高水平期刊论文16篇，会议论文18篇。其中，1篇论文获得安徽省人工智能学会最佳论文奖。申请国家发明专利14项，授权1项，并形成重要科技成果转化。共毕业1位博士生（本人作为辅助导师）和13位硕士毕业生（本人作为辅助导师），招收16位硕士研究生。其中，1位硕士研究生获得安徽省计算机学会优秀硕士学位论文奖，5位硕士研究生获得国家奖学金。本人获得安徽省计算机学会硕士学位论文优秀指导教师、安徽省计算机学会青年科学家奖和安徽省教学成果二等奖（研究生教育）。