基于深度层次特征相似性度量的视觉跟踪方法研究

It is still a very challenging task to track object continuously in complex scene. The main idea of the current visual tracking algorithms is treating the problem as a classification task. That idea focuses on inter-class classification, but can’t effectively distinguish the same class background with the object. The project intends to deal the visual tracking problem as the similarity learning. The deep hierarchical features with powerful nonlinear representation are explored to learn the matching function for the special object with intra-class changes, in order to eliminate interference with similar backgrounds. The Siamese network is designed to learn the marching function according to the tracking task, based on the deep model of image classification, the video database is transferred to the tracking model to enhance the representation ability of any target. The loss function is designed and the random forest is used to ensemble hierarchical features, which are mapped into Hamming space to accelerate the matching. Object proposals are exploited to guided the particle filter to sampling the candidates. In order to avoid drifting, back propagation tracking and temporal multi-models are utilized to update object model. Finally, the object can be tracked robustly and constantly in a complex environment. The results of this project will provide different ideas and methods from previous visual tracking algorithms.

复杂场景中，持续地对特定目标实施跟踪依然是一项极具挑战性的任务。目前的主流思路是将视觉跟踪问题看作分类任务来处理，该思路注重类间(inter-class)判别力，却易受到与目标具有相同语义的背景干扰。本项目拟将视觉跟踪看作相似性度量问题来处理，利用深度层次特征强大的非线性表达能力，直接学习同一目标类内(intra-class)变化的相似性，消除语义相似背景的干扰。设计与跟踪任务相匹配的深度孪生网络学习匹配函数，以图像分类深度模型为基础，利用视频数据库迁移至跟踪模型，增强对任意视频目标的表达能力；设计损失函数，通过随机森林集成包含不同特性的深度层次特征，并将其映射至汉明空间，加速匹配过程；利用目标提议区域引导粒子滤波进行快速采样；通过反向传播和多模型更新目标模型，克服漂移问题；从而在复杂环境中实现对目标的鲁棒跟踪。本项目的研究成果将为视觉跟踪提供新的思路和方法。

复杂场景中，持续地对特定目标实施跟踪依然是一项极具挑战性的任务。目前的主流思路是将视觉跟踪问题看作分类任务来处理，本项目拟将视觉跟踪看作相似性度量问题来处理，利用深度层次特征强大的非线性表达能力，直接学习同一目标类内(intra-class)变化的相似性，消除语义相似背景的干扰。对目前基于深度学习的跟踪方法做了详细和系统的归纳和总结。针对深度特征提取问题，提出了一种深度特征与梯度特征的融合策略，实现深度特征与梯度特征的优势互补；增加了目标的类别信息，建立分类-验证网络模型，提高网络区分不同类目标的能力。为了增强模型的泛化能力， 提出了一种联合空间通道正则化相关滤波的跟踪方法。将滤波器的每一层通道看作独立的信息，引入通道权重矩阵，将其嵌入到目标模型中，与空间正则化一起联合优化滤波器，在空域与通道域中约束滤波器的学习，在通道与空间位置中对滤波器进行特征选择，去除冗余信息。在损失函数设计方面， 将空间位置信息融入深度特征中，提出位置敏感损失函数，可以同时实现类间可分与类内排序，该算法将空间位置信息引入到分类损失函数中，将目标的语义信息和空间位置信息同时考虑在内以学习目标的判别特征。通过对传统的softmax损失函数加入分类间隔来增强特征判别性，首先将这些基于分类间隔的分类损失函数应用到孪生网络损失函数领域。在线跟踪方面，提出在线增强判别特征的方法，利用网络学到当前目标所独有的特征，即当前目标的个性，进而区分目标与背景。将利用生成对抗网络（GAN）生成掩膜，约束相关滤波器训练，从而有效的缓解传统滤波器的边界效应问题。利用生成网络提取的特征生成权重掩模，用以表示目标的外观变化。我们在标准的视觉跟踪基准数据集TrackingNet、 GOT-10K、LaSOT、OTB和UAV等数据集进行了充分的实验，来证明我们的跟踪器的可靠性。本项目的研究成果将为视觉跟踪提供新的思路和方法。