基于深度测度学习的视觉目标跟踪

Main challenges of visual object tracking are from the disturbances led by the various factors. The key of these problems is to build a robust and online object appearance model. Deep metric learning based visual tracking has great advantages in learning discriminative appearance features and has shown superior performance in tracking accuracy and speed. Base on it, this project designs a shared convolutional neural network and map the features of samples with different sizes as the same dimension to achieve fast feature extraction for large scale samples. It builds and optimizes the Siamese network and train the embedded metric function to extract the discriminative feature to separate the object from the background. For the object with the dynamic appearance changes, we use high level semantic feature obtained by the fully connected layer and design the proper metric function and build the effective object tracking scheme. Finally, we make the visual tracking of multiple task learning based on fusing metric learning and classification to enhance the diversity of feature learning and obtain the better discriminative appearance model. It will enhance the accuracy of location and scale estimation and then achieve long and robust tracking. The research achievements of this project will promote deep learning based visual tracking research and provide the key technology for the related applications in the intelligent video processing.

视觉目标跟踪面临的主要挑战来自于复杂场景中各种因素对运动目标的干扰，而解决这一问题核心在于建立鲁棒的在线目标表观模型。鉴于深度测度学习跟踪方法在判别式表观特征方面的强大学习能力，及其在提升跟踪精度和速度上的优异表现，本项目拟基于深度测度学习，设计共享卷积神经网络结构，并将多尺度样本区域特征映射为相同维度，以实现跟踪中大规模样本特征的快速抽取；深入研究并优化孪生网络结构，直接从样本中训练嵌入测度函数，以提取可区分目标和背景的判别式特征；针对随时域变化的目标，采用全连接层高层语义特征，并设计合理的测度函数，构建有效的目标跟踪方案；开展融合测度学习和分类损失的多任务学习视觉跟踪，以增强特征学习的多样性，获得更优的判别式目标表观模型，提高运动目标位置和尺度估计的准确性，实现持续稳定的跟踪。本课题的研究成果将丰富并发展深度学习视觉跟踪的理论和方法，为智能视频处理中的相关应用提供关键技术。

本项目利用深度测度学习在训练判别式表观特征方面强大的学习能力和在提升跟踪精度和速度上的优异表现，研究获得更优的判别式目标表观模型和跟踪方法，提高目标位置和尺度估计的准确性，实现持续稳定的跟踪。主要内容包括：在孪生网络目标跟踪方面，提出了一种基于对比损失的单流深度相似度学习框架，以提取判别式特征；针对孪生网络跟踪相似矩阵的计算缺乏长域依赖导致跟踪漂移，提出一种具有非局部相关注意力的孪生网络跟踪模型，将非局部相关注意模块引入双向特征融合模型，提高了相似矩阵的全局建模能力。在基于相关滤波器的目标表观特征提取方面，提出了基于上下文子空间约束的判别式表观模型以提高模型的判别能力，该方法通过SADMM有效求解以提高算法精度；通过循环矩阵可转换成频域对角阵的性质，提出了一种基于带权重循环样本的快速求解SVM跟踪模型。在基于小样本学习的目标跟踪方面，提出了基于原型注意力的目标跟踪方法，将目标原型注意力与待跟踪视频的特征图进行融合，学习判别力更强的目标表示；提出采用多域多分类方法从多个视频中识别出不同的感兴趣目标，以训练更具判别性的目标表观特征；针对准确标注跟踪数据存在高标注强度和高代价的局限性，提出一种模拟目标运动的数据增强策略，为目标跟踪合成更有效的训练数据，达到用小规模数据集学习高性能的跟踪器。在连续学习的知识灾难性遗忘防止方面，提出了一种多标准选择策略来稳定和增强基于回放的连续学习算法的性能，所选择的样本子集具有最优的综合表征能力。本项目共发表论文13篇，其中CCF A类会议论文2篇，中科院1区2篇，CCF C类期刊2篇，中科院2区1篇。本项目的研究成果将促进基于深度学习视觉跟踪理论和方法的发展，为智能视频处理中的相关应用提供关键技术。