基于在线对抗学习的视觉目标跟踪研究

Visual tracking is a fundamental problem in computer vision. It has not only become an important bridge between object detection and video high-level behavioral semantic in organizing video structure, but also provides a significant basis for perceiving environment and action control with decision in advanced artificial intelligence. Therefore, there are many applications including intelligent monitoring, human-computer interaction, automatous driving, where object tracking plays an important role. It is still challenging in handling complex object appearance changes caused by factors such as illumination variation, heavy occlusion, deformation, background clutter, etc. Focusing on online visual tracking in the complex environment, the paper will study on robust visual tracking with online adversarial learning. Specifically, we first design a novel adversarial autoencoder network, which learns the feature representation from many video datasets, and then choose effective training samples and generate adversarial samples for constructing the object appearance model. Secondly, we propose an online clustering algorithm with variational autoencoder to mine the spatial-temporal context information in the tracking process. Furthermore, through analyzing the time complexity of each component, we propose online algorithm optimization to speed up the tracker for fast, accurate and robust tracking. The research of this project will establish a series of methods on object tracking, so as to build a foundation for real applications of intelligent video analysis, and advance academy research.

视觉跟踪是计算机视觉的经典问题。它是智能视频分析过程中连接目标检测与高层行为语义的重要桥梁，也为环境智能感知和行为决策提供了重要依据。因此，在智能监控、人机交互、无人驾驶等现实场景中有着广泛应用。由于目标面临各种因素（如光照变化、严重遮挡、形变、复杂背景等）的干扰，跟踪变得很有挑战性。本文以复杂环境下在线视觉目标跟踪为研究对象，开展了在线对抗学习的鲁棒跟踪方法研究。首先，设计新型的对抗卷积自编码器网络，从大量视频数据中学习视觉目标的特征表示，进而选择有效样本和生成对抗样本，并构建目标观测模型；其次，提出在线变分自编码聚类算法挖掘跟踪过程中的时空上下文信息，抑制漂移问题。最后，通过分析各部件的时间复杂度，提出在线算法优化的方法，对跟踪器进行加速，实现快速、准确和鲁棒的视觉目标跟踪。本项目的研究将建立对抗学习跟踪的一整套方法，从而为智能视频分析的实际应用打下基础，同时推动学术研究的发展。

视觉目标跟踪是一个计算机视觉的经典问题，由于目标面临着各种因素（如光照变化、严重遮挡、形变、复杂背景等）的干扰，跟踪变得有挑战性。为此，本项目主要研究内容包括：1）提出了特征蒸馏跟踪模型方法，设计了一种基于教师-学生范式的特征蒸馏网络结构和移位-拼接卷积核，利用知识迁移学习方法将预训练好的大深度网络模型在保持高层特征表达和高层语义空间分辨率情况下进行模型压缩， 在不损失跟踪性能下跟踪速度提高5倍以上；2）设计了动态协同跟踪算法，该框架通过联合训练目标回归子模块、相似物抑制模块和最大间隔关系子模块来学习目标表观模型，引入了最大间隔关系模块来充分利用判别映射空间中的目标表观表达和相似物表观表达之间的差异从而验证了方法的有效性；3）提出了无边界效应的快速深度核相关滤波跟踪算法，当前第一个不但取得了高定位精度，而且可以实时速度运行的基于相关滤波的目标跟踪算法；4）构建了对抗深度学习框架，由全卷积孪生神经网络（回归网络）和判别分类网络组成，通过对抗式学习对回归网络和分类网络进行联合优化，证明了所提跟踪算法的有效性；5）提出了基于增强模板更新的孪生回归跟踪算法，收集了一系列模板，并学习如何基于actor-critic框架来维护它们。在该框架中，通过深度强化学习训练的参与者网络根据每一帧的跟踪结果有效地更新模板，还在线更新了孪生回归跟踪器，以适应目标外观的变化，在标准基准上的实验结果表明了模板更新和网络更新的有效性；6）研发了孪生注意图跟踪算法，设计了基于图卷积网络的孪生跟踪器，一种基于深度强化学习的可学习级联回归算法来细化预测的边界框架，在七个具有挑战性的基准数据集上取得了良好的跟踪性能；7）构建了首个反无人机跟踪公开数据集。这些研究工作有效地拓展了目标跟踪算法的有效性边界，推动了学术研究的发展，并为智能视频分析的实际应用打下了理论基础。