运动不确定场景下目标深度建模及跟踪方法研究

Developing the capability of appearance model learning plays an important role in visual long-term tracking. There is still a core problem to be solved that is using deep network to design model with motion uncertainty circumstance. At present, numerous methods pay attention to appearance model and deep learning for visual tracking on the premise of the motion smoothness assumption. In practice, when the target undergoes motion uncertainty, the motion constrains are relaxed. On this occasion, the traditional tracking methods would face the new challenges. In this application, based on correlation filter, hybrid system, Residual learning theory and Generative Adversarial Network (GAN) theory, the key problems on deep model are discussed. The goal of all the proposed methods is to enable them to adapt the motion uncertainty well. The main content includes: The tracking framework combined ALO method and correlation filter theory using hybrid system; The modeling method based on global motion context and deep residual learning; Using GAN theory and the sample’s feature resulting from motion uncertainty, the research for generating the training samples is constructed. The study provides the novel methods for long-term tracking with motion uncertainty, which makes these methods have the capability of adapting the motion uncertainty and promotes the progress of applying tracking methods to in real world.

探索外观模型学习能力是目标持续性跟踪的主要任务，其中不确定运动目标深度建模是尚未解决的核心问题。目前，大量方法在运动平滑条件下，研究基于外观建模和深度学习的跟踪方法。实际中，当运动不确定性场景出现时，目标运动约束条件被松弛化，给这些跟踪方法研究带来艰难的挑战。本项目基于多层相关滤波、混成系统建模方法、残差学习理论以及生产对抗网络理论，研究基于深度建模跟踪方法中的关键问题，提出和实现有效的算法，以达到提高算法适应不确定运动场景能力的目的。主要研究基于蚁狮最优化和多层相关滤波的混成目标跟踪框架；基于运动上下文的深度残差学习的目标建模方法；基于生成对抗网络策略，结合不确定运动引发的样本特点，研究深度目标跟踪方法中训练样本的生成方法。本项目的研究为运动不确定场景下目标持续性跟踪提供了新的理论成果和方法基础，增强了跟踪算法对松弛运动约束环境的自适应能力，对提高视频目标跟踪算法的通用性具有重要作用。

本项目以视频跟踪过程中目标不确定运动场景下目标突变运动，背景干扰，外观变化等挑战性问题为主要研究内容，结合区域建议，目标-干扰感知、记忆网络和深度学习等相关理论，旨在使跟踪算法通过对目标不确定运动场景中对目标运动模型及深度建模问题的有效解决，增强算法对视频目标的持续性跟踪能力。项目提出引入语义信息、目标信息对区域建议进行细化，以获得一些高质量的能够覆盖不确定运动场景下目标真实运动状态的候选建议，解决了运动不确定时目标丢失问题，获得更高的跟踪精度；项目在不确定运动场景中建立目标及干扰物模型，将目标感知和干扰感知结合建立一个强大鲁棒的外观表征模型，从干扰感知、学习损失函数设计和深度学习方法等多方面出发，很好地解决了不确定运动场景下目标持续性跟踪任务；项目利用记忆网络、残差学习及在线更新损失等多种策略深度研究了目标不确定运动场景下目标状态表征的问题，从融合记忆形式、自适应更新策略、轻量化记忆网络等多种角度出发，设计挖掘目标状态变化的视觉目标跟踪算法，从而提高跟踪器对目标持续性跟踪能力；大量的实验仿真效果和测试数据表明，项目提出的相关方法能够较好地解决了不确定运动场景中目标运动模型及深度建模问题，保障了算法具有目标持续性跟踪的能力。