基于可伸缩自适应距离度量与支持向量字典学习的目标跟踪

Object tracking plays key roles in computer vision for its practical applications, e.g., video surveillance, etc. Developing a robust tracking algorithm is still nontrivial due to several challenging factors, such as background clutters, fast motions, and so on. There are some key issues in object tracking including developing an efficient target template obtaining and updating, designing a robust target appearance model. This project aims to address key issues in object tracking including developing appearance representation methods, and so on. A robust tracking algorithm is proposed based on these key issues, which is robust to complicated appearance variations and achieves accurate tracking results. The main subjects that are covered in the project include: (1) an effective target template obtaining and updating scheme based on support vector guided dictionary learning. A learnt dictionary can capture all the appearance variations until the current frame. (2) an effective target representation based on object dictionary templates affine hull and adaptive metric learning. The affine hull model of the template dictionary can cover all target appearances by affine combination of dictionary templates. The distance metric learning can learn the variations of target appearances and scene variations. (3) a robust observation likelihood function based on onlien distance metric learning. A more accurate likelihood evaluation is obtained by the learnt distance metric matrix. This project further enriches the theory of object tracking. The new tracking method that is proposed in this project, will be further applied in video processing such as video surveillance.

目标跟踪是视频监控等视觉领域中的关键技术。受复杂背景、快速运动等因素的影响，设计一个适合所有场景的跟踪算法具有很大的难度。设计有效的目标模板获取与更新、建立鲁棒的目标表示等是其中的关键。本课题针对如何建立有效的目标表示等进行研究，探索在复杂环境下能有效处理复杂表观变化、跟踪性能鲁棒的算法。研究内容包括：（1）探索基于支持向量字典学习的目标模板获取与更新。学习得到的字典能够捕获跟踪过程当前帧之前的各种表观变化。（2）设计基于目标模板字典仿射包与自适应度量学习的目标表示。目标模板字典的仿射组合涵盖了目标所有可能的表观，度量学习过程可以学习跟踪过程中目标表观和场景变化。（3）设计基于在线距离度量学习的目标观察概率估计。基于度量学习的距离计算可以获得更精确的观察概率估计。本项目为目标跟踪提供新的研究思路，也为视频监控等应用领域提供理论基础和关键技术。

目标跟踪是计算机视觉中的一项基础性研究工作，近年来受到广泛的关注并得到快速发展。它以目标检测等为前提和基础，对视频中的感兴趣的目标进行准确的定位和状态估计。并在进一步处理的基础上对目标进行后续的理解和其他应用。对它的研究可以为目标识别与分类、场景分析和理解等后续其他视觉研究任务提供研究基础和研究依据。. 本项目针对目标跟踪中的目标特征提取、特征骨干网络模型建立、特征融合与相似度计算等问题进行研究。提出了多种目标跟踪方法。主要有：（1）在孪生网络框架下，提出一种结合卷积神经网络模型与注意力机制的特征提取骨干网络模型；（2）在孪生双分支跟踪框架下，提出一种可学习空间与通道转换的视频目标跟踪算法；（3）基于贝叶斯矩阵分解的视频跟踪，将收集的一组目标模板样本分解成一个基本矩阵和一个系数矩阵，由基本矩阵中的原子进行目标候选块的近似表示；（4）提出一种基于卷积神经网络特征提取子网络的深度过参数卷积层，设计一种联合卷积方法；（5）提出一种基于卷积神经网络与联合字典对学习的目标跟踪算法，该CNN模型包括三个卷积层和两个全连接层；（6）提出一种基于判别式字典学习的目标表示方法，一个目标候选块由一个在线学习得到的字典的原子的线性组合进行表示；（7）基于卷积神经网络和洗牌注意力，提出的跟踪算法使用一种基于图注意力匹配的相似度计算方法；（8）提出一种基于卷积自注意力的特征融合网络模型，该卷积自注意力模块主要包括多个基于ResNet瓶颈的多头自注意力模块；（9）设计一种有效的目标表示模型，并提出一种鲁棒的跟踪算法；（10）在孪生网络跟踪框架下，提出一种基于频域中通道注意力机制的目标跟踪方法。. 以上研究内容和提出的跟踪算法为智能交通导航、智能视频监控等视觉应用领域提供关键技术和技术支持，也为目标跟踪的发展研究提供新的研究思路，将进一步推动目标跟踪的发展和相关技术在视觉领域中的应用。