面向鲁棒目标跟踪的CNN特征联合表示与融合方法研究

To address challenges of existing object tracking methods, this project combines traditional machine learning methods and deep learning, mine the potential abilities of feature representation and fusion of different CNN convolutional layers. For feature representation of CNN convolutional layers, to learn compact representation of hierarchical convolutional features, use joint sparse representation to model statistical properties of multiple convolutional layer features, mine their relation and complementary, reduce their redundancy. To learn discriminative representation of hierarchical convolutional features, model context information under the joint sparse representation, introduce the consistent constraint of multiple convolutional layer features to improve their robustness. For fusion of CNN multiple convolutional layers, fuse similarity computing of features into CNN, study end-to-end adaptive fusion of multiple convolutional layer. Further, study multiple branch attribute-aware fusion methods to address the problem of insufficient training samples when fine-tuning and updating CNN models. In summary, to improve tracking performance, this project fully mines the hierarchical representation abilities of CNN features from both the feature representation and fusion prospectives. The study of this project is of great scientific importance to the progress of visual tracking its and practical applications.

为解决现有目标跟踪方法面临的挑战，本项目拟将传统的机器学习方法与深度学习方法相结合，充分挖掘CNN不同卷积层在特征表示和决策融合方面的潜力。针对CNN多卷积层的特征表示问题，为学习层次化卷积特征的紧凑表示，采用联合稀疏表示方法建模多卷积层特征的统计特性，挖掘多卷积层特征的相关性和互补性、降低多卷积特征的冗余；为学习层次化卷积特征的判别表示，在联合稀疏表示框架下建模目标的上下文信息，引入多卷积层特征的一致性约束提高判别表示的鲁棒性。针对CNN多卷积层在决策级的融合问题，将特征相似性计算融合进CNN框架，研究端到端的多卷积层自适应融合方法。为进一步提升跟踪性能，研究多分支属性相关的融合方法以解决CNN模型微调和更新时样本不足的问题。综上，从特征表示和决策融合两方面充分挖掘CNN多卷积的层次化表示能力，提高目标跟踪的性能。本项目的研究，对目标跟踪理论的发展和实际应用具有重要的理论和现实意义。

本项目面向现有基于深度学习的目标跟踪方法面临的问题，研究基于在线决策理论Hedge的多层特征融合算法，使具有较高分辨率、利于空间定位的浅层特征与具有强语义判别力的深层特征互相补充，提出自适应Hedge的目标跟踪算法；提出了基于视频属性的多分支卷积神经网络，使用多个不同的神经网络分支(即不同的参数)来学习目标在不同挑战属性(光照变化、相机抖动等)下各自的特征表示；提出了一种基于局部和全局人脸先验知识的跟踪方法。局部先验模块用于指导深度模型学习眼睛、鼻子和嘴巴的特征表示，用以从局部差异上区分不同的人脸。全局先验模块从完整面部图像学习特征表示；提出了一个简单而有效的视觉跟踪框架(名为Siamese Box Adaptive Network, SiamBAN)，它利用了全卷积网络(FCN)的表达能力。SiamBAN将视觉跟踪问题看作是一个并行分类和回归问题。