支持多类型深度网络知识迁移的目标跟踪研究

Video object tracking now is still one of the research hotspots in computer vision，because it has very important application value in military and civilian fields. The object image is always affected by the changes of illumination and shape, occlusions and other factors，it is very difficult to achieve long and reliable object tracking under different complex conditions. To solve this problem, this project is based on deep learning theory, object tracking under different complex conditions is researched by conquering the detection based on neighborhood cross difference deep network, correlation filtering tracking based on feature fusion of convolution layer in the CNN, and location prediction based on object history information captured by RNN. The innovation of the project is: neighborhood cross difference deep network is trained offline, it will act as a general matching function to match any object; The different feature layer in the convolution network based on feedback and lateral inhibition is fused under the tracking framework of correlation filtering, this will make it possible to apply any object deformation; RNN model on the video sequence is built to solve the selection problem of multi candidate object; Multi-type deep network is used in this project, the proposed model will contain multi-class prior knowledge by transfer, thus a more robust object tracking model is built. This study will promote the development of theory, technology and application in deep learning, computer vision and video surveillance.

视频目标跟踪由于在民用和军用领域具有重要的应用价值，目前仍是计算机视觉的研究热点之一。由于目标易受到光照、遮挡及形变等因素的影响，想要实现在多种复杂条件下长时间准确的跟踪仍然非常困难。针对该问题，本项目将以深度学习理论为基础，以基于邻域互差分深度网络的检测，基于CNN卷积层特征融合的相关滤波跟踪和基于RNN目标历史信息的位置预测为攻关内容对多复杂条件下的目标跟踪问题进行研究。创新之处：对所构建的邻域互差分深度网络进行离线预训练，使其充当通用匹配函数用于匹配任意目标；将构建的基于反馈和侧向抑制的卷积网络中的不同特征层在相关滤波的跟踪框架下进行融合，使其尽可能适用任何形变；构建视频序列上的RNN模型来解决候选目标的评价选择问题；使用多类型深度网络，通过迁移使其具备多类别先验知识，从而可建立更加鲁棒的目标跟踪模型。本项目的开展将有利推动深度学习、计算机视觉和视频监控的理论发展及技术应用。

本项目主要面向智慧城市应用需求，立足于智能视频监控，针对在多种复杂条件下实现长时间稳定可靠的跟踪仍非常困难的问题，提出了一种支持多类型深度网络知识迁移的目标跟踪方法，主要研究内容包括：建立基于邻域互差分深度网络的检测器，基于CNN卷积层特征融合的相关滤波跟踪器和基于RNN目标历史信息的位置预测模型等。.在基于邻域互差分深度网络的检测器中，提出了多阶段无锚框孪生网络检测器模型，通过引入无锚框策略，降低了网络参数，也充分利用正负样本进行训练；设计了特征提纯模块，实现了扩大感受野的同时，更强化了特征的表征能力。开展了基于跨层注意力机制与多尺度感知检测器的研究，对低层特征采用空间注意力和对高层特征采用通道注意力，细化了特征信息，并对语义信息丰富的高层特征图，给予激活响应较大的通道分配更多的权重，提高了目标检测能力。.在基于CNN卷积层特征融合的相关滤波跟踪器中，提出了基于多支路信息交互的双孪生网络架构目标跟踪模型，分层实现了模板和搜索区域、分类支路和回归支路的全局特征交互，提高了孪生网络跟踪器的性能。开展了基于空频注意力机制的研究，设计了并行空频注意力模块，充分挖掘目标图像的表观特征，增强了抗相似物干扰的能力。继续开展基于自适应膨胀卷积融合研究，提出了自适应膨胀卷积融合来应对目标尺寸的变化，将多尺度映射算法中自适应融合思路融入其中，提高了跟踪的准确性。.在基于RNN目标历史信息的位置预测中，开展了基于时空记忆网络的研究，分别提取历史记忆帧和搜索帧的特征，将历史帧特征存储到时空记忆网络中，并从中顺序地读取多个历史帧特征后进行自适应融合。开展了基于RNN的位置预测模型研究，借助LSTM网络，设计了锚框选择模块，实现了锚框由粗到精的筛选，极大程度地减少了候选锚框的数量。.本项目成果提高了复杂条件下目标跟踪的精度、实时性和鲁棒性，研究成果可用于智慧城市建设中的智能视频监控等实际应用系统，具有重要的理论意义和广阔的应用前景。