基于时空特征深度学习的无约束场景视觉目标跟踪研究

In the face of the complex, unknown real scene, the existing methods of visual object tracking are difficult to meet the demand of efficient and robust performance. Aiming at satisfying the requirements of robust visual object tracking in unconstrained environments, this project will study on robust tracking with spatio-temporal feature. More specifically, by means of the amazing feature representation ability of deep learning, firstly, we will extract effective spatio-temporal information from massive video data; through exploring the representation of object spatio-temporal feature which can adapt different scenarios, we construct a discriminant model for object-background binary classification. Secondly, we propose a low-cost deep neural network with structural constrain on network weights, and combine with a candidate sample selection to reduce the overall computation cost. Furthermore, we establish an update strategy by using reliable training sample generation to enhance the robustness of the online tracking. Intensive studying on this subject will offer powerful research foundation and technical support for the applications such as massive video content analysis, intelligent transportation video processing and so on.

面对纷繁复杂、未知的真实场景，现有视觉目标跟踪方法难以满足快速、稳健跟踪的需求。本项目以无约束场景下的视觉目标跟踪为研究对象，开展基于时空特征深度学习的稳健跟踪方法研究。首先，利用深度学习强大的特征提取与表达能力，从海量视频数据中学习视觉目标的时空特征表示。通过挖掘适应不同场景的目标时空特征描述方法，建立目标/背景二元分类判别模型；其次，利用网络权值的结构化限定，设计低资源开销的深度神经网络结构，并结合候选样本筛选降低跟踪的整体复杂度；最后，提出可靠的训练样本生成策略完成判别模型的在线更新，实现快速、稳健的视觉目标跟踪。该项目的研究可以为提升视频大数据的内容分析、交通监控视频大数据的智能处理等应用系统的性能提供研究基础和技术支撑。

本项目针对无约束场景视觉目标跟踪的应用需求，以深度学习为主要技术手段，开展了图像/视频深度时空特征提取与表达、视觉目标判别模型与跟踪方法，以及低资源开销的深度神经网络优化三方面开展研究，并搭建了视觉目标跟踪演示验证系统，对项目提出的模型和方法进行测试评估。围绕研究内容，取得的主要成果包括：⑴分别从深度神经网络的架构设计、特征融合表征方式等技术角度，对二维图像深度特征、三维视频深度时空特征、多模态图像深度特征的提取与表达进行了深入探讨，提出了一系列的图像/视频深度特征提取与表示模型。代表性成果为注意力引导的视觉深度特征提取与表示方法。⑵从高效目标跟踪处理框架、跟踪模型在线更新机制等技术角度，对跟踪器的深度网络结构、训练方式进行优化，建立了不依赖目标语义类别的目标/背景判别模型。在此基础上，提出了基于持续学习以及基于竞争学习的视频目标跟踪方法，提升了目标判别模型的场景适应能力。⑶针对通用深度网络模型及其特征规模庞大的问题，提出了轻型化深度网络设计及深度特征紧凑表示方法，在不影响算法处理精度和鲁棒性的同时减少模型整体的计算复杂度。⑷面向无人机视觉导航及智能交通监控的目标跟踪应用场景，搭建了实验验证平台，对提出方案的有效性进行了评测。本项目全面、按时完成了计划书中所规定的研究内容，达到了预期的指标要求。在国内外学术期刊和国际会议上发表论文12篇，其中SCI检索5篇，EI收录9篇；申请国家发明专利4项；培养博士生1人，硕士生4人。本项目的研究成果可广泛用于视觉导航、智能安全监控、智能交通视频处理及互联网海量视频内容分析等领域。