目标跟踪中的时空上下文建模方法研究

Most traditional object tracking algorithms usually only focus on how to design appearance model of the target or background, while less using the spatio-temporal context information. Thus, it is very difficult for these methods to well handle the challenging factors such as appearance variation, severe occlusion, and illumination changes. The objective of this project is to design robust spatio-temporal context model for object tracking. Thanks to the spatio-temporal information, the proposed model is able to effectively deal with the factors that affect the performance of the system, thereby leading to a robust tracking result. The main research contents include: How to design effective spatio-temporal context representation model that can effectively handle appearance variation, occlusion or illumination changes; how to fuse these representation models; by exploring the law of occlusion, how to design robust anti-occlusion context model; by exploiting the characteristic of context, how to design efficient and effective level set segmentation algorithm to accurately separate the target from background. We will build a demo system based on the research results.

大部分传统的目标跟踪算法只侧重于如何设计目标或目标与背景的表观模型，忽视了时空上下文信息的利用，因而难以有效处理复杂场景中的形变、遮挡、光照变化等因素。本项目旨在研究目标跟踪中的时空上下文建模方法，借助时空上下文信息有效处理以上影响目标跟踪性能的因素，提高跟踪的鲁棒性。主要研究内容包括：如何建立有效处理形变、遮挡、光照变化等影响因素的时空上下文表达模型；如何设计融合策略以充分利用不同上下文表达模型之间的优势；探索遮挡的规律，以指导设计抗遮挡上下文表达模型；利用目标跟踪中的时空上下文特性来设计快速、有效的水平集分割算法以通过分割目标来精确估计目标尺度等；基于研究成果搭建目标跟踪的原型系统。

由于复杂视频场景中目标表观常受到剧烈光照变化、严重遮挡、复杂背景干扰、目标非刚性形变等复杂因素的影响，如何建立稳健的目标表观模型是确保跟踪性能稳定的一个重要因素。本项目设计了一系列基于时空上下文表观学习的鲁棒跟踪算法，借助目标与周围背景之间的时空上下文关系有效解决了以上影响跟踪性能的关键因素，提高了跟踪鲁棒性。项目组在稳健表观模型设计、多特征融合、自适应压缩投影、抗遮挡机制设计、以及水平集分割模型优化求解算法等方面进行了深入研究，取得了多项成果，发表和录用论文15篇， 包括IEEE Trans 汇刊5篇，Pattern Recognition、Computer Vision and Image Understanding、Neurocomputing、Remote Sensing Letters 各 1篇，Electronics Letters 3篇, 中文核心期刊1篇，国际会议论文2篇。其中，SCI（E）源刊12篇，论文总引用超过250次，2篇论文入选ESI高被引论文。申请发明专利5项，授权实用新型专利1项。发表（录用）高质量论文数和申请专利数均超出验收指标。并基于这些研究成果在人脸配准、大规模视频目标检测等方面进行了拓展研究：研发的人脸形状跟踪算法在国际300 Videos In-The Wild Challenge中取得了算法竞赛第一名的成绩；研发的视频目标检测算法连续在2016、2017年国际ImageNet大规模图像分类和检测比赛中的视频物体检测中取得了第一名的成绩；研发的人脸配准算法在CVPR 2017的国际人脸配准算法竞赛（300 Faces In-The-Wild-Challenge）中获得了第一名。项目研究成果不仅对提升现有目标跟踪算法的稳定性具有重要意义，而且在智能视频监控、智能交通以及视频检索、人机交互等领域具有广泛的应用前景。