分层视觉模型及表观复杂变化的视觉目标跟踪方法研究

Visual tracking is a hot issue in computer vision, but in current, most of the applications are limited to the condition of target's appearance's simple changes. In real applications, both the complex environment and target's rapid structural and appearance changes present the current tracking techniques with serious difficulties to be applied in wider range of applications. Focusing on the above problem, this project will make major research on developing a robust layered visual model and a regional sampling based efficient and accurate tracking algorithm. Firstly, the target is described as a set of patches, and a layered visual model is constructed by integrating local visual, neighbor structural, and global visual features, to provide a robust representation of target's complex appearance. Secondly, a regional sampling probability model is designed in target's state space to optimize particles' sampling procedure, so as to deal with local patches' smooth and abrupt motions and realize an effective and accurate tracking. Finally, target's whole spatial-temporal trajectory is output in the video sequence. The results of this research is applicable for the tracking problems with various scenes and appearances, will provide information and decision support for visual analysis and understanding in a higher level, and have great theoretical and practical value for the development and practicability of visual analysis techniques.

基于视频图像序列的目标跟踪是计算机视觉的热点问题，然而目前大多数的应用条件局限于目标外观的简单变化，这使得许多实际应用受到限制。本申请针对复杂场景下，目标存在复杂结构和外观变化这一制约跟踪技术付诸更广泛应用的难题，研究鲁棒的分层视觉模型和高效精确的基于分区域采样的跟踪算法。首先，将目标整体表示为多个子块的集合，构建联合局部视觉特征、邻域结构特征和全局视觉特征的自适应分层视觉模型，以对目标复杂的表观进行鲁棒建模；其次，对目标的状态空间建立分区域采样概率模型，优化粒子滤波器的粒子采样过程，从而处理具有复杂结构变化的目标局部子块突变和平滑运动共存的问题，并达到高效精确的跟踪；最后，在视频序列上获取目标运动完整的时空轨迹。本研究成果适用于具有各种复杂场景和目标外观的视频跟踪问题，将为更高层次的视频分析和理解提供有效的信息和决策支持，对于推动视频运动分析的发展和实用化具有重要的理论意义和实用价值。

基于视频图像序列的目标跟踪是计算机视觉的热点问题，尤其是对非刚体运动的分析在理论和实际应用中都有着非常重要的意义。但是目前大多数的应用条件局限于目标外观的简单变化，这使得许多实际应用受到限制。本课题针对复杂场景下，目标存在复杂结构和外观变化这一制约跟踪技术付诸更广泛应用的难题，研究鲁棒的分层视觉模型和相应的目标跟踪定位算法，获取目标完整的时空轨迹。课题的工作主要从如下两方面开展：首先，将目标表示为多子块集合，构建结合局部视觉特征、邻域结构特征和全局视觉特征的分层视觉模型。其中，对区块的划分采用了手动划分和自动划分两种方式，并构建了相应的分层模型。对于局部和全局视觉特征的选取，课题对基于进化算法的优化方法进行研究，构建优化模型，达到对特定视频自适应选取特征的目的。其次，对上述建立的视觉模型，在贝叶斯概率框架和集成跟踪框架下进行跟踪算法的设计。具体而言，在粒子滤波器框架下，建立分区域采样概率模型，优化粒子采样过程，处理目标局部突变运动，达到高效精确的跟踪。在集成跟踪框架下，通过对分类器设计和集成更新方法的研究，实现稳定鲁棒的跟踪。本课题的研究建立一个鲁棒的视觉跟踪系统。该系统PAMI 2015 Benchmark数据集的各种复杂情况的视频下进行了测试，并与当前领域较优的算法采用ACLE，AOR以及成功率进行了量化对比，验证了课题研究成果对复杂场景下极具外观变化的目标进行跟踪定位的有效性和准确性。课题所构建的基于分层视觉模型的跟踪系统对于视频序列感兴趣目标的鲁棒稳定跟踪，能够为更高层次的视频分析和理解提供信息和决策支持。课题按照任务计划书执行，达到了预期的研究目标，取得了预期的研究成果。发表学术专著1部，发表学术论文6篇，另已接收1篇，获奖1项，协助培养博士生2人，硕士生6人。