基于上下文协作、多级观测和数据关联的复杂场景多目标跟踪

Vision-based multi-target tracking (MTT) is a significant research topic in intelligent surveillance system. Collaborating track mechanism that combines target appearance and scene contexts proves an effective way in MTT system to handle partial and total occlusions, remove disturbances induced by similar targets, manage continuous target appearance changes under complex scenarios etc in that it improves the robustness, accurateness and real-time processing of the tracking system. Taking into account all these factors, this project will focus on the following three aspects. Firstly, we will analyze the part-whole co-occurrence feature and model the target state to stuy spatio-temporal target appearance context modeling and updating. Secondly, from the object and collaboration aspects, we will utilize the part-whole state parameters coincidences of the target itself and among the targets to study multi-target detection, correlative information mining and collaborating description. Thirdly，from the target group, target and collaboration levels, we will investigate multi-target data association, observation fusion and tracker optimizing. The project aims to propose a set of effective approaches to target appearance and scene contexts mining and description of the MTT under complex scenarios, and then put forward multi-target detection and data association approaches. The ultimate objective is to provide a series of effective theories and methodologies to balance the robustness, accurateness and real-time processing of the MTT and to supply theoretical support for the MTT applications.

对基于视觉的多目标跟踪(MTT)研究是智能视频监控系统的重要研究内容。融合目标外观和场景上下文的协作跟踪机制用于MTT问题的研究中，可有效突破复杂场景下部分遮挡、全遮挡、相似特征目标干扰、持续外观变化等问题，并使对MTT鲁棒、准确和实时性问题的解决得到改善。本项目研究内容为：(1)利用目标外观局部和全局共生特征分析、状态建模，研究空时域目标外观上下文观测建模和更新；(2)从目标级和协作级两个层面，分析目标、目标间全局和局部状态参数一致性，研究多目标检测、关联信息挖掘及协作表征理论；(3)从"目标组"级、目标级和协作级三个层次，研究多目标数据关联、观测融合和跟踪优化。项目研究目标为：力求提出一套有效的适用于复杂场景MTT的目标外观和场景上下文挖掘和表征方法，并在此基础上提出多目标检测和数据关联方法，为建立更有效解决MTT鲁棒、准确和实时性间平衡关系的理论和方法，为MTT实用化提供理论支持。

基于视觉的多目标跟踪(MTT)研究是智能视频监控系统的重要研究内容。针对复杂场景中部分遮挡、全遮挡、相似特征目标干扰、持续外观变化等问题，我们将融合目标外观和场景上下文的协作跟踪机制用于MTT系统，并对系统的鲁棒、准确和实时性能提高进行深入研究。(1)首先研究提高目标描述力的外观上下文特征、显著特征、全局和局部特征，以及目标建模和模型更新理论，首次提出色彩-边缘共生特征建模、运动色彩显著度特征建模、基于遮挡矩阵的局部模型更新方法，并根据目标边缘距离、有效质心距离的空时域变化规律，提出目标尺度自适应更新方法；(2)提出基于阈值自适应和运动分析、基于多方向显著特征融合的多目标检测方法，并对空时域关联信息挖掘和协作表征理论进行研究，首次提出利用帧内聚类和帧间子区域关联挖掘稳定特征、利用稀疏可靠特征进行子区域建模、融合稳定子区域观测建立目标实时描述的方法；(3)对多目标数据关联和观测融合进行了理论研究，首次提出基于目标间全局关联、局部协作推理遮挡、全局和局部质心转移的多级关联方法，以及基于有效信息占空比加权的子区域观测融合方法，并针对目标运动状态，如交互遮挡等，采用跟踪方案自动切换策略，以实现MTT系统优化。本项目研究提出了一套有效的适用于复杂场景MTT的目标外观和场景上下文挖掘和表征方法，并在此基础上提出多目标检测和数据关联方法。在一定程度上，为建立更有效解决MTT鲁棒、准确和实时性间平衡关系的理论和方法，为MTT实用化提供了理论支持。