基于霍夫森林—部分有向条件随机场的视频多目标跟踪方法研究

Multi-target tracking in complex scenario is a challenging problem, due to changing of object appearance and motion patterns, occlusion, etc. To cope with these fundamental difficulties, this project will focus on tracklets association method based on Conditional Random Field (CRF). The research mainly includes: (1) Modeling of multi-target tracking. Partially Directed Conditional Random Field (PDCRF) is proposed, by which tracklets association is formulated as a multiple labeling problem. As an extensions of traditional CRF model, PDCRF not only considers the association among tracklets, but also represents the relationship between two tracklet pairs. (2) CRF inference based on HF—PDCRF framework. On one hand, provided the two ratios of proposal and posterior distributions, MH reversible jumps and the CRF inference can be achieved by SW-cuts algorithm. On the other hand, by incorporating appearance and motion flow properties through Hough forest learning, we estimate reliable probabilities in a nonparametric manner, and the estimated probabilities are used to compute the acceptance rate of MH jump. In this way, CRF learning and inference are unified in HF-PDCRF computational framework, and traditional method for solving CRF graph problem is simplified. (3) A novel occlusion reasoning model is developed. Based on occlusion reasoning, we design a matching scheme between an isolated detection and a particular target trajectory, so that occlusion issue can be tackled effectively.

受目标外观和运动模式的变化、遮挡等诸多因素影响，复杂场景下的多目标跟踪颇具挑战性。本项目利用随机场图模型，研究新的多目标轨迹关联方法，主要内容包括：（1）多目标跟踪问题建模。提出部分有向条件随机场模型（PDCRF），将多目标轨迹关联问题转化为随机场模型下的多类别标定问题；PDCRF模型是传统CRF模型的推广，不仅考虑轨迹片之间的关联，同时还刻画了两对轨迹对之间的关系。（2）基于HF—PDCRF框架的CRF推理。一方面，SW-cuts算法根据建议分布、后验概率的比值，实现MH跳转和CRF推理；另一方面，通过霍夫森林学习，融合目标的外观和运动特征，以非参数形式为MH跳转接受率的计算提供可靠的概率估计；HF—PDCRF将CRF模型学习和推理统一到一个框架之中，简化了传统的CRF模型求解过程。（3）研究新的遮挡推理模型，在此基础上设计“孤立点”响应与目标轨迹的匹配策略，提出有效的遮挡问题处理方法。

条件随机场（CRF）因其有效的结构化表达特性，被广泛应用于多目标跟踪（MOT）领域。①本项目在霍夫森林-条件随机场框架下，建立了适用于多目标轨迹关联问题的部分有向条件随机场数学描述，基于霍夫森林学习策略构建条件随机场各阶势函数；提出改进的SW-cut跳跃状态推理策略，将CRF模型学习和推理统一到同一框架中，简化了传统CRF模型求解过程。②提出基于深度信息的遮挡推理模型，估计目标的被遮挡区域和非遮挡区域，在此基础上设计“孤立点”响应与目标轨迹的匹配策略，有效提升了遮挡场景下目标身份鉴定的准确性。③针对传统关联模型构中损失数据可分性问题，提出一种基于数据联合分布建模的多目标跟踪算法，通过联合建立关联数据的相容性、相斥性，有效提升关联模型建模的有效性。.与上述采用经典手工特征的CRF跟踪方法不同，本项目在扩展工作中深入开展了基于深度学习的多目标跟踪方法研究，包括④基于深度神经网络的关联模型设计：通过训练CNN网络提取具有身份判别信息的外观特征，采用LSTM建模目标复杂的非线性运动特性，提出基于三元损失函数的度量学习网络，以端到端方式实现了外观、运动特征的融合表达学习及度量学习。⑤针对检测器不精确导致的跟踪轨迹间断问题，提出了基于递归神经网络的贝叶斯滤波器，为多目标跟踪领域提供了新的轨迹平滑后处理策略，有效改善跟踪性能。⑥受端到端模型学习有效性启发，探索基于深度条件随机场模型的多目标跟踪方法，将CRF参数学习和状态推理形式化为神经网络可实现形式，充分发挥深度学习和图模型优势，取得了领先的实验结果。.本项目紧密围绕MOT领域的难点问题开展研究，取得了一批较高学术水平的成果，涉及特征表达学习、图模型优化求解、遮挡处理、神经网络设计、端到端模型学习等。其研究成果不仅为多目标跟踪研究提供了新的思路和实现方案，对行人重识别、视频行为识别等领域研究也具有一定的参考价值。