基于秩一张量近似的多目标跟踪

Multi-target tracking is popularly formulated as the data association based optimization, while the multi-frame data association optimization is the NP hard multidimensional assignment problem intrinsically, and most current approaches are limited to the optimization solution with appropriate relaxations. This project focuses the research on multi-frame data association based visual tracking, and proposes a rank-1 tensor approximation based multi-target tracking framework. The main research contents include: 1) for the NP hard multidimensional assignment optimization, propose an effective rank-1 tensor approximation based iteration solution; 2) for the high-order trajectory affinity representation, propose the multi-way histogram comparison based similarity metrics and the entropy based measure; 3) for the interaction model, propose a non-maximum suppression constraint based motion context; 4) for the occlusion handling, propose a data-driven and scene understanding approach. The project stands on the academic frontier, and has both the theoretical and application significances. For one thing, the program focuses on the theoretical problem lying in the multiple target tracking, shows the close relationship between the multi-dimensional assignment problem and the rank-1 tensor approximation problem, and proposes an effective iteration solution for the NP hard optimization problem. For another, the program proposes an efficient target interaction model and effective occlusion handling method for the real tracking applications. Finally, it aims to provide the innovative theory and key techniques for multiple target tracking and some related research areas.

多目标跟踪通常被形式化为一个基于数据关联的优化问题，而多帧数据关联优化是一个NP难的多维分配问题，当前大部分方法只能求解松弛条件下的优化，因而存在巨大局限。本课题关注多目标跟踪研究，在归纳研究难点和现有算法局限性的基础上，拟提出一种基于秩一张量近似理论的多目标跟踪框架。主要研究内容包括：1）多维分配优化求解，拟提出基于秩一张量近似理论的优化解；2）目标轨迹的高阶能量表示，拟提出基于多路直方图相似性度量及信息熵的表示；3）目标交互建模及优化，拟提出包含非极大值抑制约束的运动交互模型；4）目标遮挡处理，拟提出融合数据驱动和场景理解的方法。本项目立足于国际前沿，兼具理论创新性和实际应用性。拟在数学上原创性地揭示多维分配优化和秩一张量近似理论两者的联系，并提出有效的非松弛解；同时针对实际应用特点，计划提出有效的目标交互模型和遮挡处理方法。课题将为多目标跟踪和相关研究领域提供创新性理论和关键技术。

多目标跟踪通常被形式化为一个基于数据关联的优化问题，而多帧数据关联优化是一个NP 难的多维分配问题，当前大部分方法只能求解松弛条件下的优化，因而存在巨大局限。本项目提出了一种基于秩一张量近似理论的具有非松弛解的多目标跟踪框架。主要研究内容包括：1）基于秩一张量近似理论的多维分配优化求解；2）联合目标表观相似性、目标运动时序一致性以及目标轨迹空间结构信息构建的高阶轨迹能量表示；3）基于图匹配的目标交互关系建模以及融合运动上下文关系的张量幂迭代求解；4）基于行人掩模Mask RCNN的孪生网络来计算候选待关联目标之间表观相似度的遮挡处理方式。本项目在理论上阐述了多维分配和秩一张量近似的关系，提出了一系列包括秩一张量近似优化、高阶轨迹能量表示、目标交互建模以及遮挡处理相关的数学、视觉理论和实际算法，并发表在多个国际重要学术会议和学术期刊上。比如，发表顶级国际期刊Int. J. Comput. Vis.（IJCV；1/132；IF：11.541）论文1篇，顶级国际期刊IEEE Trans. Pattern Anal. Mach. Intell.（IEEE TPAMI；2/132；IF：9.455）论文1篇，顶级国际会议Proc. IEEE Conf. Comput. Vis. Pattern Recognit. （CVPR） 2016论文1篇，重要国际会议Proc. IEEE Int. Conf. Pattern Recognit.（ICPR）2018论文1篇；在投顶级国际期刊Int. J. Comput. Vis.（IJCV；1/132；IF：11.541）论文1篇（Major Revision）。本项目基于上述理论和算法构建了一个基于Python语言的以在线多目标跟踪为核心的综合视觉监控原型系统。