基于高阶信息的视觉目标跟踪研究

Visual tracking moving objects in videos is an important research area in computer vision. The performance of visual tracking application is affected by many factors, including object occlusion, illumination variation, complex scenes, large nonrigid motion. In this project, we plan to study the theories and methods of multi-object detection and tracking in complex scenes based on high-order information and use the energy optimization model. First, we develop hyper graph model to represent higher-order appearance and motion models for tracking deformable objects. Second, we use the hyper graph model to describe the dependency among multiple detections in tracking-by-detection framework, with the aim to improve the robustness of the trackers in crowded scenes. Third, we construct an hyper-graph model of multiview to integrate the two tasks of object reconstruction and tracking to exploit the benefit information shared between the two tasks for the higher performance of the multiview and multiple object tracking applications. Finally, we use the deep learning based energy model to optimize the detection and tracking tasks in the same framework together, which will be helpful for each other of detection and tracking for the more accurate and steady multiple object tracking results. The results of this project are expected to improve the state of the art in video object tracking and contribute some for the theory development of the research area of Machine learning and Discrete optimization.

视觉跟踪是计算机视觉领域一个重要研究方向。针对视觉跟踪应用中出现的目标遮挡、光照变化、复杂背景及大尺度非刚性运动等因素导致视觉跟踪性能降低的问题，本课题拟研究基于高阶信息挖掘与能量优化模型的复杂环境中的多目标检测与跟踪理论和方法。首先，构建目标高阶结构超图来挖掘目标高阶运动结构信息，处理形变目标跟踪问题。其次，在跟踪加检测（Tracking-by-Detection）框架下，采用超图模型对多个视角的检测结果进行关系建模，使密集场景的多目标跟踪效果更加鲁棒。第三，构建多视角超图模型融合目标重建和跟踪两个任务，提升跟踪器在多视角多目标跟踪应用中的性能。最后，利用深度学习能量模型，将检测和跟踪算法在同一框架下进行优化，使检测与跟踪算法相互促进，获得更加精确稳定的多目标跟踪效果。本课题的理论研究成果不仅能够提高视频的目标跟踪的效率，也将对机器学习、离散优化等领域的理论发展有一定的贡献。

视频图像的目标跟踪是计算机视觉领域的重要研究方向，具有很重要的实际应用价值。本项目以提高目标跟踪精度为目标，提出了以超图为基本手段的视频目标检测方法。超图突破了传统图结构一条边只有两个节点的局限性，一条超边可以连接两个以上的超图节点，为建立目标之间的高阶依赖关系提供了更方便的结构关系。我们以超图为基本结构，深入研究了视频目标跟踪的超图表示方法，将连续帧的相同目标转换为超图节点的关联关系，将目标跟踪问题转换为搜索超图的最小超边权重问题，提出了超图密集子图优化方法，近似求解最小代价的超图结构。本项目研究了目标跟踪的典型特征，提出了目标表观、运动连续性和轨迹光滑三个目标特征作为目标跟踪的匹配特征，在超像素的粒度下构建多特征超图，可以显著提升目标跟踪性能。我们在单摄像机多目标跟踪和多摄像机多目标跟踪两种不同的应用场景下，构建不同超图结构，包括结构感知超图和空间-时间-视角（Space-Time-View，STV）超图，用于不同场景下的目标跟踪。我们也提出了多种超图优化框架和方法，包括跟踪检测联合优化框架、迭代图搜索优化方法和密集子图搜索优化方法。在不同的公开数据集中测试我们的方法，我们的基于超图的目标检测方法性能显著高于其它现有的同类方法。除了传统目标特征提取方法外，本项目根据领域发展具体情况，也探索了深度学习的目标提取特征方法研究，所提出的通道感知反卷积深度网络在图像小目标检测方面取得了较好的性能。. 本项目将超图成功应用在视频目标检测应用中，提出了一套完整的基于超图的目标跟踪理论，并给出了具体的目标跟踪超图构建和优化技术，实现了基于超图的多目标跟踪原型系统，为后续科研工作的深入开展奠定了基础。研究成果发表了包括IEEE transactions在内的多篇国际期刊和会议，为本研究领域培养了多名研究生。