基于弱监督学习和深度信息的目标跟踪算法研究

Object tracking has been received extensive attention, due to its important theoretical and practical value. However, the challenges in complex scenes, such as occlusion, background clutter and object appearance changes, still bring great difficulties to object tracking. To address these problems, the project combines rapid object detection and object depth information into the object tracking process. Specifically, the project will focus on the work in the following aspects: 1) to propose a rapid and robust object detection algorithm based on the generalized hough transform and partial least squares. Meanwhile, to improve the object detection rate by online learning object appearance model; 2) to exploit the three-dimensional depth information of objects which will be used to improve the ability of the tracking algorithm in handling occlusion, distinguishing foreground objects from background scene, etc. 3) to consider object tracking in a novel weakly supervised learning framework, in which multiple complementary cues such as depth information, object detection, color and shape, are fused to achieve robust and effective object tracking. The project has high academic and applicable value in video surveillance and human-computer interaction.

目标跟踪以其重要的理论和实用价值一直得到广泛关注。而复杂场景中遮挡、背景干扰和目标表观的变化等因素会给目标跟踪带来极大挑战。本课题针对这些问题，将快速目标检测技术和目标的深度信息融入到目标跟踪过程中，以实现基于多线索融合的鲁棒目标跟踪。具体地，本课题拟开展以下三个方面的工作：1）基于广义霍夫变换和偏最小二乘法，提出一个快速、鲁棒的目标检测算法；同时进行在线学习，以达到在目标跟踪过程中不断自适应地学习目标的表观模型、提高目标检测的正确率，并通过在线的目标检测从而不断修正目标跟踪的结果；2）开发利用目标的三维深度信息，充分挖掘深度信息在目标跟踪中判定和处理遮挡、区分前景和背景等方面的作用；3）在弱监督学习框架下，融合深度信息、目标检测、颜色和形状等互补线索，发挥各个线索的优势，实现鲁棒有效的目标跟踪。本研究对视频监控、人机交互等领域有较高的学术与应用价值。

“基于弱监督学习和深度信息的目标跟踪算法研究”（编号：61202299）是国家自然科学基金青年基金项目，研究期限为3年。本项目的研究目标就是针对目前视觉目标跟踪系统存在的诸多技术瓶颈问题，将深度信息、在线目标检测结果和常用的颜色、轮廓、形状等线索相融合，开展基于弱监督学习和深度信息的目标跟踪算法研究，以期能够有效融合多线索信息，从而提升现有的目标跟踪系统的性能，有效解决遮挡、背景干扰和目标表观变化等问题。.经过了3年的努力，项目组在弱监督学习和深度等多线索信息的融合方面都取得了重要成果。项目组提出了基于弱监督学习的多信息融合目标跟踪算法，提高基于弱监督学习的跟踪算法的鲁棒性；在深度信息的融合方面，项目组分别提出基于三维深度和上下文信息的目标跟踪算法，以及基于图像集合和深度信息的三维目标跟踪算法，这些算法能够有效处理遮挡、背景干扰等问题；此外，在融合检测和分割等信息方面，分别提出了基于广义霍夫变换的快速目标检测和跟踪算法、基于结构学习和偏最小二乘法的目标跟踪算法、基于分块表观模型和背景模型估计的自适应目标跟踪算法、以及基于背景剪除驱动的运动目标检测与抠图算法等；并开发了相应的软件应用于目标跟踪问题中，取得了良好的效果。.本项目共发表论文21篇，其中SCI收录11篇，EI收录6篇；申请发明专利7项；培养在读和毕业的研究生7人；在本项目研究的基础上，持续围绕目标跟踪问题进行深入研究，并获得了2015年基金委的面上项目资助（编号61572205）。