RGBD相机下基于显式遮挡模型的目标跟踪方法研究

Object tracking is an important problem in computer vision, RGBD cameras bring new opportunities as well as challenges to this problem. In this research, we are going to carry out thorough study on the object tracking problem with RGBD camera. We will explore the 3D physical structure of 3D point cloud, and study the representation method of 3D point cloud, and carry out further research on how to explicitly model occlusion based on 3D information, and study how to estimate the joint distribution of target and occluder. Our goal is to make the tracker be aware of the occluder as well as its position and motion, and finally be able to overcome occlusion and make correct decision. Our research work can offer technical support for indoor surveillance, robotic navigation and other related applications.

目标跟踪是计算机视觉领域的重要的热点研究问题，而近年来出现的RGBD相机为目标跟踪带来了新的机遇和挑战。本课题拟对RGBD相机条件下的目标跟踪问题开展深入研究，探索RGBD相机得到的三维点云的三维物理结构，研究面向三维点云的目标外观表征方法，并进一步研究利用三维信息提出有效的模型来对遮挡进行显式的建模，研究如何估计遮挡物和被跟踪目标的联合概率分布。这些研究的目标是使得跟踪器能够“知道”遮挡是否发生，“知道”遮挡物的位置和运动，最终能够克服遮挡做出正确的决策。本研究的成果将能够为室内监控、机器人导航等领域提供技术支持。

本课题对深度相机条件下的目标跟踪 问题开展研究。从深度相机获得三维点云的物理结构出发，解决在深度相机条件下目标表征的问题；通过对点云的三维结构进一步分析，利用扩展的三维均值漂移解决了深度相机条件下目标位置快速估计问题。同时，对三维均值漂移进行深入分析，探索明了其工作机理。在此基础上，进一步提出一种有效的、基于三维场景的模型更新机制以及遮挡处理机制。课题研究过程中共发表论文7篇，申请专利1项。本课题中提出的算法在目前最大的RGB-深度视频跟踪测评数据库（Princeton Tracking Benchmark）上取得了当时（论文发表时）较好的综合性能。在计算速度上，本项目中提出的方法在没有GPU加速的情况下，在常规计算机上达到了每秒63帧，能够满足实时计算的要求。本课题的研究成果能够应用于机器人领域，能够帮助机器人完成室内跟随、避障等任务，提高机器人的自主决策水平。