深度相机下基于全局-局部协作模型的视觉目标跟踪研究

Visual object tracking has important applications in many fields, but the challenges it faces, such as illumination changes, object deformation, occlusion and complex environments, have made the advances in this topic far from meeting social needs. As depth sensor grows popular, videos containing the depth information of scene are easily obtained. This provides new tools for studying the conventional object tracking problem. Through combination of depth information, this project is devoted to new theories and methods of establishing feasible and effective object model and tracking the object accurately and stably. The main issues include: 1) we establish the global-local collaborative model for object representation through integrating two-dimensional image information and depth data, and construct associated geometric constraints; 2) we investigate the characteristics of global and local components, design hybrid feature descriptors, utilize the theories of matching, learning and optimization, and achieve stable object tracking and model updating; 3) we propose novel approaches of occlusion handling under depth camera, and introduce a priori model constraints to supervise the building and updating of object model so as to maintain the object state in complex situations. The outcomes of this project can provide new theoretical and technical supports for the research on object tracking, and can be verified and extended in the digital home applications including intelligent monitoring, human-computer interaction and the elderly/child caring.

视觉目标跟踪在众多领域具有重要应用价值，但光照变化、目标形变、遮挡和复杂环境等挑战性问题使得该方向当前的研究远未能满足社会需求。日益普及的深度传感器使得包含场景深度信息的视频图像易于获取，这给传统的目标跟踪课题提供了新的研究手段。本项目通过结合三维深度信息，研究建立可行有效的目标模型和精确稳定跟踪目标的理论和方法。研究内容主要包括：1）通过融合二维图像信息和深度数据，建立表示目标的全局-局部协作模型，构建几何相关约束；2）研究目标的全局和局部表征，设计混合特征表示方法，结合匹配和学习优化理论，稳定跟踪目标并更新目标模型；3）提出深度相机下处理遮挡问题的新方法，探索引入先验模型约束来监督目标模型的建立和更新以维护复杂情形下的目标状态。本项目的成果可为目标跟踪问题的研究提供新的理论和技术支持，在智能监控、人机交互和老人儿童看护等数字家庭应用中验证推广。

视觉目标跟踪在众多领域具有重要应用价值，但由于该问题面临很多复杂情形，在这个方向上仍有不少挑战尚待解决。现有跟踪方法在实时性、准确性和鲁棒性等方面依然存在较大的局限性。深度相机设备能够获取场景深度信息，这给目标跟踪问题提供了新的研究手段。本项目通过结合深度信息，研究建立可行有效的表示模型和精确稳定跟踪目标的理论和方法，取得的成果包括：研究了多种深度相机设备，根据不同设备的特性有效利用场景深度信息，提出相应的表示方法；提出结合多点红外激光器测距的行人跟踪计数方法；提出基于激光距离扫描器的双向行人检测计数方法；提出基于失真感知和全局-局部协作模型的相关滤波跟踪方法；提出基于多线索协同的RGBD视频目标检测和跟踪的方法；研究了深度表达学习模型并提出耦合深度相关滤波与在线判别学习的目标跟踪方法；研究了多特征外观表示和多模型协同策略并提出相关的目标跟踪方法；提出了处理目标遮挡和丢失的新方法。本项目结合稀疏表示、聚类、图优化、深度学习等理论和方法，根据目标跟踪问题做适应性调整和创新性应用，为解决目标跟踪问题提供新的方法和技术借鉴。本项目按计划执行，进展良好，已发表学术论文22篇，在包括IEEE Transactions on Image Processing等重要SCI期刊上发表论文9篇，其余EI检索论文13篇，申请3项发明专利。