基于多特征联合稀疏表示和低秩张量恢复的视觉跟踪研究

In visual tracking systems, it is difficult to design a robust appearance model of object due to the changes of object appearance and illumination, image noise and occlusion. Recently, the sparse representation based appearance model has been widely used in visual tracking since it can effectively deal with image noise and occlusion. However, there still remain some key problems in sparse representation: how to fuse multiple features and how to avoid the model drifting problem. To deal with the above problems, this project proposes a solution from the following aspects: (1) this project intends to construct a complete template dictionary based on local patch reorganization and linear combination of the given templates. This template dictionary lies in a linear subspace of the object; (2) this project proposes a multiple feature joint sparse representation based tracking framework which can effectively fuse the different features; (3) this project proposes a low-rank tensor recovery method to realize the alignment and rectification of the tracking results; (4) this project intends to update the template dictionary in both incremental and batch ways. The combination of them can not only effectively adapt to the appearance changes of the object in the short term, but also can prevent the model drifting problem.

在目标视觉跟踪系统中，由于目标表观的动态变化以及光照变化、图像噪声、遮挡等多种干扰因素，使得目标表观建模成为视觉跟踪算法研究中的难点。基于稀疏表示的表观模型，由于其能有效地处理图像噪声和遮挡，被广泛应用于目标视觉跟踪。但目前稀疏表示仍存在一些关键问题尚待深入研究：如何对多特征进行有效的融合与如何避免由跟踪误差引起的模型漂移。针对上述问题，本课题拟从以下几个方面提出解决方案：(1) 提出一种基于局部重组和线性组合的目标模板构建方法，使得模板字典更为完备，并且符合目标的子空间分布；(2) 提出基于多特征联合稀疏表示的跟踪框架，从而有效地实现不同特征之间的互补；(3) 提出了一种基于低秩张量恢复的方法，实现跟踪结果的精确对齐和校正；(4) 提出一种增量与批量相结合的方式对目标模板字典进行更新，既能有效地适应目标表观在短期内的变化，又能对模板误差进行有效地校正，从而避免模型漂移问题。

视频目标跟踪是计算机视觉领域的热门研究方向，在智能视频分析中至关重要。我们对目标跟踪开展研究，具有重要的理论意义和应用前景。在目标视觉跟踪系统中，由于目标表观的动态变化以及光照变化、图像噪声、遮挡等多种干扰因素，使得目标表观建模成为视觉跟踪算法研究中的难点。基于稀疏表示的表观模型，由于其能有效地处理图像噪声和遮挡，被广泛应用于目标视觉跟踪。但目前稀疏表示仍存在一些关键问题尚待深入研究：如何对多特征进行有效的融合与如何避免由跟踪误差引起的模型漂移。针对上述问题，本课题拟从以下几个方面提出解决方案：(1) 提出一种基于局部重组和线性组合的目标模板构建方法，使得模板字典更为完备，并且符合目标的子空间分布；(2) 提出基于多特征联合稀疏表示的跟踪框架，从而有效地实现不同特征之间的互补；(3) 提出了一种基于低秩张量恢复的方法，实现跟踪结果的精确对齐和校正；(4) 提出一种增量与批量相结合的方式对目标模板字典进行更新，既能有效地适应目标表观在短期内的变化，又能对模板误差进行有效地校正，从而避免模型漂移问题。本项目在IEEE Transactions on Pattern Analysis and Machine Intelligence, International Journal of Computer Vision, IEEE Transactions on Cybernetics, Pattern Recognition等国际知名期刊和会议上发表论文 21 篇，申请专利11项，已授权专利5项，撰写学术专著1部，并入选浙江大学出版社杰出青年学者研究文丛、浙江省十三五重点图书、2017年度十大好书。在项目支持下，申请人获批了浙江省自然科学基金-杰出青年科学基金项目、浙江省高校高水平创新团队项目，入选德国洪堡学者（2016年）、浙江省万人计划青年拔尖（2018年）。