基于多视角与多示例学习的目标跟踪方法研究

Object tracking is a hot topic of computer vision, and suffers from two problems: “single or simple feature model cannot meet the tracking requirements for robustness characteristics” and “the search strategy and update mechanism are difficult to balance the speed and accuracy of tracking”. To this end, this project will make a deep research on the problem “developing robust and efficient tracking method based on multi-view learning and multiple-instance learning”. More specially, in this project, we will make the advantage of multi-view learning on integrating different kinds of features into one robust feature model, and apply the multiple-instance dictionary learning to do occlusion prediction to improve the robustness. Then we will design a structured correlation filter search strategy and a temporal-confidence based update method to guarantee the speed and accuracy of tracking. This project will make several breakthroughs on the object tracking, as are beneficial for the development of robot vision and intelligent computer interaction, and improve the theories of multi-view learning and multiple-instance learning, as can provide novel tools for the development of computer vision.

目标追踪是计算机视觉热点研究问题，目前存在两个重要问题：“单一简单的特征模型无法满足追踪对于特征鲁棒性的要求”与“现有的搜索策略和更新机制解难以兼顾跟踪的搜索速度和精度”。因此，本项目将围绕“如何提高跟踪算法的鲁棒性，并使其兼顾跟踪速度与精度”这一科学问题展开研究。本项目将利用多视角学习模型将多种类型特征进行有机融合构建鲁棒性特征模型，并设计基于多示例字典学习的遮挡预测机制，来提高追踪算法的鲁棒性；之后通过结构化相关滤波搜索方法和基于时空置信度的分类器更新方法来保障算法的速度与精度。本课题的实施，既能在目标跟踪问题上获得若干理论突破，促进智能人机交互、机器人视觉等领域的发展；同时也能完善多视角学习理论和多示例字典学习理论，为计算机视觉等领域的发展提供理论与方法上的支持，具有重要的理论与应用价值。

本项目针对基于多视角学习理论和多示例字典学习的目标跟踪问题，在高鉴别性特征、遮挡预测模型、状态搜索、模型更新等方面展开了一系列的理论研究。.在提取高鉴别性方面，提出了目标意识的深度判别特征，该特征能比预训练深度特征更好地识别具有显著形变的目标。在遮挡预测模型方面，提出一种能预测遮挡的关键区域鲁棒目标跟踪方法，该方法利用基于关键区域稀疏表达来预测遮挡，降低局部遮挡的干扰。在状态搜索方面，提出一种逐步调整的目标状态预测方法，克服了平面目标连续帧之间状态变化对状态搜索的干扰；提出了自适应结构化卷积追踪算法，在考虑了目标的结构信息的同时，不会降低搜索效率。在模型更新方面，提出一种基于双边网络的模型更新方法，能克服已有方法在后续的跟踪过程中不能很好地识别出表观变化的目标的缺点。此外，本项目在红外跟踪方面进行了有价值的深入研究，构建了大规模高多样性的红外目标跟踪数据集，并提出了基于多任务驱动的红外特异性关联网络跟踪方法。 .通过本项目的实施，有力推动了视觉目标跟踪研究，为视觉目标跟踪技术的实际应用提供了理论基础和技术支持。项目资助发表了SCI论文25篇，EI论文13篇，包括1篇中国百篇最具影响力论文，2篇ESI高被引论文，1篇CCF A类期刊论文，9篇CCF B类期刊论文，1篇国际会议最佳论文，4篇CCF A类会议论文。申请发明专利11项。在国内外学术交流方面，多次邀请国际知名专家来校进行学术交流，多次参加知名国际会议。人才培养方面，近几年先后培养了一批优秀的人才，其中出站博士后1名，已毕业博士生3名，硕士生4名，1篇博士论文评为哈尔滨工业大学优秀博士论文，2篇学位论文评为哈尔滨工业大学深圳校区百篇优秀研究生学位论文。