基于时空结构约束与特征学习的目标跟踪研究

As a hot research topic in multimedia information processing, computer vision, etc., object tracking can be widely applied in many military and civil fields, e.g. military reconnaissance, video surveillance and traffic monitoring. However, because of many complex factors, including occlusion, deformation, etc., how to realize accurate, robust tracking is still a challenging task. This project focuses on the construction of the appearance model which is a core module in tracking, and makes a deep research on tracking by exploiting the temporal and spatial correlation structures among the video sequences and taking use of the feature learning technique. First, based on the collaboration of fuzzy learning and manifold learning strategies, this project will propose multi-graph regularized fuzzy classifiers to build the appearance model, which can make full use of the temporal and spatial constraints in video sequences. Second, this project will employ the feature learning technology to adaptively extract the features of different targets under fuzzy learning framework, which may further improve the accuracy of the appearance model. Besides, this project will present a judging based update model by using stacked denoising autoencoder, which can help to update the appearance model online. The proposed methods will be tested on many public datasets and applied in real scenarios.

目标跟踪是多媒体信息处理、计算机视觉等领域的研究热点之一。目标跟踪可以用于军事侦察、视频监控、交通监测等军事和民用领域，具有广泛的应用前景。然而，由于现实场景中存在遮挡、目标形变等复杂因素，如何实现准确、鲁棒的目标跟踪仍然是一个十分具有挑战性的任务。本项目拟围绕表观模型这一核心模块的构建，在模糊学习框架基础上，通过挖掘视频序列中的时间和空间相关性信息，并利用特征学习技术对目标跟踪进行深入研究。首先，本项目拟联合模糊学习和流形学习策略，设计基于多图正则的模糊分类器并构建表观模型，以实现对视频序列中时空结构约束的有效利用；其次，本项目拟在模糊学习框架下，利用特征学习技术实现对不同跟踪目标的自适应特征提取，提高对表观模型表示的准确性；此外，本项目拟设计基于栈式去噪自动编码机的判别更新策略，引导对表观模型的在线学习。本项目拟将新建立的跟踪算法在多个公开测试集进行验证，并将其应用于实际场景。

目标跟踪是多媒体信息处理、计算机视觉等领域的研究热点之一。目标跟踪可以用于军事侦察、视频监控、交通监测等军事和民用领域，具有广泛的应用前景。然而，由于现实场景中存在遮挡、目标形变等复杂因素，如何实现准确、鲁棒的目标跟踪仍然是一个十分具有挑战性的任务。本项目拟围绕表观模型这一核心模块的构建，在模糊学习框架基础上，通过挖掘视频序列中的时间和空间相关性信息，并利用度量学习、特征学习、相关滤波器等多种技术对目标跟踪进行深入研究。首先，在表观模型构建方面，通过多种方式挖掘时空结构信息约束信息，分别研究在模糊学习框架基础上，通过自适应设定隶属度以利用空间结构信息；通过紧相关滤波算法，更充分地挖掘空间结构信息；通过时间结构约束，更好地进行目标定位；通过引入L1和L21范数，更好地利用空间结构鲁棒性约束和时间连续性约束。并在以上约束基础上进行形式化表观模型构建。其次，在特征学习方面，研究基于深度卷积神经网络和度量学习技术的特征表示，实现对模型中特征的更准确表示，提高模型的表示能力；在更新模型方面，研究并探索基于最小二乘回归的自适应判别更新机制、先入先出更新规则以及增量式更新规则等，实现对表观模型的自适应在线更新。针对以上研究内容，本项目实现了多个目标跟踪算法，具体包括基于尺度自适应紧相关滤波器的目标跟踪算法、基于模糊学习和度量学习的目标跟踪算法、基于自适应隶属度的目标跟踪算法、基于弹性网回归的目标跟踪算法、基于结构化鲁棒相关滤波器的目标跟踪算法等。本项目将实现的目标跟踪算法在多个公开测试集进行了验证。实验结果表明，本项目提出的算法可以取得良好的跟踪性能。项目组将进一步对这一方向进行深入研究并进行相关拓展，结合实际场景探索算法的落地应用。