基于长短时记忆孪生网络的实时目标跟踪研究

Object tracking is an important problem and hot research topic in computer vision. It has some difficulties such as similar object disturbance, large scale distortion, occlusion, and so on. The key point of this problem is how to construct a robust appearance model and observation model. Deep convolutional neural network coming from cognitive mechanism of visual cortex has shown its power for extracting feature and good performance in many computer vision tasks such as detection and recognition. However, deep learning method is not real-time and the lack of supervised samples prevents its application in objection tracking..This project aims to build a new deep neural network structure for visual tracking. For dealing with the lack of supervised samples, off-line relative knowledge transferring and saliency dense supervised signals are introduced. Long short term memory (LSTM) is adopted for real-time updating the appearance model. The details of our research are listed as below: 1) An appearance model based on deep multi-layer correlation and rotation invariant Siamese network, which includes multi-layer constraint generative model, robust methods for improving rotation invariant transformation and so on; 2) “Saliency-Bounding Box” joint regression observation model; 3) online LSTM for updating the models. The proposed method will promote the development of visual tracking and make it more close to human perception system.

目标跟踪是计算机视觉领域的重要问题及研究热点，存在相似物干扰、大幅形变、遮挡等挑战，建立鲁棒的表观模型和观察模型是关键。借鉴人脑视皮层感知机制的深度卷积神经网络在计算机视觉其他问题（检测、识别等）中已表现出强大的特征抽象能力与显著性能提升，但在跟踪问题中面临监督样本稀缺、鲁棒网络结构、算法实时性等难点。.本项目旨在提出一种新的适用于目标跟踪的深度孪生网络结构，通过离线迁移相关任务与引入显著图稠密监督信号解决表观模型与观察模型监督样本稀缺问题，并通过长短时记忆LSTM算法实现表观模型的实时更新。具体研究内容：1）基于深度多层相关旋转不变约束孪生网络的表观模型，包括多层约束生成模型、提升旋转变换不变性的相似度量方法等；2）“显著图-目标框”联合回归观察模型；3）基于长短时记忆的模型更新方法。上述研究有助于推进视觉跟踪领域的发展向人类感知系统靠近。

本项目针对非限制环境中的目标跟踪问题开展了深入研究，在目标表观建模、模型在线更新等方面取得了若干研究进展，具体包括：1）针对目标外观建模中的视角单一、背景干扰、运动信息没有有效融合问题，提出了系列模型，基于时空卷积的目标表观模型、基于块滤波器的卷积网络目标表观模型、频域目标表观模型；2）为提升跟踪过程中的目标显著性，以及辅助目标回归观察模型，提出了模拟人脑视皮层感知机理的视觉显著区域检测方法、提升目标显著性的图像裁剪方法，以及协同目标外观与运动特征的联合回归模型；3）针对模型的在线更新难题，提出了表观模型的自适应网络选择方法、在线难样本挖掘更新、融合背景知识的模板更新方法、突出目标的特征的加权更新方法。此外，本项目研究过程中，项目组拓展研究了相关的终身学习机器学习理论、图像增强方法，以及图像低秩分解与岭回归问题，并拓展研究了数据标注方法、行为识别等应用点。本项目上述成果发表论文13篇，其中期刊JCR一区论文7篇，申请发明专利5项，派出学生国外访问研究1次，参加本领域知名学术会议4次。项目协助培养了博士研究生3名，硕士研究生6名。总体而言，项目经过三年的努力，取得了一定的进展与成果，达到了项目预期的研究目标。本项目研究成果在目前我国高速发展的智慧城市中的智能安防、智慧养老、智能家居、智慧教育等都有着广阔的应用前景，如智能安防中的行人跟踪、智慧养老中的老年人跟踪与跌倒检测、智能家居中的人与物的识别跟踪、教育教育中的行为分析等。本项目的研究进展将对上述行业的发展与应用具有良好的研究和实践价值。