基于单次学习和循环神经网络的深度学习目标跟踪研究

Deep learning based object tracking approaches achieve superior performance compared with the conventional tracking methods because of the advancement of hardware computational capability and big data acquisition technologies. However, object tracking is essentially a small data learning problem since there is only one labeled sample available in the first frame. In addition, current deep learning based object tracking does not consider the temporal correlation in depth. In this project, we propose to integrate the one-shot learning mechanism and Recurrent Neural Network (RNN) based deep learning with the object tracking. First, in order to improve the tracking robustness against diverse scenario, we study the structural information of the large scale labeled dataset and disclose the internal correlation and transferability between the training data and the domain knowledge. Second, we study the one-shot learning mechanism and propose to design a network structure and training strategies that is suitable for object tracking task. It is expected that our one-shot learning based model is able to improve the performance and efficiency of object tracking under the small data condition. Furthermore, we study the Long Short Tern Memory structure of RNN and propose to establish a holistic-local and spatial-temporal appearance model that can infer the reliable tracking region and improve the tracking robustness. Finally, a robust end-to-end deep learning based object tracking prototype is proposed based on the one-shot learning and RNN fusion model.

得益于计算机硬件以及大数据获取技术的发展，基于深度学习的目标跟踪方法在近年逐渐超越其他方法，取得巨大的突破。但是，在目标跟踪任务中，通常只能从第一帧获得单个标注训练样本，其本质上是小数据学习问题。此外，现有深度学习方法并没有深入研究目标跟踪在时间域的相关性。本项目拟将基于单次学习机制以及循环神经网络的深度学习引入到目标跟踪，并对其深入研究：首先，通过考察现有大规模标注图像数据与结构性信息特征，揭示其与领域知识关联性和可迁移性，以提高目标跟踪在多样性场景下的鲁棒性；其次，研究单次学习机制，拟提出适用于目标跟踪的网络模型结构及快速训练方法，提升小数据条件下的目标跟踪性能与效率；最后，通过研究循环神经网络的多维长短记忆结构，对跟踪目标整体-局部表征进行空间域-时间域建模，推理出可靠跟踪区域，以提升视觉跟踪的鲁棒性。最终融合单次学习以及循环神经网络，建立一个鲁棒的端到端深度学习目标跟踪原型系统。

本项目研究主要围绕着基于深度学习的跟踪技术展开，为了验证前期理论研究的实用性以及可迁移性，我们选取在工业中广泛应用的激光焊接作为研究对象，研究激光焊接过程的状态跟踪问题。首先，设计了一套多传感融合信号采集系统，从机理上分析传感器信号与焊接状态之间关系。其次，基于前面焊接状态及缺陷的理解，构建和标注了激光焊接焊缝缺陷及缺陷状态数据库。通过实验探讨了应用深度神经网络对焊缝缺陷的特征学习，基于深度学习框架，以数据驱动的方式自动提取多传感器的信号特征，并使用遗传算法和粒子群算法进行参数优化。再次，将数据驱动的特征学习与目标缺陷识别相结合，该方法可进一步用于基于区分性分类方法的目标跟踪应用。最后，分析激光焊接过程中能量状态分布机理，尝试通过设计一组实验，改变激光焊接离焦量改变能量分布，研究金属蒸汽特征、焊接区域光辐射信号以及高速相机图像的视觉特征与能量分布之间的关系。为后续通过少量数据微调深度学习模型，实现跨工艺参数迁移状态跟踪提供机理模型基础。同时，针对缺陷产生前难以预判的问题，课题组进一步分析激光焊接过程的准稳态信号特征模型，实现对四种准稳态过程的跟踪。