基于深度学习的无人机平台可见光/热红外双模态视觉跟踪方法研究

With the continuous popularization of Unmanned Aerial Vehicles (UAVs) in the Military and Civilian application domains, UAV based ground target tracking is drawing increasing attention. Visible light cameras and infrared thermal imagers are two of the most popular UAV equipped imaging sensors. Existing tracking algorithms deal well with single-modal (visible or infrared) observation data but are not able to cope with complementary dual-modal (visible and infrared) data. To address the above issue, this project intends to research on UAV based visual/infrared dual-modal tracking with convolutional neural networks (CNN). First, large scale labeled RGB training sets are translated into synthetic infrared training sets using generative adversarial networks (GAN). On this basis, we will establish a CNN architecture for UAV based dual-modal tracking with lightweight CNNs, spatial/channel attention mechanisms and Siamese networks. Finally, the proposed network for dual-modal tracking will be off-line trained with visual/infrared training sets. During online tracking, a number of training samples will be stored and adaptively weighted for online training. The expected outcomes of this project can be extended vision based multi-modal detection/tracking/recognition, which is of great theoretical and practical value for improving the environmental perception ability of UAVs under complex scenarios.

随着无人机技术在军事和民用领域应用的不断普及，无人机对地目标跟踪受到越来越多的关注。可见光相机和红外热成像仪是无人机搭载的两种常用成像传感器。现有的视觉跟踪算法适用于单模态（可见光或红外）观测数据，不能有效地利用双模态（可见光和红外）数据的互补特性。为解决这一问题，本项目拟开展基于深度学习的无人机可见光/红外双模态视觉跟踪方法研究。首先，基于生成对抗网络利用公开的大规模可见光训练数据集生成合成的红外训练数据集。在此基础上，利用轻量级卷积网络架构、空间/通道注意力机制和孪生网络架构搭建适用于无人机平台的双模视觉跟踪卷积神经网络。最后，利用可见光/红外训练数据集对双模态跟踪网络进行离线训练。在线跟踪测试时，算法根据时间注意力机制存储观测数据并进行在线加权，完成模型的自适应更新。项目成果可以扩展到多模态视觉检测、跟踪、识别任务，并为提高无人机复杂场景下的环境感知能力提供理论和关键技术支持。

随着城市化进程的逐步加快和城市地位的日益提高，城市仍旧是未来战争的重要战场之一。城市作战建筑密集，战场环境复杂。随着无人机技术在军事和民用领域应用的不断普及，无人机对地目标跟踪受到越来越多的关注,无人机作为高机动性装备常担负起环境侦察任务。.可见光相机和红外热成像仪是无人机搭载的两种常用成像传感器。现有的视觉跟踪算法适用于单模态（可见光或红外）观测数据，不能有效地利用双模态（可见光和红外）数据的互补特性。为解决这一问题，本项目开展基于深度学习的无人机可见光/红外双模态视觉跟踪方法研究。利用轻量级卷积网络架构和孪生网络架构搭建适用于无人机平台的双模视觉跟踪卷积神经网络。利用可见光/红外训练数据集对双模态跟踪网络进行离线训练。基于此本团队结合边缘计算和人工智能技术，将算力强大的NVIDIA AGX Orin边缘端改造为机载计算机搭载在大疆M300上，加入图传模块和稳压供电模块成功搭建了一套可拓展的无人机实时侦察系统。团队设计的系统选用搭载变焦、红外和广角相机的禅思H20T云台作为图像采集模块，团队基于ROS操作系统实现了无人机在飞行过程中对行人、汽车等目标的实时跟踪。其中实时跟踪速度达到24FPS。.整套系统稳定、鲁棒性强、可扩展性高，加之设计的机载计算机算力强大，在实际使用中还可根据需求快速编程实现更多扩展性功能，目前系统支持C++和Python两种开发环境。在未来，团队搭建的这套系统还将在消防救援、警用安防、边境巡逻等方面发挥重要作用。项目成果可以扩展到多模态视觉检测、跟踪、识别任务，并为提高无人机复杂场景下的环境感知能力提供理论和关键技术支持。