基于小样本深度学习的雷达图像人体行为识别方法

Human activity recognition in radar image has a wide range of applications in security, autonomous driving, and other fields. The deep learning method requires sufficient training samples to learn a large number of network parameters. Small sample learning has become an essential issue in the area of radar time-frequency image recognition. The main contents include: (1) studying radar time-frequency image data enhancement, proposing data enhancement methods based on radar time-frequency image simulation and the deep generative model, and expanding small-scale dataset into large-scale dataset; (2) studying small-sample transfer learning based activity recognition, proposing distillation transfer learning and transfer reinforcement learning methods, and transferring large-scale simulation dataset-based recognition model to small-scale measured dataset-based recognition model to obtain better generalization and robustness; (3) studying small-sample cross-modality activity recognition, using video-based recognition model to supervise radar image-based recognition model, and using videos (strong modality) to automatically label the radar images (weak modality) to solve the automatic labeling problem of radar images. This study deepens the theoretical basis of human activity recognition in radar image, enriches the small-sample deep learning models and methods, and provides theoretical support for solving small-sample problems in radar time-frequency image recognition.

雷达图像人体行为识别在安防、自动驾驶等领域有广泛的应用。深度学习方法需要大量的训练样本来学习海量的网络参数，小样本学习已成为雷达图像人体行为识别领域关注的重要问题。主要内容包括：（1）研究雷达时频图像数据增强，提出基于雷达仿真时频图像和深度生成模型的数据增强方法，将小样本集扩充为大规模样本集；（2）研究基于迁移学习的小样本行为识别，提出蒸馏迁移学习和迁移强化学习方法，将大规模仿真数据识别模型迁移至小样本实测数据识别模型，在小样本集上获得更优的泛化性和鲁棒性；（3）研究基于跨模态方法的小样本行为识别，采用视频识别模型监督雷达图像识别模型，解决大规模雷达图像的自动标注问题。本研究深化了雷达图像人体行为识别的理论基础，丰富了小样本深度学习模型和方法，为解决雷达时频图像识别中的小样本问题提供理论支持。

雷达图像人体行为识别在安防、自动驾驶等领域都有广泛的应用，现有基于深度学习的雷达图像人体行为识别方法往往需要大量的训练样本来学习海量的网络参数，小样本学习已成为雷达图像人体行为识别领域关注的重要问题。本项目主要研究内容包括：（1）研究雷达时频图像数据增强，提出基于雷达仿真时频图像和深度生成模型的数据增强方法，将小样本集扩充为大规模样本集；（2）研究基于迁移学习的小样本行为识别，提出蒸馏迁移学习和迁移强化学习方法，将大规模仿真数据识别模型迁移至小样本实测数据识别模型，在小样本集上获得更优的泛化性和鲁棒性；（3）研究基于跨模态方法的小样本行为识别，采用视频识别模型监督雷达图像识别模型，解决大规模雷达图像的自动标注问题。本课题深化了雷达图像人体行为识别的理论基础，丰富了小样本深度学习模型和方法，提出了小样本条件下具有泛化性和鲁棒性的人体行为识别方法，开展了包括深度生成网络、迁移学习、半监督学习在内的一系列算法研究，具体提出了对抗迁移学习架构、样本迁移学习算法、半监督语义迁移学习算法、基于有监督域间自适应的小样本人体行为识别模型等。通过创新性地设计多种具有稳定识别性能的雷达人体行为识别方法，解决了雷达图像人体行为识别中的小样本识别问题，形成了一个较为完整的雷达图像人体行为识别理论及技术体系，为解决雷达时频图像识别中的小样本问题提供理论支持。