基于深度卷积生成式对抗网络的超高空间分辨率遥感图像场景分类方法研究

Recently, as a newly-born technique in artificial intelligence, deep learning has played a very significant role in solving very high spatial resolution remote sensing image scene classification problems. However, existing studies are mainly based on the pre-trained deep neural networks derived from the natural image field, without considering the matching issues between the network architecture and the characteristics of remote sensing images (e.g., multi-spectral bands and large image sizes). This, to a large extent, hinders the application of deep learning in remote sensing image scene classification. Therefore, it is of great significance to construct and train a well-generalized deep neural network model of remote sensing field. This project takes the advantages of deep convolutional generative adversarial networks (DCGAN) in data generation and feature learning. First, the method of large-scale training set generation will be studied. Then, on the basis of the large-scale training set, a remote sensing oriented deep neural network will be studied and trained to realize the feature learning and classification of very high spatial resolution remote sensing scene images. Finally, the algorithms will be tested in the application of land-use scene recognition in urban functional areas. In summary, the technological breakthrough of this project is expected to provide new ideas and solutions to the utilization of deep learning in very high spatial resolution remote sensing image scene classification.

近年来，深度学习作为一项新兴的人工智能技术，在解决超高空间分辨率遥感图像场景分类问题中发挥了显著作用。然而，目前的研究主要借助的是基于自然图像大样本集训练出的深度神经网络模型，没有考虑网络结构与遥感图像多波段、大尺寸等数据特点的匹配性问题，很大程度上制约了深度学习在遥感图像场景分类应用中的进一步推广。因此，构建并训练遥感领域特有的、具有较强泛化能力的深度神经网络模型成为推进深度学习在遥感图像场景分类中深入应用亟需解决的问题。本项目利用深度卷积生成式对抗网络在样本仿真和特征学习两个方面的特点，首先研究遥感场景图像大样本集构建方法；之后，在大样本集的基础上训练面向遥感领域的深度神经网络模型，解决超高空间分辨率遥感场景图像的特征自学习与分类问题；最后，开展城市功能区场景分类应用示范与算法验证。本项目的研究有望为深度学习在超高空间分辨率遥感图像场景分类中的应用提供新的研究思路。

近年来，深度学习作为一种可以自适应学习图像高层次抽象语义特征的方法，在解决高空间分辨率遥感图像场景分类问题中发挥了显著作用。然而，有标注训练样本不足的问题极大地限制深度学习在遥感图像分类中的直接应用。虽然许多研究试图使用基于图像变换的数据增强方法处理这个问题，但是这类方法在扩增样本的数量和多样性上都十分有限。生成对抗网络（Generative adversarial networks, GAN）作为一种新的产生式方法，为高效扩充样本集带来了新思路。本项目利用深度卷积生成式对抗网络在样本仿真和特征学习两个方面的特点，分别研究了遥感场景图像大样本集构建方法，面向遥感领域的深度神经网络模型构建与遥感场景图像的特征自学习与分类方法，开展了城市功能区场景分类应用示范与算法验证。项目组一方面实现了对样本数据的有效扩增，提出一种基于自筛选生成对抗网络SiftingGAN的样本扩增方法和真、仿样本混合加权训练的数据增强方法，完成了基于自筛选生成对抗网络的遥感场景分类示范；另一方面提升了高分辨率遥感图像的特征自学习与表达能力,比较研究了CNN网络中间层自学习特征表达能力，提出了一种考虑空间关系信息的CNN-CapsNet遥感场景分类模型。此外，公开发布遥感场景数据集RSC11一套。本项目的研究成果有望为深度学习在超高空间分辨率遥感图像场景分类中的应用提供新的研究思路。