基于条件生成对抗网络和全卷积架构深度神经网的高分辨率遥感影像分类方法研究

In the field of high resolution remote sensing image supervised classification, majority of the methods lack the end-to-end classification ability, which leads to the difficulty of methods’ application, a large number of remote sensing images are idle, the classification results are hard to reuse and the classification data products cannot be obtained. In the deep learning field, the fully convolutional network (FCN) structured deep neural network is a good solution for the end-to-end, pixel-wised image classification. However, both training and architecture optimization of FCN require a large amount of sample and computational resources, which greatly limits its application in the field of remote sensing classification. To address these problems, this project focuses on the research of high resolution remote sensing image classification based on conditional generative adversarial network (CGAN) and fully convolutional network structured deep neural network. Through CGAN, a controllable procedure of remote sensing image patch generation can be realized, and the bottleneck of remote sensing sample amount can be solved; The construction of FCN is divided into two parts: encoding and decoding, the deep neural network was optimized and trained step by step; Furthermore, classification models and classification tasks can be described, and end-to-end classification is realized, pre-trained network and training sample can be reuse; the sharing of remote sensing classification knowledge is achieved; and cost-effective of depth model is improved. This study is expected to obtain high-accuracy end-to-end high resolution remote sensing image classification models to solve the problems of the current remote sensing application field.

面对高分辨率遥感影像监督分类，多数算法缺乏端到端的分类能力，进而导致算法应用困难、大量影像闲置、分类成果难以重用、无法形成分类数据产品。在深度学习领域，基于全卷积架构的神经网分类模型是进行端到端的、逐像元的影像处理的良好解决方案。然而该模型的训练和架构优化均需要大量的样本和计算资源，这极大限制其在遥感领域的应用。针对以上问题，本项目拟开展基于条件生成对抗网络和全卷积架构深度神经网的高分辨率遥感影像分类方法研究。通过条件生成对抗网络实现可控的遥感影像块样本生成，解决样本量瓶颈；将全卷积架构神经网的构建划分为编码和反编码两部分，分步完成深度模型优化和训练；同时，对遥感分类模型和分类任务进行描述，实现已有分类模型端到端、预训练以及样本的重用，实现遥感分类知识的共享与模型的再利用，提高深度模型的性价比。通过本研究有望获得具有较高分能力的端到端高分辨率遥感影像分类模型，解决当前遥感应用所面临的问题。

当前进行利用深度学习方法进行高分辨率遥感影像分类已经成为遥感研究领域的主流。然而，深度模型高度的依赖于训练数据，想要获得高质量的深度模型势必需要付出较大的时间成本或工作代价，这极大限制了深度学习技术在很多场景下的应用。. 为了提高深度模型的应用价值，降低深度遥感分类工作的成本，本项目开展了基于条件生成对抗网络和全卷积架构深度神经网的高分辨率遥感影像分类方法研究，主要进行了：深入分析深度语义分割网络模型，基于大量数据对模型结构的特性进行分析，查找影响模型的分类效果的关键因素；以端到端为主要处理框架，分析遥感逐像元分类的各个环节，查找当前主流方法中可能存在缺陷或低应用价值的因素，尽力提高模型的可重用能力和训练价值；整合总体和局部遥感分类结果评价方法，实现渐进和逐步调整的分类处理结果优化理论，构建了一系列相对稳定和健壮的深度分类方法；基于实验结果，提出了遥感样本中空间多样性是影响模型分类能力的关键因素的观点，并引入生成的条件生成对抗网络，通过自动生成样本显著提高了样本的空间多样性，并进一步提高了端到端语义分割网络的处理效果。. 在课题资助下，项目团队提出了一系列方法在消除深度面向对象分类中的边界异常、复杂分割结果中地物边界优化、小样本的场景分类、引入空间多样性的语义分割、简化的深度面向对象处理流程、无监督深度分割方面均取得了进展，在精度、分类效果、样本集构造的成本方面均优于传统方法。利用本项目的方法，可以用相对小的代价构造高质量的端到端高分辨率分类模型，具有较好的应用价值。在项目研究期间发表SCI论文9篇，获得发明专利授权6项，申请发明专利2项，获得软件著作权1项。