面向大规模高分辨率遥感图像的场景语义分类

Large scale scene classification using high-resolution remote sensing images is a frontier topic in intelligent interpretation for remote sensing information. This project focuses on solving the issues in remote sensing scene classification, which are lack of labeled scene data, underutilized large amounts of unlabeled data and the missing discriminative high-level semantic representation. Firstly, in order to substantially reduce the workload of manual annotation, we introduce human-machine interactive techniques to semi-automatically annotate a large-scale scene dataset; based on the annotated dataset, we construct deep convolutional neural networks adapted to remote sensing scenes, making the process of scene classification in an end-to-end way. Secondly, in the case of limited labeled scene samples, a large amount of unlabeled scene images are used to effectively train the generative adversarial network and exemplar convolutional network in unsupervised manners, and the high-level features learned from the networks are then transferred to supervised scene classification. Finally, considering the multi-label issue in complex scenes, we employ the generative adversarial networks to construct specific feature space for different class labels, and unearth the associated information between the class label and feature space, achieving the large scale scene classification. The research results of this project are expected to construct an effective scene classification framework for large-scale dataset, and provide both data foundation and technical supports for practical application of scene classification.

大规模高分辨率遥感图像场景分类是当前遥感信息智能解译的研究前沿。本项目针对当前大规模遥感图像场景分类所面临的标注数据不足、无标记数据潜力尚未充分挖掘、高层语义描述缺失等问题展开研究。首先，通过研究人机交互的半自动遥感图像标注，大幅降低人工标注的成本并同时提高标注精度，构建一个大规模的遥感场景参考数据集；在此基础上，构建和训练针对遥感场景数据特性的深度学习模型，实现端到端式的场景分类；其次，在标注样本少而无标签数据规模大的情况下，研究如何无监督地训练生成式对抗网络和样例卷积神经网络，提取场景高层语义特征；最后，针对复杂场景的多标签问题，利用生成式对抗网络挖掘标签与特征空间之间的关联信息，实现大规模遥感图像的场景分类。本项目可望构建一个大规模遥感图像场景分类的框架，为场景分类的实际应用提供数据基础、理论方法与技术支撑。

大规模高分辨率遥感图像场景分类是遥感信息处理的重要任务。项目组自获得国家自然科学基金资助后，严格按照拟定的进度安排开展相关研究，并取得了多项研究成果。项目组建立了大规模遥感图像场景数据集自动化构建方法，收集并整理了百万级遥感图像场景分类数据集，该数据集可以作为遥感图像场景分类算法的测试基准，同时可用于数据驱动的遥感图像解译算法模型的训练优化；提出了基于稀疏自编码特征的场景分类方法，实现了非监督学习下遥感场景局部特征的自适应提取；提出了基于深度稀疏表达的遥感场景分类法方法，有效提升了场景低层特征的表达能力；提出了基于深度主题特征的遥感场景表达模型，实现了概率潜在语义和卷积深度特征的结合；提出了局部语义增强卷积神经网络并应用于遥感场景分类，能够从不同语义类别中充分感知关键局部区域的场景语义信息；提出了一种基于多粒度多实例的表征学习方法并用于遥感图像场景分类，可将多粒度多实例学习以可训练、端到端的形式融合到现有深度学习模型中；提出了利用视觉转换器自注意力特性对语义标签进行相关性建模的方法，将建模后的具有更多相关语义信息的标签嵌入向量送入到分类器中，有效减少了多标签分类的输出空间；构建了大规模遥感图像场景目标检测数据集，可以为遥感图像多方向目标检测算法研发和测试提供数据集支撑；提出了高效获取旋转候选矩形框和提取旋转区域特征的方法，有效解决了遥感图像多方向目标与旋转区域特征难以对齐齐的问题；提出了基于多尺度聚合深度特征的遥感图像分类方法，实现对高分图像的准确土地覆盖分类；提出了基于语义内容关联的半监督迁移学习方法，利用源域和目标域之间地物语义的相关性，从无标注信息的目标域中筛选可靠的训练样本用于模型微调，实现深度网络模型的自动迁移。本项目完成了规定的研究内容，最终实现了大规模高分辨率遥感图像场景语义信息提取，为遥感图像的智能化信息处理提供了算法基础和技术支撑。