注意力机制驱动的高分遥感影像语义分割方法

In the era of remote sensing big data, the demand for high-performance semantic segmentation of high-resolution remote sensing image has become increasingly urgent and has always been an open problem in the field. However, the existing semantic segmentation system of high-resolution remote sensing image is isolated from the object and lacks of cooperative interference of context information, causing an obvious ambiguity in the semantic segmentation of remote sensing image, and a reduced precision. This project is inspired by the top-down cognitive mechanism guided by prior knowledge in human vision, we introduce the context and attention mechanism, make fully use of local context information reasoning, and propose a pixel level semantic segmentation annotation of remote sensing image based on crowd sourcing vector-grid data geo-reference, establish a scene object context-driven representation method for ground features in remote sensing image, construct an attention-mechanism driven semantic segmentation model, and implement an instance-level semi-supervised semantic segmentation method of remote sensing image based on attention migration to achieve the goal of high-performance semantic segmentation of high-resolution remote sensing image. This project will provide a new research perspective and theoretical approach for the semantic segmentation of high-resolution remote sensing image, and provide key theoretical basis and technical support for typical high-resolution remote sensing image applications such as image retrieval, scene understanding, target recognition, and change detection.

遥感大数据时代，高分遥感影像的高精度语义分割需求日益迫切且一直是领域内的开放性难题。然而现有高分遥感影像语义分割体系对对象的理解是孤立的，缺乏上下文信息协同性推理，导致遥感影像语义分割中的二义性现象明显，因而精度下降。本课题从人类视觉中先验引导的自顶向下的认知机制启发下，引入上下文及其注意力机制，充分利用局部上下文信息推理，提出基于众源矢量-栅格数据配准的像素级遥感图像语义分割标注方法，建立场景对象上下文关系驱动的遥感影像地物要素的表达方法，构建注意力机制驱动的遥感图像语义分割模型，实现基于注意力迁移的实例级别半监督遥感图像语义分割方法，达到高分遥感影像的高精度语义分割的目的。本项目将为高分辨率遥感影像语义分割提供新的研究视角和理论途径，为影像检索、场景理解、目标识别、变化检测等典型高分辨率遥感影像应用提供关键理论依据和技术支持。

遥感大数据时代，高分遥感影像的高精度语义分割需求日益迫切且一直是领域内的开放性难题。然而现有高分遥感影像语义分割体系对对象的理解是孤立的，缺乏上下文信息协同性推理，导致遥感影像语义分割中的二义性现象明显，因而精度下降。本课题从人类视觉中先验引导的自顶向下的认知机制启发下，引入上下文及其注意力机制，充分利用局部上下文信息推理，建立场景对象上下文关系驱动的遥感影像地物要素的表达方法，构建注意力机制驱动的遥感图像语义分割模型，实现基于注意力迁移的遥感图像语义分割方法，达到高分遥感影像的高精度语义分割的目的。为高分辨率遥感影像语义分割提供新的研究视角和理论途径，为影像检索、场景理解、目标识别、变化检测等典型高分辨率遥感影像应用提供关键理论依据和技术支持。.主要研究内容包括：（1）基于注意力机制的高分辨率遥感影像语义分割方法，针对特定场景下高分辨率遥感影像中的类内方差大、类间方差小的问题，提出了一种利用注意力机制改进的语义分割网络，它可以通过抑制无关类别的干扰、增强类内一致性来增强深度神经网络的特征提取能力；（2）基于双注意力机制的全卷积孪生神经网络高分遥感图像变化检测方法，基本思想是采用双注意力机制来定位变化区域，并且得到更具有判别性的特征表达；（3）基于多路径协同和注意力增强的遥感影像建筑物提取方法，通过多路径协同提取多尺度特征，高分辨率特征提取路径维持建筑物边缘的空间细节特征和小尺度建筑物的特征，低分辨率特提取路径挖掘建筑物的全局特征；将提取的不同尺度特征融合后，利用基于注意力机制的空间和通道特征增强方法进行特征优化，提高建筑物提取结果的完整性；（4）基于全注意力自监督模型的遥感影像场景分类方法，首先，为了摆脱对比学习过程中对负样本的依赖，本研究利用同一张图像的不同version输入网络进行自蒸馏对比学习，不额外引入随机负样本图片；其次，应用hierarchical vision transformer architecture作为骨架，此结构可以捕捉RSI的上下文信息，同时保持RSI的空间平滑性；最后，本工作对图像进行version变换时融入尺度信息，从而在网络训练过程中增加对RSI多尺度特征的获取。.本项目研究基本实现了预期目标，为理解遥感上下文和注意力机制的关系提供了新的研究角度和解决思路，扩展了遥感影像理解研究的边界和广度。公开发表学术论文6篇。