基于语义嵌入生成对抗网络的高分辨率遥感影像内容理解与描述

High-resolution remote sensing images have the characteristics of rich information and multi-scale. The land-covers class level interpretation by existing methods cannot solve the problem of "semantic gap" between classification results and high-level scene semantics. Aiming at this problem, exploring the characteristics of pixel space, scene space and semantic space of high resolution remote sensing data, the remote sensing image semantic text description is studied in the project by designing Semantic Embeded Generative Adversarial Networks model for remote sensing image and utilizing natural language processing technology. Specifically, the topics include: 1) designing Region Generative Adversarial Networks for remote sensing image target detection and extraction; 2) analyzing the logical characteristics of Remote Sensing Image Corpus and proposing a method for remote sensing text representation based on Long-Short Term Memory Networks; 3) analyzing the correlation between image and text information, and designing text prediction model based on Deconvolutional Generative Adversarial Networks. By this study it is expected to achieve a robust and accurate text description of the high-resolution remote sensing scene semantic, and provide effective decision support for practical applications.

高分辨率遥感影像具有地物信息丰富、多尺度等特性，现有方法对其地物类别层次的解译无法解决分类结果与高层影像语义之间存在的“语义鸿沟”问题。针对该问题，本项目挖掘高分辨率遥感数据影像像素空间、场景空间、语义空间的结构特性，针对标记样本有限的问题，设计语义嵌入生成对抗网络模型，借助自然语言处理技术，探索遥感影像内容理解与描述的理论与实现。具体内容包括：1）设计区域生成对抗网络，实现遥感影像目标检测与提取；2）研究遥感影像语料库逻辑特性，构建基于长短时记忆网络的遥感文本特征表示方法；3）分析影像信息与文本信息的相关性，设计基于反卷积生成对抗网络的文本预测模型。期望通过上述研究，实现鲁棒、准确的高分辨率遥感影像内容理解与描述，为实际应用提供有效的决策支持。

本项目针对遥感影像中地物信息丰富，数据量大等特点，充分挖掘遥感数据影像空间、场景空间、语义空间的特性，分析遥感影像目标的多尺度特性，构造基于多尺度学习的遥感影像目标检测器；提出了基于长短时记忆模型的遥感影像场景文本表示，充分挖掘文本信息中隐含的逻辑性和顺序性；建立视觉-语义关系学习模型，提出了基于关系学习的遥感影像语义文本生成，从而建立了多层级（像素级，目标级，语义级）的高分辨率遥感影像内容理解与描述方法。项目圆满完成了计划书规定的研究内容，实现了预期研究目标。研究成果发表论文53篇，其中SCI检索的国际期刊论文46篇，中科院分区一区、二区论文38篇，申报国家发明专利8项（其中授权7项），培养博士和硕士11人。项目负责人于2017年入选“青年长江学者”。2018年指导研究生获得由载人航天工程办公室主办的“天宫数据利用大赛”创新应用类冠军。2019年指导研究生在国家自然科学基金委信息学部主办的“遥感图像稀疏表征与智能分析”竞赛，分别获得遥感视频目标跟踪赛道一等奖、遥感图像目标检测赛道获三等奖。2020年所带领的“复杂影像智能感知与解译创新团队”入选陕西高校青年创新团队。