基于深度随机场的高空间分辨率遥感影像多语义分割

Geographic object-based image analysis (GEOBIA) method represents the development trend of the information extraction from high spatial resolution remote sensing images, but it still faces challenges: (1) semantic structure is lack of theoretical definition and reasonable representation, leading to objects of different semantic layers that usually cannot be interpreted simultaneously; (2) image feature extraction often relies on the experiments of the researchers, and there may be redundancy between different types of features; (3) GEOBIA methods lack collaboration with the pixel-based methods. In order to solve these problems, this study introduces the deep-structured feature into the Markov random field (MRF) model and combines the benefits of pixels and region primitives for the statistical multi-semantic-layer segmentation of remote sensing images. Firstly, the semantic network, which drives the multi-layer segmentation, is established based on the geospatial cognition theory. Secondly, it will study how to use the pixel primitive and region primitives with different granularities to build the multi-scale probability graph by analyzing the characteristics of the pixel-based and object-based methods. Thirdly, the deep MRF (DMRF) model is defined on the multi-scale probability graph. It can integrate the deep-structured feature and other experiment features, and represent the semantic information of each layer and the interactions between different layers. Lastly, it will learn the collaboration between image features and semantic information in the deep MRF model during the iterations of solving the model, and provide the hierarchical semantic segmentation algorithm for remote sensing images. This study can provide a new way to automatically interpret the high spatial resolution remote sensing image and has the important theoretical and application value.

面向对象的分析方法成为了高空间分辨率遥感影像信息提取的发展趋势，但仍面临诸多挑战：地物语义信息尚欠缺合理的定义与表示方法，难以实现多层次语义的同时解译；影像特征提取往往依赖研究经验，不同类型的特征间可能存在冗余；缺乏与像素级方法的有效协同。针对上述问题，本课题在探索深度结构特征的基础上，研究像素与区域基元协同的遥感影像多语义层次统计分割。首先，基于地理空间认知理论，研究指导多层次解译的语义网络；然后，研究像素级与对象级方法的优缺点，探索由像素和不同粒度区域基元构成的多尺度概率图；其次，在概率图上进行深度马尔科夫随机场模型建模，研究对深度结构特征和其他经验特征的综合建模方法，研究不同层次语义的表述及相互间的关系刻画；最后，研究模型迭代求解时多类型特征与多层次语义在层内与层间的相互作用机理与协同方法，设计多语义层次分割算法。项目研究有望为遥感影像自动解译提供一条新思路，具有重要的理论和应用价值

遥感是我国的重大需求和重大专项之一，在社会民生和军事国防等领域有着诸多应用。近年来，传感器技术和遥感数据信息处理技术的进步促进了遥感学科的发展。但是，遥感影像空间分辨率的提高加剧了同物异谱和异物同谱现象，为自动化和智能化地解译高分辨率遥感影像数据、提取地物信息带来了新挑战。. 由于遥感影像中同类地物的特征和空间分布往往呈现出地学的统计规律性，因此统计语义分割方法的发展提升了遥感影像智能解译的水平。然而，在高分辨率遥感影像中，地物多尺度的特征得以彰显、多层次的语义解译与推断成为可能，如何结合影像不同尺度特征的优势、实现多层次语义信息的表示与运算成为了智能解译的关键。针对上述问题，在国家自然科学基金委的资助下，项目组成员以马尔可夫随机场（MRF）模型为理论工具，研究了多尺度特征与多层次语义协同的深度MRF随机场模型。具体而言，首先，研究了MRF模型对不同粒度基元的概率图构建，提出了像素与对象混合粒度基元建模、不同粒度对象基元多尺度建模的多尺度概率图构建方法。然后，在构建的多尺度概率图基础上，研究了多类型特征在MRF模型中的集成建模，提出了多粒度特征MRF模块、似然函数特征子场等不同粒度基元特征建模的方法；研究了在深度结构下不同尺度的特征与不同层次的语义协同建模的深度MRF随机场模型，提出了以某一粒度下某一层次语义的MRF模型为基本模块、在不同模块间以深度结构网络进行交互作用的深度随机场语义分割框架，该理论框架的提出也初步实现了本项目研究的最核心内容。最后，研究了上一步提出的MRF模型的参数估计与模型求解方法，提出了基于最大后验概率准则的条件迭代更新、基于混合粒度基元交互迭代的概率推断准则、基于贝叶斯决策准则的概率推断等模型求解方法。此外，在上述工作基础上，初步探索了在农作物遥感识别方面的应用。上述结果表明，研究多尺度多语义的深度MRF模型是一条可行的思路，对高分辨率遥感影像智能解译具有重要的理论价值和应用意义。