基于分层与或图模型的光学遥感图像场景理解方法研究

Scene understanding based on optical remote sensing image is of great value to earth environmental observing and other applications. In optical remote sensing Image, serious occlusions among objects and large deformations of objects pose huge challenges to conventional scene understanding methods. To solve these problems, scene understanding based on hierarchical And-Or-Graph Model for optical remote sensing image will be studied in this proposal. To handle the occlusion problem, the hierarchical And-Or Graph (HAOG) model will be constructed. In the HAOG, a scene will be hierarchically decomposed into multiple super-pixels. In addition, the HAOG integrates context, appearance, geometry, structure, and probability information in the scene. Therefore, the proposed HAOG can accurately describe a scene, objects in the scene, and the relationships among objects. Moreover, the HAOG can predict the occluded object parts, interpret the occlusion ordering, and achieve accurate understanding for scene with object occlusions. To solve the deformation problem, a bidirectional inference with attribute grammar will be studied to parse scenes. Based on the HAOG, a small number of production rules in attribute grammar and bidirectional inference will be integrated to obtain a large number of scene configurations from scene images. Therefore, our method can adapt to the large deformation of objects in scene images. Our method will be utilized to analyze city's green area from optical remote sensing image for verifying effectiveness. The proposed work in this proposal is beneficial to promote the application of scene understanding for optical remote sensing image in earth environmental observing and other fields.

光学遥感图像场景理解对地球环境观测等领域有重大应用价值。光学遥感图像中目标间严重遮挡和目标剧烈形变给常规的场景理解方法带来了巨大挑战。为了解决严重遮挡和剧烈形变问题，本项目开展基于分层与或图模型的光学遥感图像场景理解方法研究。针对遮挡问题，本项目构建分层与或图模型精确描述场景、场景目标及目标间关系，并融合场景中目标上下文、外观、几何、内部结构、概率等多种信息，实现对存在严重遮挡的场景的准确理解，并解释目标间遮挡顺序，预测被遮挡部分；针对形变问题，本项目构建双向推理算法和基于分层与或图模型的属性语法，重构出大量不同结构的场景，实现对存在目标剧烈形变的场景的精确理解。利用本项目方法分析统计城市光学遥感图像中的绿化面积，验证本项目方法的有效性。本项目研究将有助于促进基于光学遥感图像的场景理解方法在地球环境观测等领域中的应用。

光学遥感图像场景理解对地球环境观测等领域有重大应用价值。光学遥感图像中复杂背景和目标尺度变化大给常规的场景理解方法带来了巨大挑战。.针对复杂背景和目标尺度变化大问题，本项目结合与或图模型与深层神经网络描述光学遥感图像场景，提出混合卷积神经网络（hybrid convolution network，HCN）建模与或图图节点，HCN融合多粒度子网络（包含一个细粒度的VGG，一个中粒度的改进U-Net，一个粗粒度的FCN（Fully Convolutional Network）），提高了复杂光学遥感图像中多尺度目标的分割精度；考虑到HCN复杂的网络结构会影响其目标分割的速度，进一步提出了Y型神经网络（Y-Net,利用两个子网络融合深层语义和深层细节特征），实现了在提高目标分割精度的同时不明显减慢目标分割的速度。基于上述与或图模型，利用双向推理算法执行光学遥感图像场景理解。.为了验证本项目方法的有效性，项目组执行了精度测试实验和对比实验。在实验中，首先构建了高清光学遥感图像训练数据集和测试数据集，基于训练数据集训练模型参数，然后基于训练好的模型，对测试数据集执行图像场景理解。在精度测试实验中，针对测试数据集，计算了平均精度、像素精度、平均交并比、加权交并比、平均dice系数、matthew相关系数、ROC（receiver operating characteristic）曲线、AUC值。在对比实验中，将本项目方法与现有主流方法VGG、FCN、U-Net、SegNet、CasNet、FC-Densenet（Fully Convolutional DenseNet）进行了上述精度指标的对比，对比结果展示了本项目方法针对复杂高清光学遥感图像中多尺度目标具有更高的识别分割精度。.上述相关研究成果项目负责人以第一作者已发表和接收SCI检索的国际期刊论文2篇，EI检索的国际会议论文1篇，以通讯作者已发表和接收EI检索的国际会议论文3篇，以第一发明人已受理国家发明专利4项。基于本项目方法，项目组针对高清光学遥感图像道路自动识别、城市绿化面积统计方面实现了初步应用。本项目研究在基于光学遥感图像的环境变化监测、灾害监测等方面具有潜在的应用前景。