基于深度学习的高分辨率遥感影像建筑物检测与实例分割研究

Building damage assessment is the main content of disaster loss assessment. Building outline data is the data basis for quantitative damage assessment of a single building. At present, there are some bottlenecks in building target detection algorithms based on Deep Learning: (1) Neural networks structure with fixed convolution kernels cannot adapt to buildings of various sizes, resulting in insufficient ability of multiscale response; (2) The lack of priori knowledge in spatial distribution and spectral differences limits the accuracy of detection and segmentation model; (3) The target detection method can only obtain building bounding boxes, and the semantic segmentation method is not effective in the concentrated contiguous building area. Based on the existing work, this project aims to study buildings extraction algorithms from high-resolution remote sensing images in three aspects: (1) Introduce dynamic receptive fields to improve the ability of convolutional neural networks to adapt to multi-scale building targets; (2) Introduce spatial and spectral domain prior knowledge of building to improve the accuracy of detection and segmentation of deep neural network for building targets; (3) Based on the target detection algorithm, introduce multi-level feature fusion and establish the network branch of segmentation location sensitive score map, and finally form an end-to-end instance segmentation algorithm for single building. The research results of this project will make important contributions to disaster prevention and reduction.

建筑物损毁评估是灾害损失评估的主要内容，建筑物轮廓数据是开展定量化的单体建筑物损毁评估的数据基础。基于深度学习的高分遥感建筑物目标检测算法目前存在以下瓶颈：（1）固定卷积核神经网络结构无法适应大小多变的建筑物，导致多尺度响应能力不足；（2）空间和光谱领域先验知识匮乏限制了检测分割精度的提高；（3）目标检测方法只能得到建筑物包围盒，语义分割方法在集中连片建筑物区域效果不佳。本项目在已有工作基础上，针对高分遥感建筑物提取从3个方面开展研究：（1）引入动态变化感受野以提高卷积神经网络对多尺度建筑物目标的适应能力；（2）引入建筑物空间、光谱领域先验知识以改善深度神经网络对建筑物目标的检测分割精度；（3）在目标检测算法基础上，引入多层次特征融合及建立分割位置敏感分数图网络分支，最终形成端到端的单体建筑物实例分割算法。本项目研究成果将为防灾减灾工作做出重要贡献。

建筑物损毁评估是灾害损失评估的主要内容，建筑物轮廓数据是开展定量化的单体建筑物损毁评估的数据基础。项目组以实例分割算法为基础，从高分遥感建筑物目标检测、目标分割、顶点回归、图像融合、变化检测等方面开展算法研究，提高了高分遥感建筑物轮廓提取精度。首先，研究基于Mask RCNN框架的单体建筑物实例分割算法，一是在网络的位置预测分支加入方向参数，同时将RFB模块嵌入到分割分支中；二是采用了ShuffleNet作为网络主干来提取建筑物特征，在特征金字塔、可变卷积和多维注意力模块之后，构建了分类器、方向盒、包围盒和分割掩码4分支头部网络；三是利用ROI-Align得到建筑物检测框的特征图，然后使用基于注意力机制的长短时记忆网络对建筑物轮廓进行顶点预测，提高了建筑物轮廓提取的精度。其次，开展了深度学习图像融合算法研究，一是提出了一种基于生成式对抗网络的非监督图像融合方法，二是提出了一种基于循环一致性损失的非监督图像融合方法，三是提出了一种基于Transformer模型的图像融合方法，四是提出了一种基于特征一致性损失的特征融合方法，有效提高了图像融合质量，提高了建筑物检测精度。再次，开展了基于深度学习的建筑物目标检测算法，一是提出了一种采用紧致四边形表示的建筑物目标检测方法，二是提出了一种融合视觉注意力、尺度金字塔和可变形卷积三个模块的房屋目标检测算法，三是构建了一种可预测任意旋转角度的候选区域生成网络，有效提高了建筑物检测的精度。最后，开展了基于生成对抗网络、采用端到端的双分支结构的建筑物变换检测方法研究。这些算法在应急管理部国家减灾中心进行了集成部署，针对新发灾害开展了应用示范取得较好效果。研究成果在国际学术期刊上发表论文8篇，其中SCI检索7篇；已在ICASSP、ICME国际会议上发表论文各1篇；已申请国家发明专利4项，其中授权3项、受理1项；培养了应急管理部国家减灾中心青年科研人员4人、北航青年教师2人，博硕士研究生4名，其中1名博士生已毕业，并获北航优秀毕业生。