遥感影像中典型人工目标自动提取的多层次视觉认知计算方法

Automatic extraction of man-made objects （i.e. buildings） in remote sensing images is very useful for fast collection of geographic information, which remains an unsolved problem. Simulating Human Visual System (HVS) by employing visual computing models is a feasible approach to implement robust and efficient object extraction. Spatial context and scene information play key roles in visual computing of object extraction from remote sensing imagery. Based on the theories of global preference and scene-object relation in visual perception, we propose a framework of hierarchical processing: ‘sub-scene perception - saliency region extraction of man-made objects - object extraction’. In this approach, the low level visual information, selective attention, shape information and high level semantic information are integrated to accurately extract the individual objects. In this framework, the critical issues to research are (1) accurate sub-scene classification and semantic information (knowledge) extraction; (2) Knowledge guided extraction of man-made object context aware salient region, as well as spatial context supported object detection; (3) object localization and shape reconstruction by embedding shape constraints or shape priori. The project will also leads to the production of a new bigger and better remote sensing image data set with label, which will be publicly available for use by the researchers in the world. On the other hand, it is scientifically meaningful in the interdisciplinary research of computer vision and remote sensing.

遥感影像上典型人工目标(例如建筑物)的自动提取可以快速获取地理要素信息，是未解决好的重要问题。模拟人类视觉感知的视觉认知计算是实现鲁棒、高效提取的有效思路。针对遥感影像视觉感知中目标上下文和场景信息的关键作用，依据视觉认知中的“大范围优先”和场景中目标的视觉感知机制，提出“子场景感知-人工目标显著区域提取-目标提取”的多层次处理框架，通过高层语义信息、选择性注意、底层视觉信息以及目标形状信息的整合实现目标的检测与形状提取。主要研究（1）遥感影像场景自动分类与语义信息(知识)提取方法；（2 ）场景知识引导的，上下文感知的人工目标显著区域提取、上下文支持下的目标自动检测；（3）嵌入形状先验或约束的人工目标单体化与形状精确重建。项目的研究将为研制全自动的提取系统奠定基础，并生产一个新的更大、更好的遥感影像标注数据集公开供全球研究者使用。作为计算机视觉与遥感的交叉研究，它也具有一定的科学意义。

遥感影像上典型人工目标(例如建筑物)的自动提取可以快速获取地理要素信息，是未解决.好的重要问题。模拟人类视觉感知的视觉认知计算是实现鲁棒、高效提取的有效思路。针对遥感影像视觉感知中目标上下文和场景信息的关键作用，依据视觉认知中的“大范围优先”和场景中目标的视觉感知机制，提出“子场景感知-人工目标显著区域提取-目标提取”的多层次处理框架，通过高层语义信息、选择性注意、底层视觉信息以及目标形状信息的整合实现目标的检测与形状提取。主要研究内容和成果如下：1. 遥感影像场景自动分类与语义信息(知识)提取方面,（a）提出一种顾及细粒度信息与深度残差网络的遥感影像场景分类方法，有效提高遥感影像场景的分类精度；（b）提出了一种多视多模表达对空间稀疏分布的特征进行提取的三维场景自动识别方法。2. 遥感影像自动解译的场景信息嵌入方面，提出一种归一化模态类别损失的场景类别与语义分割类别均衡化算法，增强了解译的准确性；3. 在人工目标的自动检测和形状提取方面，（a）提出一种变分优化的人工地物的自动分割方法；（b）提出种子信息引导的面状目标精确分割算法；（c）密集、小型人工目标（建筑物）的检测算法，提出通过生成目标中心点候选、目标Objectness得分评估以及目标位置优化这样一种级联深度网络实现小目标的检测；（d）基于道路的几何与拓扑先验知识的道路自动提取方法，通过道路节点预测与连接性估计的实现遥感影像道路提取和拓扑信息构建。4. 样本集制作方面，通过自动-半自动方法制作了EvLab影像解译样本集，包含了包括QuickBird、GeoEye、ZY-3、WorldView卫星，以及SWDC传感器等17种不同卫星或者航片类型影像约6万样本供公开发布，供研究者使用。