基于大脑记忆机制驱动的高分辨率遥感影像连续智能理解方法

In the context of remote sensing big data, how to automatically analyze and understand remote sensing image in a fast and effective manner becomes an urgent problem facing with complex and variable task demands. From the perspective of visual perception and memory cognitive mechanism in vision understanding, we believe that the key to the intelligent understanding of high resolution remote sensing image is "the invariance of visual memory encoding", "overcoming catastrophic forgetting" and "close problem of deep learning ". As to the "the invariance of visual memory encoding" problem, we propose a viewpoint invariance measurement applied to deep convolutional neural networks and affine invariance measurement of inter-layer transformation based on visual saliency, and construct the hierarchy description model of inter-layer feature forgetting; Aiming at the problem that model forgetting previous task in continuous learning tasks, we present a method inspired by synaptic plasticity to overcome the catastrophic forgetting issue, and build an adaptive continuous learning model; To solve the deep learning sample and task close problem, we generalize the learning ability grounded on the invariance of task relation, then improve the learning ability of model by multi-task joint learning. Based on the cognitive mechanism of brain, we realize the ability of continuous learning of multiple remote sensing images by analyzing the encoding invariance of convolutional neural network and neural plasticity mechanism. This project contributes to improve the generalization ability of the intelligent understanding method of remote sensing image.

遥感大数据背景下，面对复杂多变的任务需求，如何快速有效地自动对遥感影像进行分析和理解成为亟待解决的问题。本研究从视觉理解中大脑视觉感知与记忆认知机理的视角分析，认为高分遥感影像智能理解关键问题在于“视觉记忆编码不变性”、“克服灾难性遗忘”和“深度学习封闭性”。针对深度学习编码不变性表达问题，提出深度卷积神经网络视点不变性度量方法和基于视觉显著性的层间变换仿射不变性度量方法，构建层间特征遗忘层次描述模型；针对学习连续的任务中模型遗忘前面任务能力的问题，提出神经突触可塑性机制启发的克服灾难性遗忘方法，建立自适应的连续学习模型；针对深度学习样本和任务封闭的问题，提出基于任务关系的不变性特征泛化学习方法，构建多任务联合学习改善模型学习能力。借鉴大脑认知机理，通过分析卷积神经网络的不变性表达编码与神经元可塑性机制，实现连续学习多个遥感影像理解任务的能力。项目研究将提高遥感影像智能理解方法的泛化能力。

针对目前主流深度学习模型建立在封闭世界假设，然而高分辨率遥感影像连续智能理解在实现开放世界面临着一系列问题，项目借鉴大脑记忆机制，构建具备跨多任务学习与记忆能力的高分遥感影像智能理解模型，并应用于长时序复杂地理环境的遥感制图。主要研究内容：（1）借鉴人类视觉注意机制，提出了一种结合空间和通道注意力机制的语义分割网络，并应用于高分辨率遥感影像场景分割；（2）提出一种多尺度深度特征不变性表达和融合模型，并应用于高分辨率影像分类；（3）针对连续学习在新任务遗忘问题，构建一个用于高分遥感影像场景分类的连续学习标准数据库；（4）针对不同影像数据与深度网络的学习特征之间鸿沟，提出一种理解遥感场景语义和设计影像自适应的卷积神经网络的新观点；（5）构建开放世界下的遥感影像理解记忆模型—认知机制启发的框架；（6）针对遥感影像理解深度记忆模型框架下记忆保持中的灾难性遗忘问题、记忆适应中记忆泛化崩溃问题和记忆适应中记忆泛化崩溃问题。分别引入了长时程抑制（LTD）的机制并提出了基于突触巩固与神经修剪的克服长程灾难性遗忘方法，提出了长短时记忆解耦的非对称循环记忆网络并有效改善了遥感影像理解任务上的记忆迁移能力、提出了基于主动遗忘的深度神经网络学习算法并实现显式地主动遗忘机制建模；（7）同时，在上述研究基础上，开展长时序复杂地理环境下遥感制图研究。项目研究成果将丰富高分辨率遥感影像连续智能解译理论和方法，并将能应用于土地利用/覆盖制图和典型目标识别。项目按照既定的研究计划，圆满地完成了课题设定的研究计划，实现了预期目标。在项目资助下，项目负责人入选第十届高校GIS论坛“创新人物”，共发表学术论文7篇，其中SCI论文5篇，EI论文2篇，培养博士研究生2名，硕士生8名。