基于深度脉冲神经网络的高分辨率遥感影像生物启发的特征学习方法

Feature extraction is one of the key issues of high-resolution remotely sensed image (HRSI) processing. Most traditional feature extraction methods based on “handcrafted” or “man-made” features are difficult to more accurately and adaptively represent highly variable image content, leading to the difficulty of understanding HRSI. Deep learning has become one of the state-of-the-art unsupervised feature learning methods, and this makes it possible to adaptively learn the complex scene/object features of HRSI. Therefore, the biologically plausible deep learning research based on spiking neural networks will become a new trend, with development of the third generation spiking neural network, and findings of learning rules characterizing synaptic plasticity，such as spike-timing-dependent synaptic plasticity (STDP) rules, and more hierarchical information processing mechanisms in the visual cortex. According to the neural mechanisms of separately and hierarchically processing of color, shape etc. along visual ventral pathway and feature binding through synchronization of multi-spike trains at higher-level cortical areas, our research will focus on towards biologically plausible deep learning, and first, various hierarchical spiking neural networks and their respective learning algorithms through STDP are proposed to learn color, shape and texture features, respectively; and second, based on these different spiking neural sub-networks, a new biologically plausible integrated method of different features is established through spiking synchronization and feature binding. The possible achievements of this project could greatly improve the level of HRSI processing.

特征提取是高分辨率遥感影像处理的关键问题之一，传统的利用人工设计的特征难于更准确地、自适应地描述复杂多变的场景/目标内容，给遥感影像理解带来了困难。深度学习已成为当前影像无监督特征学习的一流方法，使得高分辨率遥感影像复杂场景/目标的特征自适应学习成为可能。随着第三代脉冲神经网络的发展、更能反映突触可塑性的STDP等学习规则以及更多视觉皮层信息层次处理机制的发现，发展新的生物启发的深度学习方法将成为一种趋势。因此，根据沿着视觉腹侧通路颜色、形状等的分离处理以及在更高皮层通过多脉冲同步进行特征捆绑的神经机制，本项目研究生物启发的深度脉冲神经网络体系结构，提出颜色、纹理与形状等特征的层次脉冲神经网络及其学习算法，在构造颜色、形状、纹理等不同脉冲神经元子网络学习基础上，通过脉冲同步与特征捆绑机制，建立生物启发的高分辨率遥感影像多特征整合的新方法。本项目的研究成果将提升高分辨率遥感影像处理水平。

结合脉冲神经网络及其可塑性学习的特点，开展了基于深度脉冲神经网络的高分辨率遥感影像生物启发的特征学习方法的研究，在以下几个方面已经取得了显著进展：.（1）突触的传输与整合需要大量的代谢能量。受能量约束，以椎体神经元为主，建立具有生物合理性的突触传输模型和树突整合模型，发展新型脉冲神经元模型。.（2）从神经元网络的一般突触组织规则出发，将STDP突触学习规则与能量约束结合，利用脉冲神经网络模拟生物神经网络研究发现，为维持所提模型中神经元的能量平衡，突触连接数与突触连接权的平均值成反比。进一步采用能量约束的STDP突触学习规则，基于突触修剪与生长机制，研究了生物神经网络的结构演化规律。.（3）与深度学习不同，脉冲神经网络学习机制广泛采用具有生物特性的学习机制--可塑性学习规则，同时很容易引入与此相关的其它神经机制。建立了基于奖励调节的RM-STDP规则与基于内稳态机制的权值缩放、可塑性的稳态因子与可塑性的稳态因子方法。.（4）从生物视觉的角度出发，通过研究从视网膜、LGN到V1和V2颜色感知的神经机制，提出了视觉颜色信息处理的层次性脉冲网络模型。.（5）根据腹侧通路形状信息处理的神经机制，提出了视觉腹侧通路形状信息的层次性SNN网络模型（HSNN），模拟了从V1、V2经由V4到IT视觉形状信息处理过程，基于无监督STDP规则、奖励调节的RM-STDP规则对HSNN学习训练，实现图像分类。.（6）鉴于深度脉冲神经网络参数学习困难，性能与当前卷积神经网络有较大距离，根据生物神经网络的内稳态机制，提出了基于内稳态机制优化的深度SNN学习，实现了典型的CNN结构到深度SNN模型参数的转换，取得了类似于CNN的同等性能。.利用生物启发的相关的特性学习方法研究了高分辨率遥感影像特征学习，部分成果已初步在相关的公司应用测试，取得了较好的应用效果。通过对生物神经网络的突触连接动态变化、结构演化的研究可能促进我们对大脑神经元网络的理解，并对神经元网络模型的设计具有指导意义。.已在Frontiers in Neuroscience 、Frontiers in Computational Neuroscience、IEEE Geoscience & Remote Sensing Letters等国际杂志与会议录用、发表学术论文15篇，其中1篇至2019年列为ESI高被引论文，授权专利1项。