深度双并联神经网络理论及其在高光谱图像分类应用基础研究

Face to the problems of hyperspectral image classification in which both the structure information and spectral information are involved and the labeled samples are usually limit, we would like to study deep neural network for hyperspectral image classification and this research proposal is based on the many years’ research achievements in the fields of neural network, hyperspectral image processing and machine vision made by this group and the well laboratory conditions in hyperspectral imaging and processing. Inspired by the recent great success of the RN (residual network) used as module in a new deep neural network for large-scale RGB image classification, we will focus on the deeplization of the DPFNN (double parallel feedforward neural network) proposed by the applicant 25 years ago and widely applied by other peers, as the Residual Network can be considered as a simple case of DPFNN. We will also try to reveal the influences of the direct connection weights, the network depth, the activity function and the mis-saturation state of the neural network on the performance of the network, which could lead to build deep DPFNN module systems (including general deep DPFNN, 2-channel deep convolutional DPFNN and a 3-D deep convolutional DPFNN for HSI classification) and multi-GPU based laboratory system for verification of the model and learning algorithms. It is expected to greatly improve the performance of hyperspectral image classification, as well as to reduce the complexity and difficulty of the deep neural networks in realization. This research has important academic value in the field of machine learning, artificial intelligence, pattern recognition and hyperspectral image processing. It also has great potential application in the field of hyperspectral image classification, speech recognition, image analysis, intelligent control and so on.

结合课题组多年在神经网络、高光谱图像处理、机器视觉方面的研究基础和高光谱成像系统等先进实验条件，以同时要求图像结构信息和光谱信息以及标记样本少的高光谱图像分类问题为背景，从最近在图像结构分类取得突破的深度网络的“残差网络”模块入手，研究本申请者提出的并得到较广泛应用的更具有一般性的双并联神经网络的深度化，揭示直接联结、网络深度、活动函数以及神经元误饱和状态等对深度网络性能的影响，进而可建立一般深度双并联神经网络和面向高光谱图像分类的双通道深度卷积双并联神经网络和三维深度卷积双并联神经网络模型系统，构建基于多GPU平台的高光谱图像分类的深度双并联神经网络分类与学习验证系统，可显著提升高光谱图像等的分类性能并大大降低深度神经网络复杂度及其实现难度，对机器学习、人工智能、模式识别等领域的发展有重要的学术价值，对高光谱图像分类、语音识别、图像分析、智能控制等领域有重要应用前景。

该项目针对高光谱遥感图像分类精度受数据影响大的问题，紧密围绕深度神经网络跨层连接和灵敏度等问题进行研究。主要研究内容是：深度神经网络跨层连接机理及扰动灵敏性，基于大数据及小样本深度学习的高光谱遥感图像智能分类，遥感图像配准、重建、语义检测和显著性目标检测。 取得的主要成果是：1）、申请者20多年前率先在神经网络中引入跨层连接，为2016年以来出现的残差网络、稠密网络提供了基础，具有原创性。2）、提出了输入扰动灵敏度准则用于分析残差深度神经网络，初步发现了灵敏度与网络深度的关系，可望对高性能神经网络研究和设计有重要指导作用。3）、建立了多尺度3D卷积神经网络的高光谱图像分类模型，显著提高了高光谱图像的处理性能。4）、建立了多个注意力机制的深度神经网络模型，在多视遥感图像视差估计、配准与三维重建方面取得显著效果。5）、针对显著性所隐含的“主观性”特征，提出引入生成模型以及隐变量来描述显著性的“主观性”的方法，在显著性目标检测性能方面超越现有所有方法。6）、提出了针对三维重建、光流估计等问题，建立了遥感图像三维语义检测的双向引导注意网络和匹配及其改进模型，实现了多视角遥感图像的三维语义重建，实验表明其对季节性外观差异的鲁棒性好，在US3D数据集上达到了最佳性能。. .已发表11篇刊物论文、29篇会议论文，其中顶级刊物（包括TIP, TPAMI, TGRS）5篇，顶会（包括CVPR, ICIP, IGARSS）19篇。获得CVPR最佳算法奖、最佳论文提名奖，APSIPA最佳深度学习论文，最佳学生论文奖4项，ECCV20挑战赛冠军、亚军等国际性学术奖励9项。申请专利3项，国际会议主题报告3次，主办国际性会议2次，培养博士5人硕士8人，国家级人才1人。项目负责人当选APSIPA副主席和IEEE TGRS等3编委。. .该项目成果对于人工智能特别是高性能神经网络学习系统的研究与发展，高光谱遥感图像处理、机器视觉、空天遥感、智慧城市等有广泛应用前景。特别是跨层连接的本质机理难题的突破，可望对新型深度神经网络和机器学习产生重要影响。