低空与星载高分辨率异源遥感影像跨尺度智能配准及融合研究

It is a big problem in low-altitude and spaceborne high-resolution multi-source remote sensing images registration and fusion for quite difference in imaging mechanism, electromagnetic radiation, spectral and spatial resolution. In this project, in view of the nonlinear transformation of spectral, radiation and resolution in multi-source remote sensing images, decoupling image content and spatial information of low-altitude and spaceborne high-resolution multi-source remote sensing images by deep learning based methods, systematically researching on the theory and method of artificial intelligence supported scale-span low-altitude and spaceborne high-Resolution multi-Source remote Sensing images registration and fusion. The research contents mainly include: (1) Gaussian pyramid and evolved Siamese neural network coupled multi-scale images registration method and strategy; (2) self-adaptive fully connected deep neural network based image geometric correction model; (3) adversarial nets supported scale-span high and low altitude remote sensing image feature sparse representation and reconstruction; (4) pre-train and fine-tuning combined remote sensing images fusion with multi-scale deep & shallow convolutional neural network. This research has important value for improving the feasibility, reliability and applicability of multi-sensor, multi/hyperspectral and multi-resolution scale-span remote sensing images registration and fusion.

低空与星载高分辨率异源遥感影像在成像机理、光谱波段、电磁辐射、空间分辨率等差异较大，致使遥感影像配准与融合较为困难。本项目围绕异源遥感影像在光谱、辐射、分辨率等方面非线性变换问题，引入深度学习算法，利用深度神经网络解耦低空与星载高分辨率遥感影像内容和空间信息，深入系统地研究人工智能支持下的高-低空跨尺度异源高分辨率遥感影像配准及融合理论与方法。研究内容包括：（1）耦合高斯金字塔与变种Siamese深度神经网络多尺度影像配准方法与策略；（2）基于自适应全连接深度神经网络的影像几何纠正模型；（3）深度对抗神经网络支持下的高-低空跨尺度遥感影像特征稀疏表达与重构；（4）多尺度深浅端-端复合型神经网络驱动pre-train预训练与fine-tuning微调进化结合的影像融合模型。本项目研究对于提高多传感器、多/高光谱、多分辨率异源遥感影像跨尺度配准及融合可行性、可靠性与适用性具有重要价值。

低空无人机、卫星遥感等技术在面对地物覆盖变化引起复杂背景变化、辐射、纹理结构大跨度变化的异源遥感影像配准和融合较为困难，进而制约了异源遥感数据协同观测。本项目围绕低空与星载高分辨率异源遥感影像跨尺度配准及融合问题，引入了人工智能深度学习算法，借鉴Siamese深度网络原理，构建了高精准多尺度影像配准方法，同时，构建了多层对抗神经网络挖掘影像深层次特征的非线性融合模型。通过对异源遥感影像配准及融合的理论与方法进行研究，实现了智能化、自动化地异源遥感影像配准及融合，提高了异源遥感影像融合性能和适用性，并设计出了低空与星载高分辨率异源遥感影像配准及融合的技术方案。从深度学习网络结构上改进了Siamese深度神经网络，研究构建在多尺度、多维特征基础上构建特征非线性关联模型，建立了一种耦合高斯金字塔与变种Siamese深度神经网络的多尺度影像匹配方法，从试验对比分析表明：本项目配准方法能显著提高具有复杂背景变化的多时相遥感影像的匹配性能，并能获得大量均匀分布的匹配点（数量至少是常规方法的10倍）；基于变种Siamese深度神经网络相似性功率谱，建立了多尺度空间内同名点精准定位和影像几何纠正模型，通过不同尺度影像试验结果表明：该模型能高精度定位同名点，均方根误差小于1个像素，影像间几何纠正效果非常理想；利用深度学习深浅不同网络结构的特征稀疏表达与重构特点，研究建立了基于深浅端-端复合型神经网络的多尺度影像融合模型，通过低空与星载高分辨率影像融合试验结果表明：该模型能为低空与星载高分辨率遥感影像融合消除或抑制无关信息，能得到高质量的融合影像。总体试验结果表明，本项目研究方法可实现低空与星载高分辨率异源遥感影像跨尺度配准及融合，可在一定程度上提高异源遥感影像配准与融合的可靠性。研究成果对解决空天地一体化对地观测数据信息挖掘与复合具有积极的意义和重要的实用价值。