基于空谱联合对抗深度网络的多光谱与全色图像融合方法研究

Remote sensing image fusion is an important technique to enhance the spatial and spectral resolution of earth observation scene. In order to reduce the prominent contradiction and solve the bottleneck problems, which exist between the multisource remote sensing information application and the improvement of spatial and spectral resolution, the information merging mechanism of human brain is borrowed in this project to first analyze the correspondence and difference among multisource remote sensing images in feature space. By introducing the coupling and sharing scheme and combing the spatial-spectral degradation model, this project adopts deep learning and sparse analysis techniques to analyze the shortcomings of existing methods in multisource joint representation, network architecture and objective function. Then, this project investigates joint representation of multisource remote sensing images, network architecture design of joint generative adversarial networks, design and optimization of objective function. Finally, based on the above new method, we can achieve the fusion of multispectral and panchromatic images. It is expected to achieve the intelligent extraction of features from multisource remote sensing images and improve the quality of fused images. This project aims to provide the data foundation for subsequent intelligent interpretation tasks of remote sensing images, which has significant theoretical significance and applicable value for economic development and national defense building of our country.

遥感图像融合是提高对地观测场景空谱分辨率的重要手段。针对多源遥感信息应用中提升空谱分辨率的迫切需求与现有瓶颈，本项目拟借鉴人类大脑的信息综合机理，挖掘多源遥感图像在特征空间中的对应性与差异性，分析已有方法在多源联合表征，网络结构以及目标函数方面的不足，采用深度学习、稀疏分析等方法，引入耦合共享机制，并结合空谱退化模型，开展“多源遥感图像的联合表征”、“联合生成对抗网的网络结构设计”，以及“基于上述表征模型与网络结构的目标函数设计与优化”三方面的研究，最终实现基于上述新方法的多光谱与全色图像融合。期望通过上述研究，实现多源遥感图像特征的智能化提取，提升融合图像质量，为后续遥感图像智能解译任务提供数据保障，对我国的经济发展和国防建设具有重要的理论意义与应用价值。

本项目针对多源遥感信息应用中提升空谱分辨率的迫切需求与现有瓶颈，充分挖掘多源遥感图像中的互补性与冗余性，有效提取多源遥感图像中的空谱特征，将深度神经网络与遥感图像融合进行有机结合，发展了面向多源遥感图像融合的深度神经网络新理论与新方法：提出了三维几何估计模型与多尺度卷积稀疏分解模型，对遥感图像中的结构信息进行有效建模；提出了空谱提取网络与高/低频融合网络，实现了多源遥感图像中空谱信息的联合表征；提出了三重注意力网络，采用不同注意力机制对多源遥感图像中的空谱信息进行针对性建模；提出了零参考生成对抗网络，缓解了现有方法对训练数据的海量需求；提出了冗余度约简Transformer，降低了空谱信息在特征空间的冗余性，提高了互补性。在QuickBird与GeoEye-1等卫星数据上的实验验证了本项目研究成果的有效性。本项目所提出的方法能够有效降低融合图像中的光谱扭曲，提升融合图像质量。在Information Fusion，IEEE TNNLS，IEEE TGRS，IEEE JSTARS等国际知名期刊与会议上发表相关论文16篇，授权国家发明专利3项，申请国家发明专利5项。本项目实现了多源遥感图像特征的智能化提取，提升了融合精度，达到了预期目标，具有创新性和可行性。研究成果为后续遥感图像智能解译任务提供数据与技术保障，对我国的经济发展和国防建设具有重要的理论意义与应用价值。