遥感图像全色锐化问题的深度生成式建模与迁移学习研究

Pansharpening of remote sensing images is a typical ill-posed problem of image processing. It aims at the merging of a low-spatial-resolution multispectral image with a high-spatial-resolution panchromatic image to reconstruct a multispectral image with spatial resolution as high as that of the panchromatic image. It is of the great significance for the application of remote sensing images in real world. Traditional methods for pansharpening are mostly based on shallow and linear models, limited to its capacity of representation, and usually consider only the recognition process of high-resolution multispectral image. Deep learning is recently proposed and developed method, and have proved their effectiveness on powerful data representations in a large variety of fields. However, the methods of deep learning will encounter the insufficient problem of training samples in the reconstruction of remote sensing images. This project will focus on the research of mathematical modeling and algorithm design for the construction of high-resolution multispectral image, and tries to construct the recovery theory and methods of high-resolution multispectral images by considering both the recognition process and generative process of multispectral images, building the nonlinear deep generative net with the generative models as the basic cells, and introducing transfer learning into the training of deep generative models with a large variety of natural images as the source domain to help the parameters learning of the net in the field of pansharpening. This project is expected to support the systems of earth observation at high resolution in the efficient data processing and the intelligent information acquiring.

遥感图像全色锐化属于典型的图像处理不适定问题，其目的是将缺乏光谱信息但具有较高空间分辨率的全色图像与低空间分辨率的多光谱图像集成，重构其高空间分辨率的多光谱图像。全色锐化的研究对遥感在现实中的应用具有重要意义。传统的方法大都基于浅层的线性模型，表示能力有限，且仅仅考虑了高分辨率图像的认知过程。深度学习是近年来发展的方法，其强大的数据表示能力在诸多领域得到了验证。然而，深度学习方法应用于遥感图像重构时常常会遇到用于参数学习的训练样本不足问题。本项目将围绕高分辨率多光谱图像重构中的数学建模与算法设计开展研究，同时考虑多光谱图像的认知过程和生成过程，构建以生成式模型为基础层单元的非线性深度生成网，并利用迁移学习以大量廉价的自然图片为源领域来辅助遥感图像领域的网络参数学习，最终建立高分辨率多光谱图像的恢复理论与方法。本研究可望为我国高分辨率对地观测系统在数据高效处理及信息智能获取方面提供技术支持。

遥感图像全色锐化是一类典型的图像融合问题，其目的是将缺乏光谱信息但具有较高空间分辨率的全色图像与低空间分辨率的多光谱图像集成，重构其高空间分辨率的多光谱图像。传统的方法大都基于浅层的线性模型，表示能力有限，且仅仅考虑了高分辨率图像的认知过程。本项目针对当前遥感图像全色锐化模型和方法的局限，研究了应对这些问题的深度生成式建模与迁移学习理论、算法及其扩展性应用，所取得的成果集中在下述几个方面：.1. 全色锐化问题的深度生成式模型构建。研究现有深度生成式模型，在全色锐化问题中，我们构建了许多实用高效的深度生成式模型。在我们的工作中，基于Lp正则化对WGAN网络权重的幅值加以限制提出了Lp-WGAN模型，构建了一个权重加权网络PWNet以自适应地融合不同方法的结果。我们还提出了一种模型驱动的全色锐化网络GPPNN和一种基于卷积稀疏编码的全色锐化网络CSR-D，以及基于WGAN-gp思想和L1重构损失的一种多焦点图像融合网络MFIF-GAN等。.2. 全色锐化深度生成网的迁移学习策略研究。深度学习方法应用于遥感图像重构时常常会遇到用于参数学习的训练样本不足问题。针对此问题，我们提出了一个深度快速预测编码模型用于全色锐化问题中的参数迁移训练。我们进一步设计构造了基于费希尔正则化的贝叶斯迁移学习框架，给出了预训练初始化的合理解释，有效提升了遥感图像目标检测性能。.3. 全色锐化深度生成网的优化算法设计。针对全色锐化问题，我们在深度生成网络上进一步采取一定的优化策略，考虑使用卷积稀疏表示空间细节，通过增强反投影提升空间分辨率，运用流行正则稀疏表示，嵌入空间细节领域结构等策略，应用嵌入、算法展开等技术设计了许多高效学习算法。.4. 全色锐化深度生成式模型与算法的验证及应用研究。在理论方法，我们分析了相关模型的逼近性以及算法的收敛性、计算复杂性等性质。同时，我们还基于信息瓶颈理论分析了神经网络中正则化项的影响。此外，在实际问题上的应用，进一步验证了模型与算法的有效性。