基于多尺度生成对抗网络的大倍数图像超分辨率重建算法研究

Image super-resolution reconstruction uses signal processing techniques to reconstruct a high-resolution image from one or more low-resolution images. At present, most image super-resolution reconstruction algorithms can achieve a three times magnification that has good visual effects from a low-resolution image. However, as the magnification factor increases to four times or more, the quality of the reconstructed image will be reduced. Therefore, this project aims at the image super-resolution reconstruction in the case of large magnification. It is proposed that the multi-scale frame is used to gradually increase the magnification of the image, and cascade the multiple super-resolution reconstruction processes to obtain the super-resolution reconstruction result. In addition, the mapping between high and low resolution images is indirectly learned by generating a game of the generator and discriminator with the generative adversarial nets. The speed of network training is improved by directly learning the upsampling filters. The implementation of this project can improve the resolution of low-resolution images to a certain extent. The research results can be applied in the areas of public safety, HDTV, data compression and computer vision.

图像超分辨率重建算法通过信号处理技术从一幅或多幅低分辨率观测图像中重建出一幅高分辨率图像。目前大多数的图像超分辨率重建算法能够实现将一幅低分辨率图像进行3倍放大并取得良好的视觉效果，但是随着放大倍数增大到4倍或更大的数值，重建出的图像质量就会降低。因此本项目针对大倍数情况下的图像超分辨率重建算法进行研究，拟采用多尺度框架，即逐步增加图像的放大倍数，并将多个超分辨率重建过程级联起来，以获较大倍数下的超分辨率重建图像。此外，用生成对抗网络通过生成器和判别器的博弈来间接地学习高低分辨率图像间的映射关系，采用直接学习上采样滤波器的方式来提高网络训练的速度。本项目的实施可在一定程度上提高低分辨率图像的分辨率，研究成果可应用于公共安全、高清电视、数据压缩和计算机视觉等领域。

图像超分辨率重建技术能够在不升级现有成像系统的情况下提高观测图像或视频帧的分辨率，利用现有的低分辨率图像或视频帧资源生成高质量的图像，是目前研究热点之一。本项目针对大倍数情况下的图像超分辨率重建算法进行研究，取得的重要结果包括：（1）提出了基于小波变换和自注意力的非对称卷积网络，将超分辨率放大倍数和小波分解级数相联系，重建高分辨率图像的小波系数，联合图像空间损失和小波系数损失使得网络专注于学习图像的高频信息。可实现大倍数的图像的超分辨率重建；（2）提出了针对弱光照背景下的汉字图像进行图像增强和超分辨率重建联合处理的方法，采用基于邻域嵌入和低秩矩阵恢复的超分辨率方法以减少训练集的规模，同时考虑到汉字图像的结构特点，加大了横、竖笔划特征的比例权重；（3）针对雾霾在遥感图像中的非均匀分布，提出了一种基于小波变换和编解码器结构的单幅遥感图像去雾方法。本研究可为遥感超分辨率提供优良的数据样本，为大倍数超分辨率应用于遥感图像重构提供一定的理论和技术借鉴。