基于生成对抗网络模型的图像超分辨率重建关键技术研究

Image super-resolution (SR) reconstruction based on deep learning has improved significantly compared with the traditional methods, but there are still some challenging research problems. In order to overcome the existing problems, a novel SR scheme which is based on internal learning sparse autoencoder energy-based Generative Adversarial Net (GAN) is proposed. Then, some key techniques of the scheme are further investigated as the following. First, in order to solve the problem of SR reconstruction in image details and make full use of the learning ability of the residual unit in the network, a multilevel residual generation network model is built. Secondly, aiming at the problem that the existing SR method is not good enough for reconstruction of real images, we use the repetition of natural image blocks to construct training set for generating network model. Then, to overcome the training instability of GAN, an energy identification network based on sparse autoencoder is constructed to guide the training of generating network model. Finally, an image quality evaluation algorithm based on color-aware transform is presented for the objective evaluation of image SR method. The research of this project will provide new research methods for single frame image SR reconstruction, and the results will further improve the quality and performance of the reconstructed image.

目前基于深度学习的图像超分辨率(SR)重建方法在重建质量上相比于传统方法有了显著提高，但还存在一些具有挑战性的研究问题。本项目针对当前基于深度学习的SR重建方法中存在的问题，提出一种基于内部学习的稀疏自编码器能量生成对抗网络(GAN)图像SR重建系统解决方案，并围绕该方案中的关键技术进行相关研究。首先，针对SR重建的细节重构问题，充分利用网络中残差单元的学习能力，构建一个多层次残差生成网络模型；其次，针对现有SR方法对于真实图像的重建效果不佳的问题，利用自然图像自身内部图像块的重复性，构建生成网络模型的训练集；然后，针对GAN网络训练不稳定的缺陷，构建一个基于稀疏自编码器的能量鉴别网络来指导生成网络模型的训练。最后，为了客观评价SR重建的效果，研究一种基于颜色感知变换的图像质量评价方案。本项目的研究将为单帧图像SR重建提供新的研究思路和方法，其结果将进一步提高重建图像的质量和性能。

目前基于深度学习的图像超分辨率(SR)重建方法在重建质量上相比于传统方法有了显著提高，但还存在一些具有挑战性的研究问题。本项目针对当前基于深度学习的SR重建方法中存在的问题，如重建图像纹理细节丢失、网络复杂度高等，基于深度学习理论、注意力机制、卷积神经网络(Convolutional Neural Network, CNN)、生成对抗网络(Generative Adversarial Network, GAN)等提出新的图像SR重建方法和模型，并通过大量的定性和定量实验证明了所提出方法的有效性。项目的主要创新工作包括：1）基于U-Net网络的优点，利用残差CNN的学习能力，提出了一种基于收缩-扩展深度残差网络的图像SR重建新方法；2）考虑人眼视觉特性，研究人眼视觉注意力机制对CNN中特征提取的影响，构建了一种基于通道注意机制的深度残差CNN的图像SR重建算法；3）结合神经网络中的通道注意力机制，提出了一种基于多级和多尺度网络的单幅图像SR重建算法；4）为降低网络的复杂度，增强网络的特征提取能力，提出一种基于渐进式特征增强的SR重建算法；5）结合空间注意力机制，提出了一种基于期望最大化注意力机制残差网络的单幅图像SR重建算法；6）为有效利用残差特征，通过结合残差学习和注意力机制，提出了一种基于轻量级双分支自适应残差网络的图像SR重建算法；7）基于GAN在图像生成方面的独特优势，结合人眼视觉的特性提出了一种以GAN为主体的全局与局部特征学习的图像去雾网络，实现了图像SR重建的前处理；8）基于多模态图像的物理特性，提出了一种基于纹理条件GAN的红外与可见光图像融合方法(TC-GAN)，实现对多幅图像的质量重建。就上述内容，本项目取得了一系列重要成果，在IEEE TIP/TMM/TCSVT/TCI、计算机学报等上共发表学术论文25篇，其中20篇被SCI收录，4篇被EI收录；授权发明专利2项、软件著作权7项；获吴文俊人工智能自然科学奖1项。.本项目的研究对于当前流行的基于深度学习的SR重建算法是一种新的尝试和挑战，其结果进一步提高了图像重建的质量和性能，并最终实现了图像重建质量的主、客观一致评价。项目的研究成果除可应用于自然图像外，还可应用于遥感图像、医学图像、红外可见光图像等，具有良好的实际应用前景。