联合基于学习的超分辨率技术和多传感器超分辨率技术在红外图像复原中的研究

Infrared imaging has been an extremely wide range of applications in both civilian and military fields. The resolution of the infrared images is usually relatively low due to the performance of optical system. How to improve the resolution of infrared image has become an urgent problem to infrared imaging. Deriving a high-resolution (HR) image from the low-resolution (LR) one or a sequence of LR images provides a prospective solution to this problem, which is known as the super-resolution (SR) imaging technique. Currently, there still have many problems, which are needed to study for infrared image SR. Learning-based SR and multi-sensor SR has its own advantages; each of them is based on different information to enhance the resolution of infrared image By making full use of their advantages, a better result can be achieved. This project intends to enhance the resolution of infrared image by combining learning based SR and multi-sensor SR. The key issues include:1) the key issues in learning based SR for infrared image; 2) the key issues in multisensor SR for infrared image; 3) the issues of combining learning based SR and multi-sensor SR for infrared image restoration; 4) the issues of simultaneous SR and denoising in a framework.

红外图像在民用和军用领域都得到了极为广泛的应用。受光学系统等因素的性能的影响，红外图像的分辨率通常都较低。如何提高红外图像的分辨率成了一个迫切需要解决的问题。超分辨率技术是从单幅或者多幅低分辨率图像中复原出高分辨率图像的技术，它是一种具有广阔前景的方法。现阶段，国内外对红外图像分辨率技术的研究还处于初级探索阶段，亟待更深入地研究。基于学习的超分辨率和多传感器超分辨率技术具有各自的优势，它们依据的不同的信息对红外图像进行超分辨率复原，联合考虑它们的技术优势，完全能够取得更好的复原效果。本课题拟以增强红外图像的分辨率为背景，对联合基于学习的技术和多传感器技术进行研究，拟解决的关键问题包括：1)基于学习的红外图像超分辨率算法中的关键技术问题；2）多传感器红外图像超分辨率算法中的关键技术问题；3）联合基于学习的和多传感器的红外图像超分辨率复原问题；4）通过正则化框架在超分辨率复原同时抑制噪声问题。

本项目主要是对多传感器和基于学习的红外图像超分辨率重建技术进行研究。研究的内主要容包括: 多传感器超分辨率关键技术中的建立红外图像与可见光图像关系模型进行探索和研究; 多传感器超分辨率的正则化进行研究; 多传感器超分辨率算法进行研究; 基于稀疏表示的超分辨率技术进行研究; 异源图像配准技术进行研究等。.申请人在对基于多传感器的红外图像超分辨率研究中，采用二次关系模型对相关边缘区域进行建模。另外将一阶梯度锐化算子引入总广义变分模型，构成针对红外图像特点的正则化模型。同时我们提出一种基于多个回归模型的快速多传感器红外图像超分辨率算法。我们还提出一个超分辨率框架: 基于稀疏表示多特征字典的方法。实验结果表明，我们的算法与已存算法相比，图像质量在主观和客观方面都有所提高。提出一种利用广义非局部均值和自相似性的图像超分辨率算法。该算法不仅利用图像的自相似性将低分辨率图像与其下采样图像作为一个训练库,而且利用非局部平均算法的良好特性提高复原图像的质量。另外我们还在多传感器图像增强方面进行探索，分别在彩色图像的Bayer插值、遥感图像的Pansharpening增强以及红外与可见光图像融合开展研究。在彩色图像的Bayer插值进行研究方面，我们提出基于多项式内插法的彩色图像的Bayer插值；在遥感图像的Pansharpening增强研究方面，我们提出一种基于加权最小二乘滤波的自适应Pansharpening方法；在红外与可见光图像融合方面，我们提出一种基于多尺度保边滤波和引导滤波的红外与可见光图像融合算法。在红外图像与可见光图像配准研究中，提出一种基于梯度方向Hausdorff 距离的红外图像和可见光图像配准方法，实验验证了我们方法的准确度和稳健性。本项目在多传感器超分辨率，多源图像配准方面的研究为多传感器红外图像超分辨率复原提供有效方法。