基于框架提升变换的多源图像融合研究

With the acceleration of informatization of the modern society and the popularity of multi-sensor application platforms, information features massiveness, diversity and redundancy. How to make efficient use of multiple sources of information has become an urgent problem to be solved. Against this backdrop, the importance of multi-source image fusion technique has been increasingly highlighted, which led a large number of researchers to study extensively. Currently, most attention in academia has been paid to the multiresolution-based image fusion, which has been experiencing a development from wavelet transform to multi-scale geometric transforms. And it has been proved that several characteristics such as multi-scale, directionality, redundancy, translation invariance, and local adaptability are the key factors that are beneficial for fusion. However there still exist some issues among the various existing transforms. This project is prompted to study a novel class of transforms called framelet lifting transforms. The project investigates the principle of lifting construction of wavelet frames as well as three types of framelet lifting transforms which inhere isotropic, anisotropic, and fractional characteristics respectively, aiming at providing time-frequency information in different aspects including multi-scale, multi-direction and multi-order, and providing beneficial conditions for image fusion. Furthermore, the project studies the image fusion methods based on framelet lifting transform, aims to explore the general, universal fusion mechanism, and to provide new ideas for multi-source image fusion.

随着现代社会信息化进程的加快及多传感器应用平台的普及，信息呈现海量、多样、冗余等特点。如何充分高效地利用多源信息已成为当前亟需解决的问题。在此背景下，多源图像融合技术已日渐突显出其重要性，并引发了众多科研工作者广泛深入地研究。目前在学术界，基于多分辨分析的融合方法最受关注，其经历了从小波变换到多尺度几何变换的发展过程。并已证实，多尺度、方向性、冗余性、平移不变性以及局部自适应性等是有利于融合的重要因素。然而目前，已有的多尺度变换尚存在一些不足，这促使本项目研究一类新颖的变换，即小波框架提升变换。本项目研究小波框架提升构造原理，在此基础上构造各向同性、各向异性及分数阶框架提升变换，以期获得图像多尺度、多方向、多阶次等不同层面的时频信息表征，为图像融合创造有利条件。进一步，研究基于框架提升变换域的融合算法，探索具有一般性、普适性的多源融合机制，为多源图像融合提供新思路。

随着现代社会信息化进程的加快及多传感器应用平台的普及，信息呈现海量、多样、冗余等特点。图像作为信息的重要载体，如何充分、高效地利用图像信息已成为当前亟需解决的问题，多源图像融合技术受到了广泛关注。 .本项目研究基于框架提升变换的多源图像融合理论与方法，主要研究内容包括：框架提升变换理论研究、图像稀疏表示与重建算法研究以及多光谱与全色图像融合（即全色锐化）算法研究。. 在理论研究方面，提出二维不可分框架提升变换，各向异性框架提升变换以及基于形态学算子的非线性提升变换等。框架提升变换具有灵活的结构，可以实现多尺度、多方向、局部自适应性、非线性等变换性质，拓展了小波变换的类别，为图像分析与处理提供了一种新的工具。此外，由于多源图像通常具有维度高、数据量大等特点，且易受噪声影响，研究了图像的稀疏表示与重建算法，以改进图像质量，加快数据计算效率。. 在应用研究方面，主要针对多光谱与全色图像融合（即全色锐化）问题进行研究。多光谱图像通常可提供可见光及红外波段的影像，但空间分辨率较低；而全色波段传感器对光谱的敏感度较低，但空间分辨率高。将多光谱与全色图像进行融合，能够有效利用两者的互补性信息，从而获得高分辨率多光谱图像。本项目研究了基于框架提升变换的全色锐化算法，提出基于像素和基于区域的自适应融合模型以实现最小均方误差意义上的最优。实验结果表明所提算法在提升空间分辨率的同时有效降低了光谱误差，算法性能优于当前主流全色锐化算法。同时，所提方法可推广至高光谱图像全色锐化问题、自然图像多分辨融合问题等，为多源图像融合提供了新思路。