基于多尺度分析的图像融合方法研究

This project mainly focuses on theories and methods of multi-source multi-resolution heterogeneous image fusion based on multi-scale analysis, which is further development of existing image fusion technology. The main possible contributions of the project include following aspects:(1) A image fusion method based on Scale-invariant feature transform is developed in multi-scale transform domain. (2) A image fusion method based on stacked sparse autoencoders of all subbands is proposed. (3) The statistical image modeling is conducted in the domain of quaternion wavelet transform using contextual hidden Markov models. A image fusion scheme based on this statistical image modeling is developed. (4) The statistical image modeling is conducted in the domain of 3D shearlet transform using contextual hidden Markov models. A image fusion scheme based on 3D shearlet transform and multiple features is proposed. (5) Experiments will be conducted on several image types for image fusion on the basis of the above research. This project has important research significance for multi-source heterogeneous image fusion problem. In addition, the new ideas and methods proposed by this project will enrich the research of pattern recognition and computer vision.

本项目主要研究基于多尺度分解的多源图像融合的新方法，主要包括4个方面的研究内容：(1) 提出尺度不变特征驱动的多尺度域图像融合方法。(2) 提出一种基于全子带栈式稀疏自编码的图像融合方法。(3) 构建四元数小波变换的上下文隐马尔可夫模型，提出面向四元数小波域上下文结构的图像融合机制。(4) 构建3D剪切波变换的上下文隐马尔可夫模型，提出基于多特征的3D剪切波域医学序列图像融合方法。(5) 基于上述研究，在多种图像类型上进行图像融合实验研究。本项目对多源异构图像融合问题具有重要的研究意义，项目中所提出的新思想与新方法将会丰富模式识别与计算机视觉的研究内容。

本项目主要研究基于多尺度分解的多源图像融合的新方法，主要的研究内容有：（1）研究了基于自编码网络的图像融合方法，包括了栈式稀疏自编码的深度图像特征提取工具、基于自编码网络实现无监督学习以及基于联合卷积的自编码网络；（2）研究了面向四元数小波域上下文结构的图像融合机制；（3）研究了基于多特征的3D剪切波域医学序列图像融合方法；（4）研究了尺度不变与尺度相关性在图像融合中的应用；（5）研究了基于对抗生成网络（GAN）的图像融合方法；（6）研究了基于梯度转移和总变差最小化的图像融合方法；（7）基于上述研究，在多种图像类型上进行图像融合实验研究；（8）结合项目开展的计划外的研究工作。以上述研究内容为基础采用多模态数据集及多聚焦数据集进行图像融合实验，检验了算法的有效性和可应用性，均取得较好的检测结果。此外，课题组还在模式识别和人工智能的许多相关领域也有了一定的进展，如图像去噪、定位问题、模糊系统、目标追踪以及肺结核检测等相关方面，都有了相应的研究成果。.在项目开展的过程中，课题组特别重视学术交流。迄今为止，课题组已和国内外多所高校、实验室以及公司进行了充分的交流，建立了良好的互访机制。同时课题组积极参加相关领域的国内外会议，并取得了较好的效果。本项目研究期间，课题组成员都在一定程度上大大提高了自身的学术水平，并培养了一批博士和硕士研究生。同时，课题组的科研成果也得到了大力推广和应用，并申请了一系列的专利。.综上所述，在国家自然科学基金和相关单位的大力支持下，本项目获得了圆满的的成功。