基于显著性特征的低冗余DWFT图像融合及其评价方法研究

The image fusion is the current research hot spot and difficulty in the field of image understanding and computer vision. Based on our preliminary studies, we find that because the traditional fusion methods based on wavelet transform are not shift invariant, the fused results of them usually have "ringing" or "patch" defects. Although the discrete wavelet frame transform (DWFT) has shift invariance, it has high redundancy. In order to overcome the shortcoming of DWFT, a new algorithm with low redundancy and high sparsity is proposed in this project by designing a new anti aliasing directional filter in DWFT. Based on this algorithm and according to the different physical salient characteristics of the low frequency and high frequency sub-bands in the transform domain and the visual saliency characteristics of the human eyes, an adaptive constructed over complete learning dictionary based sparse representation method for fusing of low frequency coefficients is presented. Meanwhile, a neighborhood visual saliency based high frequency coefficient fusion method is also put forward. Finally, based on the visual perception characteristics of human eyes and the significant degree of different regions of the image, this projects proposed a saliency weighted pooling scheme for image fusion quality assessment, which can effectively evaluate the quality of the fused image. The research of this project is a new attempt and challenge for the current popular image fusion based on multi resolution analysis. The results of this research will effectively improve the quality and performance of image fusion as well as realize the consistency of both subjective and objective fusion quality evaluation.

图像融合是当前图像理解和计算机视觉领域中的研究热点和难点。本项目在前期研究的基础上，针对传统的基于小波变换的融合方法不具有移不变性导致融合结果中出现“振铃”或“斑块”的缺陷，以及克服具有移不变性的离散小波框架变换(DWFT)的高冗余性，通过设计一种新的抗混叠方向滤波器，提出一种低冗余、高稀疏性的DWFT算法。在此算法的基础上，根据变换域中低频和高频子带的不同的物理显著特性以及人眼的视觉显著度特性，提出一种基于自适应构造过完备学习字典的稀疏表示低频系数融合方法和一种基于邻域视觉显著度的高频系数图像融合方法。最后，基于人眼视觉感知特性和图像不同区域的显著程度，提出一种基于显著度权重池化的图像融合质量评价方案，实现对融合图像质量的有效评价。本项目的研究对于当前流行的基于多分辨分析的图像融合是一种新的尝试和挑战，其结果将进一步提高图像融合的质量和性能，并最终实现图像融合质量的主、客观一致评价。

图像融合是当前图像理解和计算机视觉领域中的研究热点和难点。本项目针对传统的基于小波变换的融合方法不具有移不变性导致融合结果中出现“振铃”或“斑块”的缺陷，在基于图像的稀疏特性和人眼的视觉显著特性基础上，提出了新的图像融合方法，并将其成功地应用于多聚焦图像、遥感图像和医学图像融合等领域。项目的主要创新工作包括：1)提出一种基于稀疏表示和非下采样Shearlet变换(NSST)相结合的图像融合方法，对低频系数进行稀疏表达利用图像内在特征进行融合，对高频系数采用拉普拉斯能量和进行融合；2)构建一种基于非固定基字典训练算法的稀疏模型，并结合多尺度方法对多聚焦图像进行融合，分别利用构建的稀疏模型和空间频率对低频和高频系数进行融合；3)提出一种基于自适应字典学习的卷积稀疏表示(CSRADL)模型的联合细节注入遥感图像融合算法，通过构建的CSRADL模型来融合源图像的高频细节得到联合细节，再通过定义的联合判别注入增益将联合细节自适应地加入到UPMS图像中，获取最终的融合结果；4)提出一种基于多视觉特征与梯度域引导滤波的多源图像融合新方法，通过衡量源图像的三个关键视觉特征提出一种有效的决策图构建模型，并通过提出的基于梯度域引导滤波的决策图优化方法，得到融合权重图实现对源图像的融合；5)提出一种基于二型模糊逻辑的NSCT域多模态医学图像融合新方法，构建一个基于二型模糊逻辑的融合规则用于融合高频子带，采用基于局部能量的方法进行低频子带融合；6)提出一种基于多层次卷积神经网络(MLFCNN)的多聚焦图像融合算法，先将源图像输入到预训练的MLFCNN模型中获得初始聚焦映射图，再运用形态学开闭合运算和高斯模糊来获得最终的决策映射图实现最终的图像融合。项目的研究对于当前流行的智能图像融合处理是一种新的尝试和挑战，其结果进一步提高了图像融合的质量和性能。就上述内容，本项目取得了一系列重要成果，共发表学术论文30篇，其中23篇被SCI收录，3篇被EI收录；获得吴文俊人工智能自然科学奖1项。