基于视觉注意机制的多尺度图像融合的研究

本项目以可见光与红外图像融合为研究对象，基于视觉注意机制和多尺度几何分析进行图像融合的研究。提出一种符合人类视觉特性的扩展Contourlet变换，在分解源图像时用改进的对比度? trous小波替代Contourlet变换中的拉普拉斯金字塔变换；引入数据驱动的注意模型，根据实际的应用情况和源图像本身的特征，首先选取特征通道并生成该通道的显著图，然后确定各通道显著图的合并策略，得到总显著图，用于指导融合过程；在源图像多尺度几何分析的基础上，结合视觉注意机制提出显著测度，与匹配测度共同确定图像的融合策略，在融合图像中保留源图像中的显著信息；提出显著一致性指标和显著结构相似度指标，构建一种基于视觉注意机制的融合图像质量评价体系；搭建实验平台，从主观评价、客观计算两个方面做图像融合效果的实验研究。本项目的研究成果能够改善图像融合的视觉效果和量化指标，在军事和民用领域均有重要的应用价值。

本项目以可见光与红外图像融合为研究对象，基于视觉注意机制和多尺度几何分析进行图像融合的研究。在基于数据驱动的视觉注意机制模型中增加纹理特征通道显著图，提出改进的视觉注意机制来构建源图像的总显著图，用于指导融合过程；选用NSCT作为项目主要的图像多尺度变换几何分析工具，并针对其运算效率低的缺点，扩展研究并提出实时性强的、符合人眼视觉特性的基于形态学多尺度变换方法并应用于图像融合。提出基于VAM的NSCT多尺度图像融合框架，在此融合框架下，分别构建了基于VAM指导的融合规则、基于SSR指导的融合规则以及结合VAM和PCNN的融合规则。将视觉注意机制引入到传统边缘融合质量评价指标中，提出了基于VAM的EFQI图像融合质量评价指标；采用更为合理的区域计算方式来取代传统固定窗口计算方式，提出了结合VAM与区域结构相似度（SSIM）的融合质量评价方法。本项目的研究成果能够改善图像融合的视觉效果和量化指标，在军事和民用领域均有重要的应用价值。