基于视觉显著性的多光学波段图像融合理论及方法研究

Multi-band optical image fusion is one of the most important ways to overcome the limitations of single image sensor in geometry, spectral and spatial resolution, and explore the potential for optical imaging detection. However, with the increase of image sensors and resolution, the information and data complexity of the system is also increased. The multi-band information can’t be rapidly, accurately and efficiently extracted like human visual system. This is one of the bottle-necks for imaging systems to achieve high quality fusion images.. The project intends to introduce the mechanism of visual saliency, to research the multi-band optical image fusion theory and method based on visual saliency. Learning from characteristics of human visual system, multiple optical band imaging features and image features, the visual saliency analysis model will be established, and saliency extraction algorithms will also be designed. Visual saliency detection will be introduced into image feature extraction and analysis, the multiple optical images registration and fusion method will be researched, to build visual saliency based multi-band optical image fusion theory model. This research is important for the establishment of a new model for multi-band optical image fusion theory. Implementation of the project will also further explore the potential for multi-band optical information extraction, and to improve multi-band optical imaging detection capability..

多光学波段融合是克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性、挖掘光学成像探测潜力的重要手段之一。然而，传感器数量的增多、分辨率的增加等引起了系统信息量及数据复杂度的增加，普通融合手段无法像人眼视觉系统那样快速、准确、有效地提取多波段信息，这也成为了制约多光学成像传感器系统获取高质量融合图像的重要瓶颈之一。. 本项目拟引入视觉显著机制，开展基于视觉显著性的多光学波段图像融合理论及方法研究。综合人眼视觉系统特点、多光学波段成像特性以及图像特征，构建视觉显著分析模型，设计视觉显著性提取算法；将视觉显著性检测融入到图像特征提取与分析中，研究在此基础上的多波段图像配准与融合方法，建立基于视觉显著性的多光学波段图像融合理论模型。该项目的实施对建立多光学波段融合的相关基础理论新模型，进一步挖掘对多光学波段信息获取的潜力，提高多光学波段成像探测的能力具有重要意义。

多光学波段融合是克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性、挖掘光学成像探测的潜力的重要手段之一。然而，传感器数量的增多、分辨率的增加等引起了系统信息量及数据复杂度的增加，普通融合手段无法像人眼视觉系统那样快速、准确、有效地提取多波段信息，这也成为了制约多光学成像传感器系统获取高质量融合图像的重要瓶颈之一。. 本项目综合人眼视觉特性以及多波段成像特性与图像特征，研究快速、精细、稳定的显著性提取理论与方法，提出了多种针对不同光学波段显著性分析提取的模型与方法。一是提出了利用像素之间的灰度差异，设计基于像素值的视觉显著性分布图，该方法可以给出全分辨率显著性图，且运行非常快速；二是基于HVS特性，采用图像带通滤波与局部窗口实现视觉权重图构建，该方法可以计算得到全分辨率显著性图，运行速度很快，并且随着局部窗口的调整可实现不同尺寸目标的相对凸显；三是进行了光机电算一体化的尝试，以实现基于光学成像系统的实时显著性提取，该方法运行速度最快。光学成像法显著性提取方法是实时场景显著性自动化分析的可行途径，该模型的最终目的是面向实际的场景实时自动化分析。. 其次，利用视觉显著性理论，探索研究了图像配准与融合方法。提出了利用视觉显著性机制进行图像配准的思路。提出了3种融合理论与方法，一是采用显著性提取与非下采样多尺度分析的融合思路，多尺度分析不降低分辨率而提取不同层次的细节，显著性提取可以分析凸显不同尺度细节图像的视觉感兴趣分布；二是提出了基于多窗口显著性提取以凸显各种尺寸目标的图像融合方法，可适当改变窗口尺寸，以凸显所需要的目标尺寸；三是基于熵函数可以有效评价融合图像的基础上，将Frieden熵作为规整化项整合于融合模型中，最终有效实现多光学波段图像融合。. 最后，本项目搭建了多光学波段成像技术平台，进行实际拍摄室内、室外实验，利用多波段融合进行了目标探测应用研究，经过大量数据的测试，证明效果稳定。