SAR和可见光图像的脉冲耦合神经网络分层感知融合研究

The fusion of SAR and visible light images is the important research topic in navigation, guidance and control.The fusion mechanism and objective evaluation are the key questions of the fusion.The registered SAR and visible light images will be used in this project. The single objective evaluation index will be analysed first, then the granularity computing of quotient space theory will be introduced in the research of synthetical objective evaluation for SAR and visible light images.The common and complementary characteristic feature for different-source image will be explored based on the imaging principle and fusion mechanism,then the new adaptive low-level fusion model based on pulse coupled neural network for the SAR and visible light images will be established.The detection and fusion of regions of interest for SAR and visible light images will be implemented based on the optimal segmentation of this two images.Through the investigation of the project,the relationship between the mechanism of image fusion and realization of pulse coupled neural network algorithm can be established. The new pixel-level fusion framework which combine the low-level image feature and high-level image feature can be proposed.The research is of significant importance for opening out the key and basic questions of pixel-level image fusion,enriching and developing the existing image fusion theory,and promoting the research of multi-source image fusion theory and framework in-depth. The application prospects of the research findings will be very wide not only in military affairs but also in civil field.

SAR和可见光图像的融合是导航、制导与控制等领域的重要研究课题之一，涉及融合机理和客观评价等关键问题。项目以已配准的SAR和可见光图像为研究对象，拟在分析和改进现有单因素指标的前提下，引入商空间粒度计算理论，建立SAR和可见光图像融合的综合客观评价体系；从图像的成像原理和融合机理出发，构造面向异源图像融合的共有和显著特征表征函数，进而建立特征关联的脉冲耦合神经网络自适应低层融合新模型。以最优分割结果为基础，探索SAR和可见光图像高层语义信息的提取及融合。通过研究，建立图像融合机理与脉冲耦合神经网络实施算法的本征关系，提出联合低层和高层融合的分层感知融合新框架。本项目对于揭示像素级图像融合的关键基础问题，丰富和发展现有图像融合理论，推进多源图像融合理论和框架的深入研究具有重要意义，其研究成果在军事和民用领域均具有广泛的潜在应用前景。

项目组以脉冲耦合神经网络、多尺度几何分析和马尔可夫随机场理论等为基础，构建了图像的自适应融合框架，提出了适用于SAR图像的分割算法，完善了干扰条件的下的红外目标检测算法，实现了高精度图像识别。所完成的具体研究内容如下：.(1) 提出了基于Contourlet域AFMRF-HMT融合模型的SAR图像分割新方法。该方法充分利用了Contourlet变换在方向信息描述方面的优越性，改善了对于模糊纹理和边缘的划分精度，且自适应的β标记因子也使得新算法可以更好地兼顾平滑区域和纹理区域的分割需要。.(2) 提出将平均梯度和辐射分辨率分别作为可见光图像和SAR图像的显著性特征，并将其作为PCNN的链接强度参数，构造了特征耦合的双通道PCNN图像融合模型；同时，创新性地引入人工鱼群寻优算法，自适应获得了PCNN最优融合结果。.(3) 引入视觉显著性计算和四方向的改进拉普拉斯能量算子，提出了一种基于非采样Shearlet变换的多聚焦图像融合算法。结果表明，该算法获得的融合图像具有更好的清晰度，能够更正确的选择聚焦部分。.(4) 为实现诱饵弹干扰下的红外目标检测，提出了一种基于相对位置的综合决策算法。结果表明，算法的检测结果优于单独使用基于特征块的阈值分割以及边缘检测方法得到的检测结果。.(5) 提出了适用于CRBM模型的惩罚因子。重构误差指标表明，该方法有效弱化了CRBM训练过程中卷积核出现同质化的现象，改善了模型的预训练效果。同时，结合卷积深度置信网络现有的训练方法，提出了新的参数学习方法，有效解决了网络训练过程中梯度弥散的问题，大大提高了网络的监督及预测能力。.通过研究，解决了项目的关键科学问题，完善了基于MRF模型的SAR图像分割方法，丰富和发展了PCNN与多尺度几何分析图像融合理论，推进了多源图像融合理论和框架的研究。