双模态红外图像差异特征与融合算法的深度集值映射研究

To adjust to fusion algorithms according to the attributes of different features is an important way to improve adaptive performance of dual modal photoelectric detection system. At present the set-valued mapping used to reveal the relationship between the both cannot reflect the algorithm changing demands of multiple attributes of different features(such as type, amplitude and frequency, etc.), leading to low fusion effect even fusion failure. Therefore, in this project, fusion of dual modal infrared images is taken as research object, also set-valued mapping and possibility distribution combination are employed as research techniques, and the deep set-valued mapping between different features and fusion algorithms of two types of images is established. Specific contents as follows: i) characteristic analysis of set-valued mapping: study on properties of the attributes of different features, construction fusion effective degree distributions of algorithms for the single attribute of different features to establish set-valued mapping between the both, and analysis of the characteristics and properties of set-valued mapping; ii) study on deep set-valued mapping: exploration of various combination methods of fusion effective degree distributions, establishment of many kinds of mappings between multiple attributes of difference features and fusion algorithms, exploration of iterative methods of mappings, and determination of the joint shadow; iii) deep set-valued mapping validation: study on the algorithm selection rules, and building of image fusion model based on deep set-valued mapping to verify the mapping validity. Thus, the project provides theoretical basis to realize intelligence fusion of dual modal infrared images by establishing the deep relationship between different features and the algorithms.

根据图像差异特征的不同属性动态调整算法是提高双模态光电探测系统自适应性能的重要途径。目前用于揭示两者间关系的集值映射无法同时反映差异特征多个属性（如类型、幅值及频次等）对算法的变化需求，造成选择的算法融合效果差甚至失效。为此，项目以双模态红外图像融合为对象，以集值映射、可能性分布合成等为手段，建立差异特征与融合算法的深度集值映射。内容包括：1）集值映射特点分析：研究差异特征不同属性的特点，构造算法对差异特征单一属性的融合有效度分布，建立两者间集值映射，分析集值映射特点及性质；2）深度集值映射研究：探究各融合有效度分布的合成方法，建立差异特征的多个属性与融合算法间的多类映射，探索映射多次迭代方法，确定联合落影；3）深度集值映射验证：研究算法选取规则，构建基于深度集值映射的图像融合模型，验证映射有效性。从而通过建立差异特征与算法间的深层关系为实现双模态红外图像智能化融合提供理论基础。

根据图像差异特征的不同属性动态调整算法是提高双模态光电探测系统自适应性能的重要途径。目前用于揭示两者间关系的集值映射无法同时反映差异特征多个属性（如类型、幅值及频次等）对算法的变化需求，造成选择的算法融合效果差甚至失效。项目以双模态红外图像融合为对象，以集值映射、可能性分布合成等为手段，建立了差异特征与融合算法的深度集值映射。. 主要研究内容包括：. 1）分别建立了6种差异特征与融合算法间的集值映射。分析了差异特征类型、幅值及频次等属性的特点，提出了3种融合有效度函数化表示方法，分别构造了融合算法对各差异特征幅值和频次的融合有效度分布，实验结果证明了所建分布能够有效描述算法随差异特征不同取值融合效果的动态变化。. 2）建立了差异特征多属性与融合算法间的深度集值映射。在12种融合算法下分别确定了6种差异特征的融合有效度联合落影，利用模糊算子建立了同类差异特征与融合算法间的深度集值映射；构建了基于K最近邻法的差异特征频次权重函数，利用可能性分布合成理论建立了差异特征、融合算法及融合效果间的深层关系，实现了异类差异特征融合有效度分布合成，为根据差异特征与融合算法间关系动态调整融合算法提供依据。. 3）提出了2种基于深度集值映射的双模态红外图像融合算法选择方法。在可能性理论框架下，分别构建了基于可能性信息质量合成的融合算法选取模型和基于可能性分布联合落影的融合算法选取模型，并对多组不同场景下的源图像进行了实验仿真，实现了由双模态红外图像间差异特征多属性驱动自适应地选择优化融合算法，显著提高了融合图像的质量。. 通过本项目研究，揭示了图像差异特征与融合算法间的复杂关系，突破了现有仅考虑互补特征单一属性选择算法的局限，探索了通过根据差异特征多属性变化而动态选择算法的一种新思路，使多模态成像系统根据实际探测需求自适应调整融合算法，提升了系统的智能化、精准化探测水平。