基于可见光与红外图像融合的CNN目标识别关键技术研究

The information of visible light image is abundant in detail but hard to detect object under the low light environment; thermal imaging infrared image is irrespective of illumination but lack of detailed information; object recognition based on single source image have been studied, however research of object recognition based on visible light and infrared image fusion is almost blank. Considering that object recognition based on single source image can’t work in all-weather conditions, this project attempts to efficiently utilize the complementary features of visible light and infrared image, study the region mapping method and texture extraction and verification approach for visible light and infrared image in Low light environment, study image fusion feature extraction verification method and discuss the feature extraction matching correlative method in CNN object recognition; through doing research on PCNN model simplification, parameter optimization and all parameters automatic setting; dig information of PCNN pulse firing output image sequences to find a fusion strategy improving detailed information of the fusion image; by means of researching the application of feature extraction matching in CNN object recognition, realize to reduce the consumption of feature extraction matching; do research on improving the image classification speed, aiming to make CNN learn efficient object recognition model and fast recognition algorithm. Through the researches, the quality of fusion image can be improved, the object recognition speed and robustness will be promoted, which is significant in the fields of security monitoring, machine vision, national defense、military surveillance andguidance.

可见光图像细节信息丰富,但弱光环境时,难于目标识别;红外图像基于热源成像与光照无关,但细节信息少。基于单一图像源目标识别已有研究,但基于可见光与红外图像融合的目标识别却几乎空白。针对单一图像源目标识别都不能理想地全天候工作,本项目试图利用可见光与红外图像信息互补特性,研究弱光环境下可见光与红外图像基于区域划分的映射及特征提取匹配方法，图像融合特征提取匹配与CNN目标识别中的特征提取匹配关联方法;通过研究PCNN模型简化、参数优化及参数全自动设置方法,挖掘PCNN脉冲点火输出图像序列所含信息,提高融合图像细节信息的融合策略及算法;通过图像融合中的特征提取匹配与CNN目标识别中关联,实现减少特征提取匹配消耗;研究提高分类训练速度,使CNN学习高效的目标识别模型及快速识别算法。通过研究,提升融合图像质量,提升目标识别速度和鲁棒性,对安全监控、机器视觉、国防、军事侦察制导等领域具有重要意义。

本项目主要针对低照度环境下可见光图像目标难于正确识别，而单一的红外图像属于低频图像缺少细节信息也同样存在误识率高的情况，本项目开展以下研究：.1）开展了弱可见光与红外图像融合增强与特征匹配研究，提出了一种基于对比度增强和柯西模糊函数的红外与弱可见光图像融合算法；提出了一种基于显著性检测和ORB特征点的图像配准算法；提出一种基于卷积神经网络的红外和可见光融合图像的场景识别算法；提出一种结合改进的脉冲耦合神经网络与Retinex理论相结合的图像融合方法。此外，提出了一种基于深度学习并结合交叉注意力和VGG16预训练模型的低照度红外与可见光图像融合网络的融合方法。这些研究成果对突出低照度可见光图像细节，提高融合图像轮廓与细节清晰度具有重要意义。.2）开展了基于深度学习的低照度图像增强研究：提出了一种多重构变分自编码器逐步增强的低照度增强图像方法。提出了一种基于Retinex和Attention相结合的低照度图像增强方法。提出一种基于注意力机制残差密集生成对抗网络的低照度图像增强方法。这些方法对提升低照度图像的亮度、对比度、色彩、信噪比和视觉特性具有重要意义。.3）开展了超分辩率重建与语义分割研究：设计了全新的基于异构核卷积结合对抗生成网络的红外图像超分辨率重建算法；对解决少样本的红外图像重建，获得的可见光图像丰富的细节纹理特征具有意义。此外，提出了一种STDC-MA网络来实现语义分割方法，对分割速度和精度有意义。.4）开展了低照度下的目标检测与图像目标理解研究：提出了一种低照度目标检测（Dark-YOLO）方法；提出一种结合特征增强和多尺度感受野的低照度目标检测算法.实现端到端的低照度目标检测，对提高低照度环境下的目标正确性具有意义。此外，在图像理解方面：项目提出了一种VRE-GDT的图像描述架构，对提高图像描述正确率具有意义。