基于认知计算和信息挖掘的多波段夜视图像融合技术

Along with the development of night vision technology, multispectral imaging and new information processing theory is an inevitable trend of night vision technique development for typical scene environment while the existing single-band detection can no longer meet the demands of modern night vision. With the constructing of principle test equipment about multiple sensors night vision imaging, research on this project tries to explore a series of fusion methods on multispectral night vision images based on perception computing and information mining. The main idea that combines information fusion, perception computing and image mining is fully understanding of multispectral night vision images to solve the problems coming from rapid increasing and complication of information in night vision images. The main research includes four aspects as below: theoretical and experimental research on vision computing model in night vision images, fusion in multispectral night vision images based on perception computing, database building of target information relation based on image mining, and target identification in multispectral night vision images based on image mining. This project will bring further development of night vision imaging theory and technology, and probe into a new research method solving the problem of night vision targets detection and identification. Achievements in multispectral night vision imaging with its image fusion based on perception computing and information mining will provide a new approach to technology of night vision information detection and processing and an effective solution in public security, national defense and industry.

随着夜视技术的发展，传统单一波段探测方式已经不能满足现代夜视的需求，针对典型场景环境的多波段成像及新型信息处理理论方法将是夜视技术发展的必然趋势。本项目结合多传感器夜视成像原理试验装置的构建，拟探索研究一系列基于认知计算和信息挖掘的多波段夜视图像融合方法，其核心思想是结合信息融合方法和认知计算与图像挖掘技术，充分理解和利用多波段夜视图像信息，从而有效解决多波段夜视成像导致的数据膨胀及信息复杂化。研究内容主要包括夜视图像视觉计算模型、基于认知计算的多波段夜视图像融合、基于图像挖掘建立目标信息关系数据库以及基于图像挖掘的多波段夜视图像目标识别理论与技术研究。本项目是对夜视成像理论与技术研究的进一步深化，为解决夜视目标探测识别问题探索新的研究手段。多波段夜视成像及其基于认知计算和信息挖掘的图像融合研究成果将为夜视信息探测和处理提供新的技术实现方式，在公安、国防、工业等领域具有广泛的应用前景。

本项目立足于多源多光谱成像（可见光/微光、短波红外、长波红外等），建立多波段窄带光谱成像探测装置。引入生物视觉感知和脑认知机理，突破传统夜视技术，研究实现基于认知计算和信息挖掘的多波段夜视图像融合系列方法模型。.首先，针对各波段夜视图像特征，基于视觉非经典感受野、稀疏响应、选择注意、拓扑保持等机理，构建了具有人眼视觉典型特性和脑认知功能的新型计算模型，实现自然场景下图像视觉特征提取、增强、显著分析和典型目标鲁棒识别。其次，针对多光谱、大规模图像集，基于复杂信息挖掘和流形学习理论，建立了夜视目标-场景关系数据库，提出非/半监督和监督的高维数据智能学习、降维和分类算法，有效提高了多光谱目标检测率和高维夜视数据分类识别精度。最后，基于视觉层次感知机制，研究分层、并行的what/where结构框架和异构信息处理模型，高效整合多波段目标认知计算、信息挖掘和融合模块，实现了快速、准确的夜视场景理解和目标感知方法。.（1）结合视觉感知特性，实现了夜视图像视觉特征分析模型、选择注意模型、认知计算模型和层次感知模型研究与设计；突破了夜视图像特征表示算子、目标分析和识别方法从二维空间向多谱段、多时序的拓展，构建新型多光谱夜视图像和视频理解模型，实现了高性能、鲁棒的静/动态夜视目标探测和场景融合。.（2）学习多维特征空间的流形分布及其内在结构，提出了多光谱、多时序夜视图像信息流形降维分类算法；从空间、光谱、时间等多维度挖掘夜视目标/场景的信息结构和关联规则，建立了目标-场景关系数据库；并将这种先验知识嵌入到视觉计算和学习分类模型算法中，形成二次识别，有效提升了多维复杂数据下的夜视目标识别和场景理解能力。.（3）将视觉仿生计算和信息挖掘机理引入到夜视数据融合过程中，研究新型信息融合算法，提出了基于视觉特性和关联规则挖掘的增强融合方法，构建了多维夜视图像的低-中-高多层次理解网络，实现了基于视觉特性的自然感场景融合和目标注意标记。.（4）将相关核心关键技术应用到航空航天、智慧城市、工业智能化等多个领域，针对不同的应用需求，优化算法并行移植和数据通信，构建了多套无人夜视成像感知软硬件系统，有效捕获目标、背景分布和精确目标跟踪定位，实现了高效能、高精度多波段夜视信息计算输出。