基于空间-光谱结构稀疏编码的多波段夜视目标识别技术

The night vision technology has been developed from the traditional way by single-band imaging to multi-band detection. However, with the continuous development of night vision technology, the complexity of application environments and diversity of demands are driving the modern multi-band night vision detection to develop the new information processing theories and methods. Focus on the problems of visual sparse analysis around target perception and recognition in multispectral night vision images, this project combines the device of multi-sensor for night vision imaging, and intends to study the methods of night vision information understanding based on the spatial-spectral structure sparse coding. The core idea is to combine the visual sparse response mechanism and the multidimensional structure features of multi-spectral night vision data, then full analyze and use of their essence and invariant information, and finally effectively solve the interference in night vision images and target diversification caused by complex imaging environments. The major researches include: the local space/spatial-spectral structure preserved sparse coding, the typical target recognition in multispectral night vision image based on the multidimensional structure sparse coding, the heterogeneous framework of night vision data processing in high performance. This project simulates the efficient biological cognitive system and achieves the multispectral night vision target recognition based on the spatial-spectral structure sparse coding algorithm, its research results can provide theoretical and technical supports for the intelligent understanding of multi-band night vision images in complex environment.

夜视技术已从单一波段成像发展为多波段探测，但随着应用环境的复杂化和需求的多样性，传统信息处理技术已难以满足现代多波段夜视的探测需求，因此迫切需要发展新型信息分析的理论方法。围绕视觉稀疏分析在多光谱夜视目标感知识别中面临的问题，本项目结合多传感器夜视成像装置，拟探索研究基于空间-光谱结构稀疏编码的夜视信息理解方法，其核心思想是结合视觉稀疏响应机理和多光谱夜视数据的多维结构特征，充分分析和利用夜视数据的本质、不变信息，有效解决复杂成像环境导致的夜视背景干扰和目标多样化。主要研究内容包括局部空间/空间-光谱结构保持稀疏编码、基于多维结构稀疏编码的多光谱典型夜视目标认知识别以及高性能夜视数据异构处理模型。本项目模拟高效的生物认知系统，实现基于空间-光谱结构稀疏编码的多光谱典型夜视目标识别，其研究成果可为复杂环境下多波段夜视图像智能理解提供理论与技术支撑。

本项目立足于多源多光谱成像（可见光/微光、短波红外、长波红外等），建立多波段夜视成像探测装置。针对夜视环境下的目标认知难题，提出了一系列基于空间-光谱结构稀疏的夜视场景目标识别新方法，并设计实现了完整的夜视目标感知理论和方案。. 研究内容：围绕复杂场景下夜视成像探测目标识别面临的诸多问题，突破基于局部稀疏结构降噪的夜视图像增强，基于稀疏约束的多维夜视数据流形分类，以及基于多维稀疏结构编码的夜视目标识别方法与技术。具体构建基于局部稀疏结构降噪LSSD的微光图像增强、基于元胞自动机的红外图像增强模型；提出基于多随机子空间稀疏表示SSM-RSSR、离散稀疏正则化DSMR、概率随机子空间稀疏表示P-RSSR的半监督流形学习分类方法；建立基于局部稀疏结构匹配LSSM的夜视目标检测、基于稀疏无损约束降噪自编码LD-AE的图像识别模型。形成夜视图像信息处理较为完整的理论体系，实现高效鲁棒的夜视目标识别。. 研究方案与系统：首先，依据多光谱夜视图像空域和谱域上的数据分布特性，结合流形分析思想，将图像局部结构先验引入到稀疏编码的目标函数中，提出了局部空间结构保持稀疏编码LSPSc和局部空间-光谱结构保持稀疏编码LS3PSc算法，以提升单/多光谱夜视图像稀疏分解稳定性；其次，开展了一系列基于多维结构稀疏编码的复杂场景环境夜视目标认知方法研究，结合局部匹配思想，利用局部稀疏结构的噪声不变特性，构建了一种局部稀疏结构匹配模型LSSM，并结合夜视场景显著分析，增强夜视典型目标识别效率；最终，有效整合字典学习、结构稀疏量化和目标概率提取检测模块，设计了多模块的异构框架，并建立基于空间-光谱结构稀疏编码的夜视目标增强识别原理试验装置，实现了夜视目标高精度、高效率的鲁棒识别。. 成果转化与推广：将相关核心关键技术应用到军事侦察、智慧城市等多个领域，构建了机载/车载多套无人夜视成像感知软硬件系统，鲁棒精准检测定位夜视目标，实现了高效能多波段夜视信息计算输出。