基于流形和视觉注意的复杂场景夜视目标识别

With the development of night vision technology, night vision apparatus have been produced with high detail resolution, efficient and intelligent processing of night vision images becomes the inevitable trend, and automatic target recognition in complicated night vision scene is urgently needed in various fields. Researches on this project try to explore a class of multiband night vision target recognition methods based on manifold learning and visual attention. The main idea of the study is the combination of manifold learning theory and visual attention model, the abundant understanding and analysis of multiband night vision images, which lead to accurate and automatic target recognition in complicated night vision. Research contents include manifold analysis of multiband night vision image features to realize the data clustering and dimension reduction of features; manifold clustering segmentation of night vision image; saliency analysis of segmented image, ROI extraction based on visual attention to separate the potential target areas; robust multi-manifold learning algorithm to solve the problem of interference of noises and outliers in night vision data, and target classification and identification based on multi-manifold algorithm. This project aims at studies on parts of the key theoretical and experimental problems of visual attention to complicated night vision scene, supervised and unsupervised manifold learing of night targets, which will be the further development of night vision technology, and new methods solving the problem of intelligent night vision target detection and identification will be provided.

随着夜视技术的发展，夜视装置已拥有较高的细节分辨能力，高效、智能化的夜视图像处理技术逐渐成为新的发展趋势，如何在复杂场景下自动识别目标已是诸多领域的迫切需求。本项目拟探索研究基于流形学习和视觉注意的多波段夜视图像目标识别方法，其核心思想是结合流形学习理论和视觉注意模型，充分理解分析多波段夜视图像信息，从而实现复杂场景下精确的夜视目标自动识别。研究内容主要包括多波段夜视图像特征流形分析，实现夜视特征数据聚类和降维；基于流形聚类的夜视图像分割；分割图像显著性分析，基于视觉注意的夜视图像ROI提取，分离目标潜在区域；鲁棒稳健多流形学习，解决夜视数据中噪声、离群点干扰问题，实现基于多流形分类识别的夜视目标认知。本项目针对复杂夜视场景的视觉注意分析，夜视目标的监督与非监督流形学习的理论与技术等部分关键问题展开研究，是对夜视技术研究的进一步深化，为解决智能夜视目标探测识别问题探索新的技术途径。

本项目立足于多源多光谱成像（可见光/微光、短波红外、长波红外等），建立多波段夜视成像探测装置。针对夜视环境下的目标认知难题，提出了一系列基于流形和视觉注意的复杂场景夜视图像目标识别新方法，并设计实现了完整的夜视目标感知理论和方案。.研究内容：围绕复杂场景下夜视成像探测目标识别面临的诸多问题，突破基于流形理论和视觉注意的夜视图像目标识别方法与技术。具体发展流形聚类和降维理论，设计统一聚类和降维的多流形分析方法；提取多波段夜视图像多尺度特征图；研究基于流形聚类的多波段夜视图像分割方法和基于视觉注意的夜视图像兴趣区域提取；提出鲁棒稳健的多流形学习算法，特定夜视目标监督流形学习算法，以及一般夜视目标流形分类识别算法。形成夜视图像信息处理较为完整的理论体系，实现夜视条件下高效智能目标识别。.研究方案与系统：首先，结合流形聚类理论和视觉注意机制模型，提取夜视目标潜在的ROI，将场景问题转换为对感兴趣区域的分析过程，提高复杂场景下夜视目标分析效率；其次，开展了一系列基于流形分类识别的夜视目标认知方法与技术研究，充分挖掘ROI区域的夜视特征数据内在结构规律，提高对夜视目标的探测能力和识别精度；最终，高效整合多波段夜视显著计算、流形降维分类模块，协调各模块间的知识通信和反馈，建立了基于流形和视觉注意的复杂场景夜视目标识别原理试验装置，并进行野外实验，实现了夜视目标高精度、高效率的智能识别。.成果转化与推广：将相关核心关键技术应用到军事侦察、遥感观测、智慧城市等多个领域，针对不同的应用需求，优化算法并行移植和数据通信，构建了多套无人夜视成像感知软硬件系统，有效捕获目标、背景分布和精确目标跟踪定位，实现了高效能、高精度多波段夜视信息计算输出。