基于红外热像色彩重建的全天候彩色夜视技术研究

The color night vision technology is advantageous to scene interpretation by displaying the original monochrome night vision imagery with colors, which is the future development of night vision technology. Until recently, the methods of color night vision are all based on the low-light-level imagery or the fusion with low-light-level imagery thus cannot work under complete darkness or thick fog. To address this problem, different form the existing technical strategies, we directly reconstruct colors with the single-band infrared thermal imagery, hence can provide a natural color night vision without the low-light-level visible light and leading to an all-weather color night vision system, which is valuable for both military and civil fields. We propose a color reconstruction model in the novel color night vision system under supervised learning framework. Base on the color reconstruction model, we study on the feature extraction structure of infrared thermal imagery with the correlation-based visual understanding mechanism, study on the feature quantization with the sparse representation theory, study on the correlated and uncertain color variables with the hieratical stochastic random fields, study on the model solution with the variational Bayesian inference, and study on the natural color training database and objective evaluation of the infrared thermal color night vision systems.

彩色夜视技术通过给单色的夜视图像赋予色彩来提高对场景的理解能力，是夜视技术的发展方向。目前实现彩色夜视的方法都是基于微光夜视或微光融合夜视，因此要求环境中必须存在少量的可见光，无法在完全黑暗或有雨雾遮蔽的情形下工作。本项目针对此问题，不同于现有的技术思路，直接对单波段的红外热像进行色彩重建，从而无需夜天光的辅助即可产生符合人眼视觉特性的色彩，实现可以工作于各种极端环境、全天候的彩色夜视，对军用和民用领域都具有重要意义。本项目从构造红外热像的色彩重建模型出发，提出了采用监督学习框架的新型彩色夜视体系。并以该模型为基础，运用视觉关联性理解机制进行红外热像的模式特征提取结构研究，利用稀疏逼近进行红外热像的模式特征量化研究，基于多层概率随机场进行色彩变量的空间相关性及非确定性研究，采用变分贝叶斯推理进行模型求解研究，针对红外热像进行自然色彩样本库构建及彩色夜视性能客观评价研究。

彩色夜视技术通过给单色的夜视图像赋予色彩来提高对场景的理解能力，是夜视技术的发展方向。目前实现彩色夜视的方法都是基于微光夜视或微光融合夜视，因此要求环境中必须存在少量的可见光，无法在完全黑暗或有雨雾遮蔽的情形下工作。本项目针对此问题，不同于现有的技术思路，直接对单波段的红外热像进行色彩重建，从而无需夜天光的辅助即可产生符合人眼视觉特性的色彩，实现可以工作于各种极端环境、全天候的彩色夜视，对军用和民用领域都具有重要意义。本项目本文从构造红外热像的色彩重建模型出发，提出了采用监督学习框架的新型彩色夜视体系，研究了基于线性回归的线性色彩估计模型、基于核方法的非线性色彩估计模型及基于欧拉放大的色彩细微变化增强模型；并以该模型为基础，基于视觉关联性理解机制进行红外热像的模式特征提取结构研究，研究了基于多尺度及空间上下文信息的特征表示方法、基于区域稀疏表达的特征表示方法、基于马尔科夫随机场的特征表示方法、面向混合类型数据聚类的近邻传播算法及基于近邻传播的改进组搜索优化聚类算法；采用变分贝叶斯推理进行模型求解研究，研究了基于Double Lomax先验的贝叶斯稀疏估计及基于Gaussian - Jeffreys先验的贝叶斯压缩感知复原方法。从研究对象来看，本项目提出并实现了三种形式的红外热像彩色夜视技术：面向红外热像图片的彩色夜视技术、面向红外热像视频序列的实时彩色夜视技术以及面向全景热像的彩色夜视技术。项目共发表论文18篇，其中SCI检索7篇，EI检索9篇；申请并公开专利2项，申请并授权软件著作权4项。