基于概率传播的红外图像显著性检测方法研究

Infrared imaging, which can effectively complement the visible light imaging in low/complicate light conditions and achieve all-weather all-time work, has been widely used in the video surveillance, smart home, unmanned / automatic driving systems, etc.. Characterized by low SNR, low contrast, inhomogeneous luminance distribution and fuzzy edge, it is very difficult to obtain accurate and complete objects detection and segmentation in infrared images under complicated infrared imaging environment. Facing these technical challenges, this project aims to introduce saliency theory into infrared object detection, and develop a high efficiency infrared saliency object framework with the help of new visual analysis and processing mechanism and techniques. The research is composed of the following three major parts. First, following the study of distinctive visual salient features of infrared images, the saliency probability map will be introduced to model the salient features of infrared images from the perspective of probability analysis. Then, from the perspective of target priori, the infrared target heat radiation effect and the local stability features of target shape will be comprehensively analyzed and modeled. Finally, we will study the complementary relationship between the visual attention and the target prior, and establish a probability propagation-based optimization model to combine them together. In all, this project aims to develop a high efficiency infrared saliency detection framework, which is supposed to not only improve the accurate of object detection, but also provide better information for the following object recognition, which is of great theoretical and practical value to the high reliability, high safety infrared application systems.

红外图像可有效弥补可见光的不足，实现全天候全天时工作，在侦察、监视、制导等军事领域以及智能家居、无人/自动驾驶等民用领域应用广泛。但是，由于红外图像信息获取有限、灰度分布不均及目标边界模糊等特性，使得现有红外目标检测方法可能存在目标区域提取的“不准确”、“不完整”而导致目标的“漏检”、“误检”，难以满足现代化红外系统“高可靠”、“高安全”的核心应用需求。针对上述技术挑战，本项目拟将显著性理论引入红外目标检测，通过对红外图像的成像机理和目标特性等方面进行深入分析，分别从视觉注意和目标先验角度研究基于概率密度的红外图像显著性描述方法，并以此为基础构建基于概率传播的显著性优化模型，最终建立一套基于视觉显著性的红外图像目标检测理论与方法，为红外图像的应用提供理论基础，并进一步为后续目标识别、图像理解等研究提供更加准确、有效的信息输入，提升红外系统的安全性、可靠性和实用性。

本项目在深入分析由于红外图像信息获取有限、灰度分布不均匀及红外目标边界模糊等导致红外目标检测不准确、不完整等问题的基础上，深入研究了红外图像检测中的问题和难点，提出了一系列基于概率传播的红外图像显著性检测方法，主要研究进展包括：1）构建红外数据集。针对红外图像应用的主要场景，使用热红外成像系统，对常见场景和目标进行采集，并完成人工标注，构建具有多样性及全面性，满足多应用使用条件的红外图像显著性检测数据集及语义分割数据集，补充了现有红外数据在场景复杂性和多样性上的不足。2）研究了红外图像概率重构模型。提出基于概率密度重构的红外图像显著区域检测算法以及基于概率引导的直觉模糊c均值聚类算法。利用红外目标的概率特性以及红外图像成像特性对显著目标的显著特性进行描述，实现基于概率重构的红外图像显著性检测。3）研究了红外图像概率优化模型。提出基于图优化的红外行人图像显著性检测算法和联合图学习与时空传播的红外视频显著性检测算。通过构建红外热传播模型及显著目标外观模型描述行人的显著特征，并结合概率传播原理、图结构、以及帧间运动信息构建优化模型，实现红外行人图像中高效而准确的显著性检测结果。4）研究红外图像语义分割模型。提出基于注意力机制的红外图像语义分割图网络模型和弱监督下结合帧间传播的红外视频语义分割网络模型。将注意力机制运用到获取图像的高层语义特征的过程中，构建结合注意力机制的图网络模型。同时结合标注帧和普通帧之间的运动场信息，利用帧间的相似性解决标签缺失的问题并保证分割结果在视频序列中的一致性，以此提升红外视频的语义分割结果。基于项目成果，已在IEEE TFS、IEEE ACCESS、IEEE JBHI等领域顶级期刊发表SCI论文4篇，在国内期刊发表论文1篇，申请发明专利9项（授权5项），在审SCI论文2篇。