烟雾流形建模及其在视频烟雾事件检测中的应用

It is very challenging to detect smoke in video due to varying shape, texture and color of smoke. Hence, starting from the manifold learning theory that's possibly similar to the processing method of human perception, we focus on exploring how to extract low dimensional intrinsic structures imbeded in high dimensional observing space, try to obtain invariant features for complex and varying smoke objects and propose a novel method for video smoke detection. To eliminate storage or encoding of geometrical shape by traditional manifold learning methods, we adopt statistical methods or other means to process and normalize smoke images before manifold modeling. Then, we perform researches on neighborhood construction and selection, and weighting coefficients of neighboring points, and build a neighboring graph that's suitable for smoke detection. Based on the graph, we explore linearizing methods of smoke manifold features, and study enhancing methods of discrimination between smoke and non-smoke. Finally, we compare the results of manifold modeling on original, normalized or fused images. This project will help to solve key scientific problems of fire detection in large space and outdoors. It is also important and significant in both theory and application.

烟雾形状、纹理和色彩等视觉特征千差万别，导致视频烟雾检测非常困难。为此，本项目从可能比较接近人脑感知的流形学习理论出发，重点探索烟雾图像目标嵌入在高维观察空间的低维内在结构，试图提取复杂多变烟雾目标的不变性特征，从而提出一种视频烟雾检测新方法。为了消除常规流形学习方法对宏观几何形状的记忆或编码，在烟雾流形建模之前，拟采用统计等方法对烟雾图像进行规范化处理。然后，研究烟雾流形的近邻构造与选择方法，以及邻域点连接权值，继而构造适合烟雾检测的邻域图。基于此烟雾邻域图，研究烟雾流形特征线性化方法，以及烟雾与非烟雾可分性的增强方法。最后，研究比较原始图像、规范化图像或融合图像的烟雾流形特征建模方法。通过本项目的研究，拟解决大空间和室外火灾探测中的关键科学问题，具有重要的研究和应用价值。

传统探测技术灵敏度高，但存在监控范围窄、响应速度慢等缺点。为了解决这些问题，项目组对近几年发表的相关文献进行全面梳理和分析，重点研究烟雾图像边缘特征、局部特征、多尺度规范化、流形特征、烟雾检测方法等问题，提出多种烟雾图像特征提取和检测方法，具体如下：. 研究边缘和局部模式等特征，提出多种具有旋转、尺度不变性的规范化烟雾特征。采用圆周平移方式将边缘方向直方图(EOH)的最高柱变换到固定位置，消除了旋转变换的影响。同时，提取图像亮度和饱和度分量的Hu不变矩、均值、偏差、偏度和峰度特征。此外，在图像金字塔每层上，提取局部二元模式(LBP)和边缘方向直方图(EOH)，提出了一种采用图像金字塔纹理和边缘多尺度特征。通过研究高阶方向导数、圆周平移子模式和尺度空间，提出旋转及尺度不变性局部模式特征。. 在局部特征基础上，研究烟雾流形特征提取方法。将各阶方向导数编码为局部三值模式（LTP），并将LTP编码分解为上LBP和下LBP。随后采用联合直方图提取上下LBP的共现信息，得到高阶局部三值模式（HLTP）的串联直方图。采用流形学习方法局部保留投影（LPP），对HLTP直方图序列进行变换得到烟雾流形内在特征。另外，计算LBP编码子方向直方图获取LBP编码之间的空间信息，提出在两个坐标系统下采用海明距离计算编码梯度。联合两个坐标的梯度方向，针对每一对方向组合，在原始LBP编码映射图的基础上生成一个LBP编码子方向映射图，并计算子方向直方图。. 为了提高检测方法的性能，研究了多种新的烟雾检测方法。提出一种结合局部模式特征、核主成分分析(KPCA)和高斯过程回归(GPR)的烟雾检测新框架，主要包括特征提取、降维和分类。采用积分图技术快速提取扩展Haar类特征和统计特征，提出一种基于阶梯搜索算法和双阈值自适应提升算法的视频烟雾检测方法。阶梯搜索技术使得训练和分类目标函数尽量保持一致。提出了一个14层的规范化深度卷积神经网络(DNCNN)，此网络能够自动提取特征并进行分类，是一种端对端的烟雾检测方法。