拉卜楞寺低照度安保环境下多源彩色微光夜视图像融合方法研究

Labrang Monastery in Xiahe County, Gannan Tibetan Autonomous Prefecture of Gansu Province, is in a special security environment of low illuminance which makes the current monitoring system could not obtain clear surveillance video. This project tries to study the multisource color night vision monitoring technology under the special environment of low illuminance in Labrang Monastery. Based on model establishment and data analysis method, this project tries to establish two-channel four-band sensor image acquisition model, illustrate the collaborative acquisition mode of this model, research the dynamic filtering mechanism, then obtain near infrared image and RGB visible natural color image from the data source end. The project also tries to promote the near infrared image and visible color image fusion algorithm based on significant factor and color space transform, including constructing significant factor to transfer significant information of source images, separating color information of visible light image by color space transform, improving Tetrolet transform in Multiscale Geometric Analysis (MGA) method to fuse the near infrared image and RGB visible natural color image, researching the fusion rules of high frequency coefficients, low frequency coefficients and significant factor, establishing the correction model and transfer model of visible light image color channels. The implementation of this project could provide clear monitoring data for the security of Labrang Monastery, lay the foundation for future security and data analysis, and provide a strong security guarantee for our heritage heritage.

甘南藏族自治州夏河拉卜楞寺特殊的低照度安保环境下，常规的监控手段无法获取清晰监控数据。本课题拟针对拉卜楞寺特殊的低照度安保环境，研究基于图像融合的多源彩色微光夜视监控技术。通过模型建立和数据分析验证等手段，建立双通道四波段传感器图像采集模型，阐明双通道四波段图像协同采集模式，研究动态滤光机制，从数据源端获取近红外图像和RGB可见光自然彩色图像；提出基于显著性因子和色彩空间变换的近红外与可见光彩色图像融合算法，构建显著性因子传递源图像的显著性信息，基于色彩空间变换进行可见光图像的色彩分离，改进多尺度几何分析中的Tetrolet变换分解和重构框架进行可见光图像灰度通道和近红外图像的融合，研究高、低频系数和显著性信息的融合规则；建立可见光图像色彩通道的校正与传递模型。通过本课题的实施为拉卜楞寺的安防提供清晰的视频监控数据，为后续有目的的安保和数据分析提供基础，为我国文物遗产提供有力的安全保障。

本项目针对拉卜楞寺特殊的低照度安保环境，研究基于图像融合的多源彩色微光夜视监控技术。主要从四个方面进行研究：一是构建了低照度环境下近红外图像和可见光图像数据采集系统模型研究，解决了低照度彩色图像采集的若干问题；二是近红外与可见光彩色图像融合算法研究，提出了8种核心融合算法；三是近红外与可见光图像显著性因子研究，提出了4种显著性检测方法；四是可见光颜色通道图像的颜色均衡化研究，在3种空间转换模型的基础上提出了2种色彩均衡化方法。以上述研究内容为基础采用标准数据集进行图像融合实验，校验了算法的可行性和有效性，均取得了较好的实验结果。此外，图像融合结合深度学习训练了6种成熟的深度学习网络，并将项目的研究成果扩展到图像去雾处理、水下图像清晰化处理、智能对象识别中的取得了较好的效果。在项目开展过程中，项目组跟国内外多所高校、公司进行了深入交流，项目成员都在一定程度上提升了自身的学术和科研水平，培养出一批研究生。项目的科研成果申请了一系列专利软著，得到了推广和支持。综上所述，在国家自然科学基金委和相关单位的大力支持下，本项目达到了预期的目标。