低照度下利用光谱数据库和近红外的图像颜色复原研究

In low light condition, compared with the grayscale image, the color image will greatly improve the recognition and recognition of the target by people or machines, and is extremely important in the fields of military and security. In recent years, in order to meet the requirements of applications in low light condition, the improvement of the CCD/CMOS sensitivity at the same time, using near Infrared to improve the quality of true color imaging has been becomes one of the researches. Based on the development of the CCD/CMOS color filter array for increasing the number of near infrared (NIR) in the world, the project proposes to capture color images, color and grayscale images of containing NIR using general color cameras, and to research on color restoration of images in low light condition using the spectral data and NIR and system development. Contents include: (1) Establishment of a 400-1000 nm spectral reflectance database for objects; (2) Research on color restoration of color images of containing NIR; (3) Research on color restoration of color images of containing NIR using grayscale images of containing NIR; (4) Research on color restoration of color images using grayscale images of containing NIR; (5) Algorithm optimization for real-time processing of video hardware. The multi-spectral database established by the project will improve the theory of color restoration, and the research results will improve the key manufacture technology of image sensors manufacture and image processing in China, and promote the development of low-cost color night vision technology.

低照度条件下彩色相比灰度图像可极大提高人或机器对目标的识别和认清，在军事与安全等领域极为重要。为了满足低照度应用需求，在CCD/CMOS灵敏度不断提高的同时，利用近红外提高彩色成像质量成为研究方向之一。基于目前CCD/CMOS增加近红外的彩色滤光阵列研究现状，项目提出使用普通彩色摄像头采集彩色图像和包含近红外的彩色及灰度图像，开展低照度下利用光谱数据库和近红外的图像颜色复原算法及系统开发研究，内容包括：（1）建立自然物体400-1000 nm光谱反射数据库；（2）含近红外的彩色图像颜色复原研究；（3）利用含近红外的灰度图像对含近红外的彩色图像颜色复原研究；（4）利用含近红外的灰度图像对彩色图像的颜色复原研究；（5）优化算法实现视频硬件实时处理研究。项目利用多光谱数据库将提升彩色成像的理论研究水平，研究成果将提高我国图像传感器的制造和图像处理关键技术水平，推动低成本彩色夜视技术发展。

低照度条件下彩色比灰度图像将极大提高人或机器对目标的识别和认清，在军事、安全及日常监控领域极为重要。传感器是成像系统的核心技术，利用CCD/CMOS器件对近红外波段响应的固有特性，低照度条件下提高灵敏度、低照度水平和彩色成像质量成为研究重要方向。项目以低照度条件下利用近红外（NIR）提高图像真彩色效果为目标，采用目前市场上流行的拜耳（Bayer）滤光模式的CCD/CMOS摄像头保留IR-cut获取的含近红外波段彩色与灰度图像，开展利用近红外提高图像真彩色效果相关算法研究，并研究视频实时处理实现实际应用。取得的成果包括：（1）建立昆明地区日光、满月月光及星光光源光谱功率分布数据库和48种植物叶片400-1100 nm光谱反射数据库；（2）提出三种算法：算法1-利用矩阵变换的方法实现了低照度条件下含近红外彩色图像变换为真彩色图像，提高了图像的细节及信噪比；算法2-在测量月光和星光低照度光源和植物光谱反射率基础上，通过测量和估计方法得到照相机光谱敏感函数条件下，通过主成分分析获得光源和目标三个本证光谱实现重建光源和目标光谱反射率，进而估计目标光谱反射系数，实现目标彩色复原到日光环境下颜色；）算法3-采用Cyclegan网络实现从低照度下含近可见光彩色图像向真彩色图像变换，并实现在英伟达ARM硬件平台的视频实时处理。（3）实验结果表明，Sony公司IMX385在月光低照度条件下信噪比20 dB提高到24 dB，视觉评价真彩色效果；（4）以上三种算法在ARM硬件平台的实时处理系统开发，包括低照度条件下包含近红外波段可见光彩色图像复原和与长波红外的三波段彩色复原的重要结果。其中，提出低照度条件下采用重建光源和目标光谱反射率估计目标光谱反射系数，实现目标彩色复原的算法是从成像理论出发的创新算法，对低照度彩色成像传感器设计和研制具有一定科学意义。项目针对目前市场上流行的拜耳滤光模式的CCD/CMOS图像传感器，提高低照度条件下获取真彩色视频质量，其研究内容和方法具有较好的应用价值。