基于图像融合的高动态范围图像获取及其质量评价

In digital imaging, multi-exposure image fusion as an important way to acquire high-dynamic-range images, in order to enhance the visualization of images and increase the density of image information. This project discusses and analyzes the difficulties in the acquisition of high-dynamic-range images and quality assessment, especially focusing on the key issues (the detection and correction of image motion consistency in dynamic scene, the adaptive multi-exposure image fusion).Starting from the consistency judgment of image block structure and the correction of spatio-temporal correlation among pixels, it explores the image registration of multi-exposure images in dynamic scene. According to the construction of multi-exposure image adaptive fusion model, it proposes the adaptive model for multi-scene high-dynamic-range images. Based on the subjective evaluation method of multi-color channels and the objective evaluation method of structural texture decomposition, this project further studies the subjective and objective comprehensive evaluation methods of high-dynamic-range images.After the implementation of this project, it is not only helpful to achieve breakthroughs in solving the existing issues, but also improve relevant theories and methods in the acquisition of high-dynamic-range image and quality assessment.

在数字成像中，通过多曝光图像融合，获取高动态范围图像，是提升图像可视化效果、增加图像信息密度的重要手段。项目围绕高动态范围图像获取与质量评估中的共性难点，针对其面临的关键科学问题(动态场景图像运动一致性检测与校正、多曝光图像的自适应融合)，从图像块结构一致性判断与像素点时空相关性校正入手，研究动态场景多曝光图像的配准方法；从多曝光图像自适应融合模型构建入手，研究高动态范围图像自适应获取模型；结合多色彩通道的图像主观评价方法与结构纹理分解的图像客观评价方法，研究高动态范围图像主客观综合评价指标。通过项目得实施，有助于实现高动态范围图像获取与质量评估中难点共性问题解决方法上的突破，完善高动态范围图像获取与质量评价的相关理论与方法。

基于图像融合的高动态范围成像是指对于不同曝光强度的图片所获取的同场景的多幅图像信息进行综合,生成一幅有关该场景的具有肉眼可见的高动态范围的图像，常被应用于消费电子、医学成像等领域。在现实场景中，高动态范围图像的获取存在以下三个关键问题即多帧图像动态部分的配准、曝光度准确评价以及如何对通过融合获取的高动态范围图像进行评价。为解决上述方法的实际存在难题，更好地促进图像融合技术在高动态范围成像方面的发展与应用，本项目通过基于像素的配准方法与轮廓修正、基于图像块的融合算法以及面向融合效果的，开展了如下几个方面的研究并取得了预期的研究成果。1）研究了基于图像块结构一致性的运动场景的检测模型以及相关算法的设计。解决了实际输入图像的局部区域结构一致性的问题及边缘勾画问题，并将其扩展到了图像分割中进行应用。2）研究了多曝光图像的自适应融合算法，提出了基于深度学习的多曝光图像自适应融合模型，构建了基于深度卷积的图像差异与光照评价网络，解决了曝光度评价深度模型的构建，并将其推广到图像去雾中，进行了研究的迁移。 3）研究了基于特征综合的评价函数构建，图像特征模型，构建了面向高动态范围图像的评价机制。从特征保留到特征迁移角度实现了多曝光图像到高动态范围图像的不变性迁移的评价，形成了特征级的融合效果评价方法。相关思路还被项目负责人应用到增强学习的评价关系构建中。总体来说，在项目的支持下，项目组对于高动态范围成像具有了更深的认识，并且将研究成果相关研究推广到了更多的领域，取得了一定的研究成果。