自由无拘束多曝光融合的研究

Radiance of the real world spans several orders of magnitude and its dynamic range dramatically exceeds the capability of the current electronic imaging devices. As a result, the images we captured can be referred as low dynamic range (LDR) images and offen suffer from over- or under-exposure problems. Apparently, high dynamic range (HDR) image is the future trend as it can encode the world with higher color precision. The multi-exposure techniques have aroused much attention recently, and soon the feature became available in some commercial imaging products like iPhone4. However, conventional algorithms are of high computational cost, and cannot produce desirable results when the target scene is dyanmic，blurring or noisy due to low lighting condition. The target of this project is to overcome this limitation and make exposure fusion applicable in complex scenes while keeping low computational cost. This project will address the influence of motion and noise to exposure fusion in image domain. Thus, typical HDR steps such as photometric calibration and tone mapping can be ignored. The focus is to investigate the registration, denoising, deblurring and deghosting for multi-exposure images. Apparently, these tasks are more challenging than those in general images, since the images here are differently exposed and may have over- or under-exposure problems. This work will improve the practicality of exposure fusion greatly, and let users enjoy the fun of HDR more easily.

自然界中光线的亮度跨越十多个数量级，远远超出了当前成像设备的动态范围。所以我们拍摄的影像经常出现过爆或欠曝问题，因而被称为低动态范围影像。为了更准确的呈现场景中信息，高动态范围影像势必为未来趋势。基于多曝光融合的高动态范围技术近年来引起了学界的广泛关注，并成功的应用在一些新产品中如iPhone4。然而，传统算法计算量大，而且对目标场景有较高的要求，更无法在运动、模糊、低照明等场景中获取有效的高动态范围影像。本项目拟针对当前多曝光融合算法的缺陷，在保证低计算量的基础上提高其处理复杂环境的能力。我们将避开传统算法所需的相机光度标定、色调映射等步骤，完全从图像融合的角度探索噪声、运动的影响。算法研究重点是多曝光图像的配准、去噪、去模糊、去鬼影等问题。由于针对的图像多存在过曝或欠曝问题，所以较传统的图像问题更具挑战性。改研究将全面提高多曝光融合理论及算法的实用性，使用户可以自由无拘束的操作。

本项目组成员通力合作，在有限的时间内完成了申请书中规定的各项内容，并通过本项目的资助取得了一系列成果，为下一步的科研开辟了新方向。主要成果包括以下五个部分：（1）研究了复杂场景下多曝光图像融合中出现的模糊、运动、一致性等问题，并对其进行建模分析和理论完善，为本项目的理论深入和应用探索打下了坚实的基础；（2）总结了现有算法的优缺点，提出了一种新的基于参考图像的多曝光融合算法，在去除鬼影的前提下最大限度地保留了图像细节，完成了高质量的高动态范围图像无鬼影重建；（3）开发了友好、易于操作的多曝光融合的软件系统，从整体上给出了一套多曝光融合的算法体系，既可以应用于静态场景也可以用于有物体运动的动态场景；（4）对现有的多曝光融合及去鬼影技术进行了全面的总结，整理出相关的综述文章。建立了专门针对高动态范围技术的网站，并提供相关数据库和代码供研究者使用与学习；（5）相关理论成果在计算机视觉、图像处理、人工智能等领域进行了成功的推广和应用。项目研究期间在国际著名期刊发表SCI论文4篇，在国际重要会议和国内期刊发表EI论文8篇，其它1篇。另有1篇SCI期刊论文已录用，1篇EI期刊论文已录用，1篇核心已录用，6篇论文（3篇SCI期刊和3篇EI论文）正在审稿；申请发明专利2项，获得1项软件著作权；获得国家自然科学基金面上项目资助1项；获2014年IEEE国际信息与自动化会议（ICIA）大会最佳论文奖，获2013年国际机器人与仿生技术会议（ROBIO）大会最佳论文奖。