视频曝光调整中若干关键问题研究

Video is becoming more and more important in our daily life. Exposure is one of the key elements for video quality. And video exposure adjustment can improve the exposure quality of videos, and thus benefit the video consumers and the other computer vision algorithms. However, among the key modules of video exposure adjustment, including temporally consistent processing, exposure correction, and exposure evaluation, the state-of-the-art algorithms have several limitations. In this proposal, we will study the problems in all the three modules. 1) In the module of temporally consistent processing, for temporally consistent video exposure, we will propose algorithms in the stages of exposure evaluation and exposure post-processing, respectively. 2) In the module of exposure correction, to avoid unnatural results and details losing, we will propose a contrast-preserving exposure correction algorithm. 3) In the module of exposure evaluation, we will propose a region-based exposure evaluation algorithm, so that every region of the video could have perfect exposure according to the human visual system. To sum up, the solutions could solve the core problems of the key modules in video exposure adjustment, markedly improve the performances, and meet the deployment requirements in practice.

在日常生活中，视频的消费与日俱增，而曝光是视频质量中最重要的元素之一。视频曝光调整的目标是改善视频曝光质量，它对于提升用户观看视频的主观感受，提高后续计算机视觉算法的性能有重要价值。然而，在视频曝光调整的关键处理步骤中，即时域一致性处理，曝光校准，曝光估计，现有的算法存在诸多不足，无法达到最佳曝光效果。本项目将在这三个方面开展深入的、递进的研究。1）在时域一致性处理上，针对曝光估计阶段和曝光调整后处理阶段，分别提出相应的时域一致性处理算法，解决时域一致性视频曝光调整问题。2）在曝光校准上，提出对比度保持的曝光校准算法，从而解决曝光校准过程中对比度丢失、视频内容失真的问题。3）在曝光估计上，提出基于区域的视频曝光估计方法，使得视频每个区域都得到符合人类视觉的曝光估计值。本项目有望突破视频曝光调整中关键处理步骤的基础性理论问题，大幅度改进和优化视频的曝光效果，为工程实践奠定基础。

视频曝光调整是改善视频质量的重要手段之一，它对于提升用户观看视频的主观感受以及提高后续计算机视觉算法的性能有重要价值。然而，在视频曝光调整的关键处理步骤中，现有的算法存在诸多不足，无法达到最佳曝光效果。本项目针对视频曝光调整的关键问题，开展了相关的研究。1）针对高动态光照条件，提出图像软曝光、图像对齐网络、三维联合去噪网络以及融合网络来用卷积神经网络实现相关步骤，从而开发了一套鲁棒的多曝光图像融合算法，减少曝光调整结果中鬼影现象的发生。2）利用黑白图像信号质量高于彩色图像，在曝光调整后处理阶段，提出图像着色算法，采用注意力机制、3维规则化、色彩校正模块以及着色质量动态评价，使得曝光调整获得更高信噪比的结果。实验结果表明，本项目提出的相关算法大大提高了视频曝光调整关键步骤的性能，大幅度改进和优化了视频曝光效果，为工程实践奠定了基础。