基于自然图像特性的比特深度上转换关键技术研究

High dynamic range technology has advantages like high brightness and wide color gamut. It is one of the important themes for contemporary information and technology development of China. Although the high dynamic range has been a necessity for mainstream advanced televisions, the multimedia contents with high dynamic range are very rare, which obviously limits the development and application of high dynamic range technology. In order to meet the huge gap of high dynamic range contents and satisfy people’s high demands for better visual experience, this project aims to convert the existing standard dynamic range contents into high dynamic range contents by developing the bit depth up-conversion methods. Taking account of the shortcomings of the existing algorithms, this project mainly designs the image modelling methods and intensity optimization schemes based on natural image characteristics. Specifically, this project attempts to address the following four problems: 1) the image patch description problem based on adaptive model, 2) the problem of modelling connected component based on potential field, 3) the optimization problem based on higher order derivatives, and 4) the problem of automatic optimization of high bit-depth image. It is expected to help make up the gap of high dynamic range content, and provide technical support for the development and application of high dynamic range technology. Therefore, this project has great scientific significance and economical value.

高动态范围技术具有高亮度、广色域等优点，是我国当代信息及技术发展的重要主题之一。尽管高动态范围已成为主流高端电视的必备技术，高动态范围的内容数量十分有限，限制了其发展与应用。为了弥补高动态范围数据源的巨大缺口，满足普通观众对画面质量的需求，本项目旨在通过研究比特深度上转换方法，将已有的大量标准动态范围内容恰当准确地转化为高动态范围内容，以实现真正意义上的高质量视觉享受。针对现有算法的缺陷，本项目主要研究基于自然图像特性的图像建模问题及亮度优化方案，以得到更好的高比特深度内容。具体来说，本项目试图通过挖掘自然图像特性，解决基于自适应模型的图像块描述问题、基于势场的连通域建模问题、基于高阶导数先验的亮度优化问题及高比特深度图像的自动优化问题。本项目的研究成果将有助于弥补高动态范围内容的缺口，为我国高动态范围技术的发展与应用提供技术支撑。因此，本项目具有十分重要的研究意义和很高的实际应用价值。

高动态范围技术作为一项新兴的前沿课题，具有重要的研究意义与广泛的应用前景。通过比特深度上转换方法，可以将传统低比特深度图像数据准确地转化为高比特深度数据，从而有效解决高动态范围数据源缺失的问题。本项目围绕基于表层特征的手工设计方法与基于深度学习的模型构建方法两个方面，对比特深度上转换中十分重要的图像上下文信息提取与自然图像特性建模方法进行研究。1）在基于表层特征的无监督方法方面，首次将势场理论引入比特深度上转换领域，提出一种基于亮度势场的连通域建模方法。之后，提出一种贝叶斯框架下的上下文感知的最小均方误差优化方法，实现了上下文信息的有效建模与优化。此外，基于线性插值方法，还提出了一种针对不同上下文环境分别进行建模的自然图像重建方法。2）在基于深度学习的有监督方法方面，首次提出利用卷积神经网络进行比特深度上转换。具体来说，提出了一种基于残差转置卷积的网络结构，利用跳跃连接来解决梯度消失问题，并使用感知损失促进网络有效地进行高质量图像重建。还提出了一种基于密集特征层级联的网络结构，用于提取并融合图像多层次特征。在此基础上，首次将基于深度学习的方法拓展到视频领域，提出了一种时空对称卷积神经网络结构，通过编码器内部与编码器-解码器之间的跳跃连接促进了帧内与帧间信息的融合，恢复高质量的高比特深度视频。目前本项目研究成果已发表学术论文共14篇，包含IEEE汇刊论文3篇。申请发明专利13项，培养博士研究生1名，硕士研究生8名。研究成果对高动态范围技术的研究、高动态范围数据的生成以及显示质量的提升具有重要的应用价值。