基于局部视图的超高分辨率RGB-D全景图像的融合与生成

As the image and graphic processing technology develop dramatically, the generation of virtual scene using real-world images becomes more and more popular in many applications, including video production, 3D roaming, driving practices, etc. However, panoramic images generated by existing approaches, involving computer-graphics and real-image technologies, are far from visual satisfaction. Therefore, we propose to generate ultra-high resolution (UHR) RedGreenBlue-Depth (RGB-D) panoramic image from partial-view images captured with different viewpoints and focal lengths. Based on the UHR RGB-D panoramic image, the produced virtual view images should be visually plausible to the ones captured by a real UHR camera. To achieve these aims, in the research, we present a bran-new solution to generate RGB-D panoramic images. The proposed algorithms or models involved in the research includes: a robust local descriptor that is insensitive to luminance and chrominance variation, a depth estimation approach based on novel two-parameter defocus model, an accurate image mosaicing method with depth information and modified warp function, and novel RGB-D image super-resolution framework based on dual-guidance deep network. Additionally, an objective approach is also introduced to evaluate the quality of the generated RGB-D panoramic image. During the research, a software system to achieve the above purposes will also be accomplished.

随着图像图形技术的发展，基于实景的虚拟场景合成技术已经在影视制作、三维漫游、驾驶训练等等领域中得到越来越多的应用。然而，现有技术合成的全景图像，无论是基于计算机图形学虚拟生成的，还是基于实景图像拼接的，其真实感仍有待进一步提高。因此，本项目的研究目标是，基于相机实拍的多个不同视角和焦距的局部图，生成新的具有深度信息的超高分辨率全景图像——超高分辨率RGB-D全景图像，藉之可合成实景逼真度更高的各虚拟视角子图像。为此，本课题提出一个获取RGB-D全景图像的新方案，包括：使用对亮度色度变化鲁棒的新关键点描述子以增加图像拼接精度、基于新的双参数散焦模型以提升深度估计质量、采用深度信息和改进的Warp函数估计以提高图像拼接的准确性、基于双向引导深度网络的超分辨率技术等多种新算法或措施。同时，拟对RGB-D图像质量研究出一套客观的评价方法。本项目的实施，亦将形成一套软件平台应用示范系统。

本项目紧密围绕申报书的内容和任务，研究采集多视角、多焦距局部图像并构建相应的标杆图像数据集，设计了一系列图像处理、传统学习与深度学习的重要理论与模型创新，主要包括特征提取、图像融合、散焦估计、图像去模糊、彩色超分辨率、深度超分辨率与图像质量评价等关键技术，实现了多视角多焦距场景下的高分辨率RGB-D的全景图像全焦距图像的生成。本项目的主要研究成果包括：提出了基于深度学习的特征提取算法、基于似然特征和边缘方法线性基的散焦估计算法、基于散焦估计的散焦图像去模糊算法、基于卷积神经网络的图像融合算法、基于深度学习的自然图像超分辨率算法、基于彩色图像引导的深度图像超分辨率算法，和全参考和无参考图像质量评价算法，并在建立了三套行业标杆图像库：散焦估计数据集、多聚焦图像融合数据集和多退化图像质量评估数据集，为国际同行学者和研究人员提供了重要的参考和测试依据。本项目相关研究成果大多发表在国际顶级学术期刊或国际著名学术会议上，也分别在所属子研究领域达到了同期国际领先的水平，相关图像数据库和模型算法也得到国际同行的广泛关注和引用。本项目部分研究成果已经在图像复原、图像去噪、无人驾驶、三维成像等领域获得了工业应用，提高了我国在图像处理与模式识别领域的理论研究水平，推动了国内相关行业的产业技术发展。