面向高清立体显示的超分辨率树木图像构建技术研究

The technologies of Billboard and Texture-lobes both simulate 3D model of whole tree or crown by using 2D images. Because of lacking precise depth information, the visual effects of large-scale HD stereoscopic scenes will be affected. In order to build super-resolution images by 2D tree images and display them in HD devices at a high rate of speed, this project presents a reconstruction method of super-resolution tree images for HD stereo display. In this method, the 2D color images of trees and low-resolution depth maps that extracted from 2D images both known as a priori knowledge firstly; then it makes use of pixel characteristics of 2D color image, associated depth information and semantic information of tree structures to build an optimized model for tree depth information. After that, according to the depth consistency of background and foreground, it estimates background disparity before tree depth map adjustment and parallax reconstruction, and adjusts the scale and shape of 3D images by using triangular meshes warping and energy term optimization, so the scene depth and tree shape are adapted automatically. At last, the method of environment-aware fusion for stereo scene and trees is applied to merge 3D background scene and tree images naturally.

由于公告牌技术、纹理树冠都是以2D图像来模拟整棵树木或树冠部分的三维模型，由于缺少精确的深度信息影响了大规模场景高清立体显示的视觉效果。为了从2D图像快速构建超分辨率的树木图像并在高清设备中进行立体显示，本项目提出了一种面向高清立体显示的超分辨率树木图像构建方法。该方法以2D彩色树木图像和从2D图像中提取的低分辨率树木深度图作为先验知识，利用2D彩色图像中的像素特征、对应深度信息的关联，以及树木的结构语义信息，构建出立体树木深度信息的优化模型；然后，根据前景和背景两者的深度一致性，在估计背景视差后对树木深度图进行调整和视差重建，并利用能量项优化方法对树木模型的三角形网格实施变形，使立体树木的大小和外形得到调整，实现场景深度和树木形状的多元适配；最后，利用环境感知的融合方法实现立体树木与背景中3D场景的融合，从而使得立体树木与背景场景能够自然地融合并进行立体显示，呈现逼真的立体感。

为了提高大规模场景立体显示的视觉效果，我们必须在2D场景转3D场景，以及3D图像重建方面有所突破。树木是大规模场景的重要组成部分之一，树木的立体显示效果会影响场景的真实感。然而，常用的公告牌技术、纹理树冠都是以2D图像来模拟整棵树木或树冠部分的三维模型，由于缺少精确的深度信息影响了大规模场景高清立体显示的视觉效果。为了从2D图像快速构建超分辨率的树木图像并在高清设备中进行立体显示，本项目提出了一种面向高清立体显示的超分辨率树木图像构建方法。该方法以2D彩色树木图像和从2D图像中提取的低分辨率树木深度图作为先验知识，利用2D彩色图像中的像素特征、对应深度信息的关联，以及树木的结构语义信息，构建出立体树木深度信息的优化模型；然后，根据前景和背景两者的深度一致性，在估计背景视差后对树木深度图进行调整和视差重建，并利用能量项优化方法对树木模型的三角形网格实施变形，使立体树木的大小和外形得到调整，实现场景深度和树木形状的多元适配；最后，利用环境感知的融合方法实现立体树木与背景中3D场景的融合。实验结果表明，本项目提出的面向高清立体显示的超分辨率树木图像构建方法能够使得立体树木与背景场景自然地融合，获得较好的真实感和沉浸感。