基于多模态信息融合的真三维显示中深度图获取和虚拟视点绘制研究

This project is focused on the investigation of the key issues in depth estimation and virtual view synthesis in the context of the true 3D volumetric display. Considering the complementary characteristics of different approaches in depth estimation, we will explore the problems of depth estimation and virtual view synthesis based on the information fusion theory, deep convolution neural network and Markov random field model. The main research of this project includes: (1) for the static scene, a multi-scale convolution neural network model is designed to obtain the initial depth map of the scene. In addition, by fusing the stereo matching and depth sensor using their complementary characteristics, the multi-information fusion based Markov random field model will be proposed to reduce the error caused by the scene diversity. (2) For the dynamic scene, by establishing temporal correspondences between adjacent frames using optical flow matching，an adaptive, spatio-temporally consistent, constraints-based systematic method will be proposed to generate spatio-temporally consistent depth maps for stereo video image sequences by fusing texture and segmentation information in the spatial and temporal domains. (3) The ghost contours will be removed using a local texture information-based description operator by rectifying the misalignment between the depth map and texture image. Furthermore, segmentation-based synthesis framework will be introduced to avoid combining the pixels belonging to different parts of the scene and fill holes in the virtual view. This research has strong innovative as well as practical values. Its results can be directly applied to the true 3D volumetric display system.

本课题围绕真三维显示中深度图获取和虚拟视点绘制这两项关键问题展开研究。将充分考虑不同深度获取方式的互补特性，引入多模态信息融合理论，借助卷积神经网络提取图像特征的优势，构建面向不同拍摄场景的马尔可夫随机场模型，获取高精度场景深度图。并以此为基础，研究具有高度逼真感的虚拟视点绘制方法。主要研究内容为：（1）面对静态场景，研究基于深度学习的多尺度卷积神经网络，获取场景初始深度图。进而构建融合多模态信息的马尔可夫随机场模型，减少因场景多样性而引起的深度误差；（2）面对动态场景，研究时空连续性卷积随机场模型，获得帧间时域预测深度图。并以此为基础，构建基于时域信息自适应融合的时空连续性马尔可夫随机场模型，增强深度值时域分布的连续性和一致性；（3）研究基于深度图边缘校正和片段化异步渲染的虚拟视点绘制方法，有效填充空洞并消除伪轮廓和重影。本课题研究成果可应用于真三维显示系统，具有较强的创新性和实用价值。

本课题定位于真三维显示中的共性、关键和瓶颈问题，在分析拍摄场景与深度获取方式之间相关性的前提下，引入多模态信息融合理论，借助深度卷积神经网络和马尔可夫随机场模型，研究了面向不同拍摄场景的深度图获取理论和方法。并在此基础上，研究了具有高度逼真感的虚拟视点绘制算法，提高虚拟视点的成像质量，最终得到具有自然立体、高分辨率、大视场、视点连续、自由交互等全新体验的三维场景。主要完成工作如下：（1）面对静态场景，研究了基于深度学习的多尺度卷积神经网络，进而构建融合多模态信息的深度学习模型，减少因场景多样性而引起的深度误差；（2）面对动态场景，研究了时空连续性卷积随机场模型，获得帧间时域预测深度图。并以此为基础，设计了基于时空一致性约束的深度图像获取方法，增强深度值时域分布的连续性和一致性，获取动态场景高精度视频序列深度图；（3）研究了基于语义分割信息和深度融合的虚拟视点绘制方法。根据“自相似性”原则，构建基于语义信息的特征描述子，优化深度图边缘像素的深度值，对齐深度图前景背景边缘和纹理图像的前景背景边缘，防止伪轮廓的发生。同时通过融合深度图和语义分割信息改善场景几何表述效果，消除重影，并填充空洞，生成具有高度逼真感的虚拟视点图像。本研究在满足实时性的前提下，保证了所获取深度图的准确度和所绘制虚拟视点的逼真度，符合真三维显示的发展方向，具有较强的创新性和应用价值。