基于深度的虚拟视点绘制及其失真研究

FVV（Free view video）represents a new technology of 3D scene content. It allows users to view data from any point of view, and provide direct interaction with the scene of the video rather than passive consumption. this project intends to deeply carry on international research for the problems of virtual view rendering,geometry distortion modeling , and depth coding, facing with the situation of close correlation between 3D imaging technology and human visual system, and the massive data of multiview videos. The key scientific issues of the project mainly include the following. 1) Because of the illumination difference between the reference views, the isolated pixel in the depth map, and the incorrected holes filling can influence the quality of rendered virtual view, we will propose a high qualitied approach of virtual view rendering, and research on its geometry distortion modeling. 2) We divide depth map into sharped boundary regions and smoothed non-boundary areas , and assign the quantization parameter for the segmented regions, respectively.

自由视点视频代表了3D场景内容的一项新技术。它允许用户从任意视点观看数据，并提供了与场景的直接互动而不是被动式的视频消费。本项目以面向3D视频系统的虚拟视点合成技术为核心，围绕虚拟视点绘制质量和深度失真对虚拟视点绘制的影响展开了深入的研究，拟解决以下两个关键问题：（1）针对参考图像之间的亮度差异、深度图中存在错误的深度点以及空洞填补错误等导致绘制得到的虚拟视点图像质量下降的问题，拟提出一种高质量的虚拟视点图像绘制的方法，同时研究由深度失真带来的虚拟视点的几何失真问题。（2）针对深度编码易造成深度图中物体的边界产生严重的失真，拟提出一种基于边界划分的深度编码方法，将深度图划分为尖锐的边界区域和平滑的非边界区域，然后再对划分后的区域分配不同量化参数值进行深度编码。

项目背景：自由视点视频允许观看者从任意视点来观看视频，为观看者提供了与场景的直接互动，因此成为3D场景内容表示的新技术。随着3D显示和交互多媒体系统的发展，自由视点视频在3D电视、自由视点电视、远程视频会议、3D视频监控等新的3D视频应用中被广泛的使用。.主要研究内容：本项目针对虚拟视点绘制过程中由于深度失真造成的几何失真进行分析，提出了一种最大可容忍的深度失真模型。同时针对虚拟视点绘制中存在虚拟视点图像质量下降问题，对深度图进行了边界划分，并提出了一种基于逆向映射的空洞填补算法，有效的解决了虚拟视图中的伪影和空洞填补失真及边界失真问题。此外，本项目针对虚拟视点绘制图像的质量评价问题，提出了基于空洞和轮廓扩增的DIBR合成图像质量评价方法以及基于局部和全局失真分析的DIBR图像质量评价方法。.重要结果：针对深度失真会影响虚拟视点绘制的质量问题，提出了基于绘制的最大可容忍深度失真计算方法。实验证明，利用该模型可以精确计算出最大可容忍的深度失真范围，并可证明在该范围内，深度失真不会改变虚拟视点绘制的质量。在虚拟视点绘制中，为了有效填补虚拟视点图像中的公共空洞，提出了一种基于逆向映射的空洞填补方法。实验证明，该方法有效的解决了传统空洞填补方法容易将前景像素填充到背景区域的问题，能够获得较好的视觉观看效果和较高的客观PSNR 值。为有效的评价DIBR合成图像的质量，项目针对空洞和轮廓扩增区域，提出了一种基于空洞和轮廓扩增的DIBR合成图像质量评价方法。此外，在本项目中通过对空洞、条形等失真形成的原因进行了分析，提出了一种基于局部和全局失真分析的DIBR图像质量评价方法。