多纹理多深度的3D视频码率控制研究

Rate control is a key technique for network 3D video application. 3D video data based on multi-view video and depth maps(MVD) include multiple texture and depth incorporate with different characteristics interacting with each other. The problems including how to allocate the depth/texture bitrates to achieve an optimal 3D video quality in the theory, what parameters influence the bitrates of 3D video coding, and how to adjust coding parameters to achieve the accordance with target bit-rate and coding bit-rate, are leading issues. This project research MVD rate control on three levels, namely joint texture/depth bit allocation, frame level rate control and macroblock level rate control.Firstly,we propose a joint texture/depth bit-rate allocation by considering the binocular visual characteristics. We analyze the influence of depth map compression from the synthesized virtual view, and propose a perceptual synthesized view distortion measurement to capture the effect of depth map distortion from the synthesized view. The joint bit-rate allocation problem is transformed into a multi-objective optimization problem, guiding the joint depth/texture bit-rate allocation to achieve the most excellent 3D video quality.Secondly,according to characteristics of stereoscopic video, by taking image complexity, position significance and reference property between the left and right pictures into account, a frame lever rate control algorithm for 3D video coding is presented.Thirdly,we propose a novel macroblock level rate control scheme based on binocular just noticeable difference (BJND) model. In the macroblock layer, visual weighting factor, which is measured by the BJND value of macroblock, is used to adjust the macroblock level bit allocation, so that the rate control results in line with the human visual characteristics. The research has important scientific significance and practical value in video communications and 3D video application.

3D视频的码率控制是3D视频走向网络化应用的重要研究课题。基于多纹理多深度的3D视频数据包含多路视频信号，各类数据特性不同且相互影响，给码率控制带来挑战。本项目从纹理/深度级、帧级、宏块级开展3D视频的码率控制研究，通过分析纹理视频数据、深度信息的特征及相互影响，指导多纹理/多深度的码率分配以保证输出3D视频质量最优；通过分析3D视频码率的影响机理与因素，建立码率控制模型，调整编码参数以达到实际编码码率与目标分配码率一致。在纹理/深度层，建立边缘区域与非边缘区域的虚拟视点失真模型，提出基于立体视频感知失真度量的联合码率分配策略；在帧层，全局优化考虑图像复杂度、位置重要性、左右视点间的参考性，建立目标码率计算模型，改进率失真R-Q模型；在宏块层，利用立体视觉掩蔽特性，建立视觉敏感度失真因子，调整目标码率。通过研究3D视频码率控制的基础理论和技术问题，以推动网络3D视频应用的研究与发展。

三维视频增加了场景的深度信息，与传统的二维视频相比，能提供给用户更贴近真实世界的立体感、真实感的视觉享受。由于其灵活的绘制能力以及与已有编码框架良好的兼容性，多视点视频加深度图是目前3D视频数据的一种主要实现形式。项目围绕3D视频深度图及其编码展开研究：.1）针对深度图像准确率不高、分辨率低的问题，研究深度图的修复与分辨率重建问题。我们从基于局部滤波的方法、基于全局优化的方法、基于深度学习的方法以及基于稀疏编码的方法对深度图像的重建进行了全面探索。针对深度图的修复问题，提出了基于彩色图像边缘引导的深度图修复方法、基于任意形状模板的深度值修复方法；针对深度图分辨率低的问题，提出了基于MRF的深度图像超分辨率重建、利用结构相似性和梯度的稀疏化图像超分辨率重建方法。结果表明，基于局部滤波的方法更适合用于深度图空洞修复，而基于全局优化的方法更适合于用作超分辨率重建。.2）探索人眼视觉感知特性，研究3D视频显著性检测方法，建立视觉失真模型，并应用于3D视频码率控制中。在显著性检测方面，提出了利用传统图像特征并融合深度图特征的3D视频显著性检测方法、重点开展了基于深度卷积网络的图像显著性检测研究，通过融合深度卷积网络和底层结构特征来提高显著性；在3D视频编码方面，将图像显著性程度与码率控制的R-λ模型相结合，调整码率分配，达到降低码率的效果。.3）研究三维场景几何信息的采集问题。现有的RGB-D相机为深度图的获取提供了方便快捷的方式，但是却存在精度不高、不稠密、不能适用于动态场景以及不能同时获取多个视角深度图的问题。因此，我们以现有结构光深度图采集方法为基础，对多视点结构光系统从不同的视点和角度对场景深度值展开测量，提出了基于深度图的平滑性和几何一致性的取单帧结构光深度值测量方法。