多视点视频加深度的容错编码与差错隐藏技术

In order to enable new 3D video applications, such as 3DTV and Free Viewpoint Video, it is a common idea to include depth information in the upcoming generation of 3DV data format. Multi-view video plus depth (MVD) format, which consists of texture and depth images, has been recently specified by MPEG. For error control is a key step in the whole system of 3D video processing and transmission, error control for MVD must be studied deeply. This project will mainly study on error resilient coding and error concealment for MVD based Codec.At the encoder, the model of relevancy between video and depth images and the model of relevancy among adjacent views will be built based on different importance and relevancy of time, view, and depth for the MVD format.So, multiple layered coding can be implemented to conform to the various bit rates.At the decoder, the set of candidate vectors can be decided based on the relation of space, time, view and depth, such that the lost Macroblocks are recovered accurately. Furthermore, the pre-decision of still MB and pre-segmentation of boundary MB are combined to improve the efficiency of error hiding. Finally, the complete sheme of resilient coding and concealment based on the codec can satisfy the request of network transmission.

为了实现新型的3D视频应用，如3DTV和自由视点视频，在新一代的3DV数据格式中必须包括深度信息已成为共识。MPEG新近采纳了由纹理和深度图构成的多视点视频加深度（MVD）格式。差错控制是3D视频处理和传输系统的重要环节之一，对MVD的差错控制技术进行深入研究是十分必要的。 本申请项目主要研究基于编解码端的MVD的容错编码与差错隐藏技术。在编码端，充分研究MVD的时间、视点和深度的不同重要性和相关性，拟建立可分级判定模型、相邻视点运动矢量相关性模型和视频图/深度图相关性模型等，从而实现多重分层编码，以提高容错性能。在解码端，拟基于多重的空间、时间、视点和深度相关性，确定候选矢量集，以准确迅速地实现丢失宏块的恢复；并在此基础上加入静止宏块预判定、边界宏块预分割等以提高隐藏的速度和效果。最终，实现完整的容错编码与差错隐藏的联合方案以实现有效的网络传输。

多视视频加深度（MVD）格式的3D视频（3DV）是当前研究热点。为了保证MVD的鲁棒性和抗误码性，研究适合MVD的容错编码和差错隐藏技术具有一定的理论价值和实际意义。本项目充分考虑MVD具有空间、时间、视点间、视频与深度间的多重相关性对MVD编码效率和重建质量的影响，主要研究内容及成果如下：.研究多视点视频加深度的可分级编码：搭建MVD可分级编码结构框架，兼容质量可分级和视点可分级；提出针对单视点的质量可分级扩展方案的快速模式选择算法，编码速度提高 40%左右；研究单视点视频加深度（V+D）可分级编码中的深度编码方法，将深度图的码率降低2.11%~8.61%；提出MVD可分级编码中的快速模式选择方法，时间复杂度降低了约67.46%。.研究分层深度视频（LDV）编码：提出基于图像修复的LDV残差层数据的表示方法，在保证绘制质量的前提下可减少37%的数据量；提出改进的块截断编码用于LDV残差数据编码，可提高至少0.21dB的合成视点绘制质量。.研究图像修复用于多视点视频帧间错误隐藏：基于视频编码特性改进图像修复，使其适用于帧间错误隐藏；基于视频的运动特性，提出图像修复与外边界匹配算法联合的错误隐藏算法；基于视点特性，改进上述方法用于多视点视频的帧间错误隐藏算法。实验结表明本算法可以提高约0.66dB的重建质量，并且明显克服了外边界匹配算法带来的视频抖动。.研究多视点视频加深度的差错隐藏：设计自动选择不同隐藏算法（基于候选运动矢量修正的隐藏模式、基于深度的外边界匹配隐藏模式以及自适应权值的隐藏模式）的策略，这有效降低算法复杂度约42%，同时也保证重建视频的客观质量及虚拟视点的绘制质量分别提升0.17dB和0.26dB；根据ATM测试模型的特点和编码顺序，针对纹理中间视和深度中间视的特性分别提出不同的错误隐藏算法，然后分别根据纹理和深度左、右视的各自特性对上述对应的隐藏算法进行调整，进而实现一套整体隐藏算法，取得0.22dB的质量增益。.发表论文13篇，其中SCI/EI收录9篇（另有3篇待收录）；出版专著1部，申请发明专利4项，已全面完成计划任务，研究成果为3DV系统的发展和应用提供了理论和技术基础。