基于深度信息的多视点视频的高效表示和编码研究

As the next generation of television, three-dimensional television (3DTV) has entertained us with its advance in display, just like a feast for eyes and is enkindling various new applications. With the development of display technologies and requirement of audience to enjoy the natural 3D world, how to strive to create realistic 3D impressions of natural 3D scenes seems to be more urgent. The major challenge is that natural 3D scenes representing results in tremendous amount of data because 3D adds information of depth which is different from 2D videos. In other words, the key to success in 3DTV is efficient compression since there are too much data needed to be transmitted under limited bandwidth. Since the representation and coding of three-dimensional video has direct on successive transmission, synthesis and display, it becomes crucially important and receives a wide publicity. Various 3D display technologies use various kinds of data representation formats, adopting different coding methods. But their objective remains the same, which is to encode 3D video by removing temporal and spatial redundancy. This project focuses on coding algorithms of various representation formats. By studying depth image seriously, we give pay attention to improve quality of 3D scenes and better the compression performance by studying depth image.

下一代电视（三维电视）先进的显示技术给人的视觉带来强烈的冲击和震撼。 随着显示技术的发展和观众享受自然3D世界的需求，创建更加多元化和更加逼真的三维显示技术成为迫切需要解决的问题。三维视频是经典二维视频的扩展，最明显的特征就是在传统二维视频的基础上增加深度信息，由于双目视差的原理，用户可获得具有深度感的立体图像，增强了视觉的现实感和逼真感。三维视频的应用场景十分广阔，但是三维视频数据量非常庞大，这对三维视频的高效表示和压缩提出了严峻的考验。在三维视频表示方面，基于深度图的场景表示方法，因场景遮挡及深度数据不连续将会导致中间图像出现较大范围的空洞，对图像重建质量造成严重的影响；在多视点视频编码方面，现有算法大多只去除时间冗余，并没有完全去除视角间的冗余，极大地影响了多视角编码的性能。本项目将从这两方面出发，在研究深度图像的基础上，提出能有效提高重建图像质量的算法和能高效压缩多视点视频的算法。

与普通的纹理图像不同，深度图内部含有较少的纹理信息且存在很大的空间冗余，且其边缘信息对合成视点质量的影响非常大。本课题通过分析MVD（Multi-view Video Plus Depth）三维视频编码格式中深度图的特性，进行了多视点视频的高效表示和编码的研究工作，具体成果如下：.(1) 在基于深度特性的深度图像处理算法方面：在现有2D视频数据基础上，利用图像分割的金字塔Lucas-Kanade光流法提取2D视频中的深度信息；针对深度图分辨率较低的问题，提出了基于纹理信息与深度图空时梯度的深度图上采样算法；基于深度图像特性、视频时域相关特性以及深度与彩色视频的相关性，提出了构建有效的重建视点中空洞填补参考信息的算法；利用深度信息将二维图像转换到三维空间，分别向XOZ和YOZ平面进行投影, 提出了利用深度信息进行三维显著性提取的框架；(2) 在基于视角相关性的多视视频编码算法方面：充分利用视角内和视角间的相关性将多视角编码与多描述编码进行融合以实现三维视频的可靠传输；(3) 结合深度特性的深度视频编码算法方面：基于深度图是由边缘尖锐而内部平滑的区域组成的特点，提出了利用直方图的深度图分割方案，将深度图像分成前景和背景两部分，并利用形状小波变换对两部分区域进行SPECK编码；考虑到深度图像中目标对象的边缘特征，提出了基于自适应的块压缩感知的深度图像编码算法，将深度图像分成不同尺寸的块，并对这些块自适应的分配采样率；考虑到深度图像的稀疏性，提出了优化设计的多描述格型矢量量化器；利用深度图像的像素值稀疏的特点，提出了一种基于熵的自适应深度图编码算法，将深度图分割为不同大小的块，每块中深度特征由像素的熵表征；提出了一种基于视频帧交错的三维视频多描述编码方案；(4) 搭建了八视点立体采集显示系统：利用摄像机阵列、数字信号发生器、SuperD三维裸眼电视搭建了八视点采集、编码、传输和交织显示系统。.本课题按照研究目标，完成了相应的研究内容；发表论文20篇，SCI检索10篇，EI检索7篇，ISTP检索3篇；申请发明专利4项；人才培养方面，有1位博士后晋升为副教授，毕业了2名博士生和2名硕士生；学术交流方面，课题负责人和1名博士生于2014 -2015年分别赴加拿大西门菲莎大学和洛桑理工进行为期一年的公派访问学习，课题组参加了PCM、ICME等学术会议10人次。