多视点视频中的同步帧编码效率及随机访问性研究

Multi-view video coding (MVC) and 3D video coding(3DV) received tremendous attention from academia and industry due to the stereoscopic and vivid expression of scene recently. It was appended to H.264/AVC as Annex H in 2009. In this project, we will study the important features of MVC: random access and backward compatibility. With previous experimental results, we will investigate on the optimized predictions and proper entropy mode to improve the coding efficiency of primary and secondary synchronized frames, especially in MVC environment. Furthermore, in order to enhance the view access behavior, the employment of synchronized frames in MVC will be studied according to different levels of random access to decide optimized positions and frequency of synchronized frames. In the project, the coding efficiency of synchronized frames and browsing efficiency of MVC are treated as the same problem. The compression problems of synchronized frames are solved and the powerful features: no-drift switch are employed. The research will be useful and helpful in the practical application and widely spread of MVC.

近年来，多视点视频编码(MVC)和衍生的立体视频(3DV)因能为同一场景提供立体真实的表达，而备受学术和工业界的关注，并在2009年作为第四个扩展正式加入H.264/AVC标准。本项目针对多视点视频编码中，编码效率之外的重要性能指标：随机访问性和向后兼容性，从两方面进行研究。首先，由H.264/AVC中的特殊帧类型---同步帧入手。根据前期的实验发现，从提高预测强度、建立适合的熵编码模型等不同角度,对主/辅同步帧编码分别进行研究，提高它们在MVC环境下的压缩效率。同时，根据不同程度的随机访问要求，对同步帧嵌入到MVC系统中的位置和频率进行研究，以更好地实现视点的随机访问及各视点向后兼容H.264/AVC的特性。本项目从新的角度切入，把同步帧的压缩效率和MVC的浏览效率统一起来，解决同步帧故有问题的同时，充分利用其强大的无损切换特性。相关研究对多视点视频的进一步实用和普及有积极的推动作用。

项目的主要研究背景是多视点视频编码(MVC)和立体视频(3DV) 框架中的同步帧编码效率及其在多视点视频的随机访问上的应用。主要研究内容包括同步帧（SP/SI/SB）的编码效率优化；内嵌同步帧以提升MVC结构的随机访问性能；和深度视频的快速编码方法研究。通过研究使得同步帧的压缩效率这一短板有一定的提高。两种方法分别使比特率下降了0.7%-8% 和3%，提高了在单视点或多视频中基于同步帧的随机访问解决方案的竞争力。我们还将同步帧应用到多视点视频的关键位置，使得多视点视频的视点间切换的反应速度大大提高。此外，在多视点加深度的3DV框架下，解码器端可以通过少量视点和对应的深度视频合成出大量的虚拟视点，实现视点切换。我们对深度视频的快速编码做了一些研究工作，在不影响图像质量的前提下，显著降低了深度视频模式判定这耗时环节所需要的时间，对深度视频编码的硬件实现起到了积极的作用。