多视点多描述视频编码关键技术的研究

In order to improve the coding efficiency of multiview video coding (MVC), the MVC exploits both temporal and interview correlations, therefore, its error resilient ability is very important to prevent from error propagation. However, there is still a lack of the suitable solution for this issue at present due to the complicated prediction structure and huge data of MVC. To address the problem, this proposal presents a solution for robust MVC from the viewpoint of multiple description coding, mainly on the structure of multiple description coding for MVC, channel adaptive redundant rate-distortion mechanism, and the quality promotion of the reconstructed video by the side decoder when only one description is received. First, two novel macroblock modes are defined in JMVC platform, and a polyphase transform and data reuse based multiple description coding scheme is then proposed to improve its coding efficiency and reduce its computational complexity. Second, a two-chain coding structure, including a base chain and adjusting chain, is introduced to automatically control the redundancy according to the channel conditions, achieving a good trade-off between the coding efficiency and error resilient ability. Third, a super-resolution method based on interview correlation and Monte Carlo method is introduced to improve the quality of reconstructed multiview video by the side decoder. In summary, this proposal is hopefully to conduct a high efficiency, low computational complexity, and high reliability multiple description coding solution for multi-view video transmission over the Internet and mobile channels.

多视点视频编码利用时间相关和视点间相关提高压缩效率的同时也加大了差错传播风险，因此其容错能力至关重要。但多视点视频复杂的编码结构和超大的数据量，增大了容错方案的设计难度，导致目前还没有成熟的解决方案。本项目拟从多描述编码的角度研究鲁棒的多视点视频编码，重点解决多视点多描述视频编码结构、网络自适应冗余率失真优化和提高边解码重建质量这三个问题。首先在JMVC平台上定义两种新的宏块模式，在此基础上提出基于多相变换与数据重用的多视点多描述视频编码结构,实现在保持较高编码效率的同时大幅度降低编码复杂度的目标。其次，提出一种具有基本环和调整环的双环编码结构，根据传输网络的状态改变调整环的输出冗余，实现冗余率失真优化。最后，提出基于视点间相关性和蒙特卡洛方法的图像超分辨率边解码重建方案，提高边解码重建视频的质量。研究成果有望为互联网和移动信道提供一个高效、低复杂度、高可靠的多视点视频容错编码新方案。

多视点视频编码利用时间相关和视点间相关提高压缩效果，容错能力至关重要。但其复杂的编码结构和超大的数据量，增大了容错方案的设计难度。本项目从多描述编码的角度研究鲁棒的多视点视频编码，解决了高效、低计算复杂度的多视点多描述视频编码结构、网络自适应冗余率失真优化和提高边解码重建质量这三问题。首先提出一种基于多相变换与数据重用的多视点多描述视频编码结构,把每个描述分为直接编码与间接编码两种子序列，间接编码子序列重用直接编码子序列的模式、向量与数据，提高了编码效率;提出基于单峰函数理论的快速模式选择方案，降低了直接编码子序列的计算复杂度，实现了在具有高编码效率低编码复杂度的目标。在此基础上，提出一种具有基本环和调整环的双环编码结构，根据传输网络的状态改变调整环的输出冗余，实现冗余率失真优化。考虑到率失真模型和质量评估体系对优化结果有较大的影响，我们还建立了亮度、色度分离的柯西分布率失真模型、基于视觉特征的率失真模型及结合梯度方向和幅值特征的图像质量评估模型。为提高边重建视频质量，提出了基于视点间相关性和基于学习的边解码重建方案。在上述研究基础上撰写了21篇期刊论文和11篇国际会议论文，其中SCI收录12篇。申请了10项发明专利，其中3项已获得授权。举办了2017年International Symposium on Intelligent Signal Processing and Communication Systems（ISPACS 2017）国际学术会议。1名课题组成员晋升教授、1名晋升副教授。2名课题组成员顺利获得博士学位。11名硕士研究生获得硕士学位。项目的实施，不仅为多视点视频容错编码提供了一个可行的解决方案也大大提升了项目组的研发能力。虽然本项目所提出的方法主要是在JMVC平台上实现的，但只要稍加修改，也可用于3D-HEVC平台。