面向HEVC的多描述视频编码关键问题研究

The error resilient ability of High Efficiency Video Coding standard (HEVC) is essential for video transmission through unreliable networks. The complicated coding structure of HEVC leads to the high complexity of error resilient coding structure design. This proposal presents an error resilient coding framework for HEVC based on multiple description coding (MDC), mainly on the structure of multiple description coding, channel adaptive redundant rate-distortion mechanism, and the improvement of the reconstructed video quality by the side decoder when only one description is received. First, a coding unit (CU) depth oriented adaptive information reuse based multiple description coding scheme is studied to improve the coding efficiency and reduce the MDC computational complexity. Second, a channel adaptive redundancy control mechanism based on the vision perception character is introduced to automatically control the redundancy according to the channel conditions, achieving a good trade-off between the coding efficiency and the error resilient ability. Third, to improve the side decoder reconstructed video quality, image features of the coding unit and convolutional neural network based methods are studied. This proposal is hopefully to provide an error resilient HEVC solution with high robustness, high efficiency and low computational complexity for video transmission over unreliable networks.

为满足在不可靠网络中传输高质量视频的需求，新一代视频编码标准HEVC容错能力的提升至关重要。HEVC复杂的编码结构增大了容错方案的设计难度，且难以将H.264/AVC等视频编码标准的容错方案直接移植到HEVC中。本项目拟从多描述编码的角度提高HEVC的容错性能，重点解决HEVC多描述视频编码结构、网络自适应冗余率失真优化和提高边缘解码重建质量三个问题。首先研究基于编码单元分层深度的自适应选择信息重用方式多描述编码方案，实现在保持较高编码效率的同时大幅度降低多描述编码复杂度的目的。其次，设计可根据人眼视觉感知特性和传输网络误码率自适应调整冗余率的码率控制机制，实现冗余率失真的优化。最后，研究基于编码单元图像特征的差异化边缘解码重建方案和面向多描述边缘解码的孪生卷积神经网络，以提高边缘解码重建视频质量。本课题的研究成果有望为HEVC编码标准提供一个高鲁棒性、高编码效率、低复杂度的容错编码方法。

本项目系统地探索了提高HEVC编码容错能力的关键问题。从高编码效率、低计算复杂度的HEVC多描述编码结构，网络自适应的冗余率失真控制机制，提高边缘解码视频重建质量等方面展开研究，取得了一系列进展：（1）提出面向HEVC基于参数重用的多描述视频编码方法，在不增加预测单元分解、选择和运动估计的开销基础上，实现了高编码效率、低计算复杂度的HEVC多描述编码结构，提升了HEVC的容错性能，其边缘解码PSNR仅略低于中心解码0.7 dB，且较最新的HEVC多描述视频编码边缘重建提升了2.3dB；（2）提出基于自适应感知冗余分配的空频多描述编码方法，结合信道状态建立基于视觉显著性的网络自适应冗余率失真控制机制，用以动态调节多描述编码冗余率，在满足容错要求的条件下，提高了0.5dB的感知PSNR；（3）运用卷积神经网络进行错误恢复和边缘解码视频质量提升，分别提出基于多尺度特征残差学习卷积神经网络的视频超分辨率重建方法和基于多特征融合的编码伪迹去除方法，在不增加编码开销和编码复杂度的前提下提高了边缘解码视频的重建质量。在上述研究基础上发表了17篇学术论文，其中SCI收录8篇，EI收录2篇；申请了12项国家发明专利，其中已授权4项；培养了5名硕士生；相关成果在数字电视、视频监控、移动多媒体等领域可以得到实际应用。目前，部分成果已在厦门亿联网络技术股份有限公司的云视讯系统落地转化，该系统获得2020年度福建省科技进步奖三等奖。