基于视觉优化的HEVC编码相关技术研究

Since human eyes often act as the ultimate receivers of video, it’s often desired to take into account the visual characteristics in video coding related techniques. Now although there have been many research achievements for video coding related techniques considering visual characteristics, with the introduction of the new video coding standard HEVC, corresponding video coding related techniques based on visual characteristics still deserve further researches. This project just examines the HEVC coding related techniques based on visual characteristics. And the researches focus on the following several aspects: 1) in terms of classic encoding, improving the visual quality of HEVC video bitstreams by making full use of various tools and taking into accounts visual characteristics during HEVC encoding; 2) in terms of global optimization encoding, improving the global visual effects of HEVC look-ahead encoding based on HEVC coding options; 3) in terms of rate control, improving the performance and visual effects of rate control for multipoint parallel HEVC coding. The project is devoted to exploring a perceptual coding method for the HEVC standard, a globally visual optimization coding method for HEVC coding, and a perceptual rate control method for multipoint parallel HEVC coding. Successful implementation of this project will help the wide application of the HEVC standard.

由于人眼经常是视频的最终接收者，在视频编码相关技术中考虑视觉特性往往具有重要的意义。目前，虽然已有许多考虑视觉特性的视频编码相关的研究成果，但随着新近的视频编码标准HEVC的推出，与之相适应的基于视觉特性的视频编码相关技术仍有重要的研究价值。本项目即探讨基于视觉特性的HEVC编码相关的各项技术，研究围绕以下几个方面展开：1）在经典编码方面，充分利用各种工具，在HEVC编码时考虑视觉特性，提高HEVC视频码流的主观质量；2）在全局优化编码方面，基于HEVC标准的各种编码选项，提高HEVC前瞻编码的全局视觉编码效果；3）在码率控制方面，针对HEVC多机并行编码环境，提高码率控制的性能和视觉效果。本项目旨在探索适用于HEVC标准的主观特性编码方法，适用于HEVC前瞻编码的全局视觉优化编码方法，以及适用于HEVC多机并行编码的主观特性码率控制方法。项目的成功实施将有助于促进HEVC标准的广泛应用。

研究基于视觉优化的HEVC编码相关技术，其主要成果包括：（1）基于VMAF指标的视觉优化编码方法，针对VMAF指标没有解析表达式的特点，通过拟合VMAF指标与SSE指标之间的映射关系，成功实现了VMAF指标下编码性能的提高。（2）基于HEVC编码的全局优化编码方法，通过建立更准确的失真模型，能够综合考虑多个相邻帧的失真和码率，选择出更好的编码模式。（3）基于高动态范围（HDR）编码的码率控制算法，能够根据HDR视频的亮度分布特性，以较少的码率波动，获得更好的视觉效果。（4）基于x265并行编码器的编码参数优化选择方法法，针对其较为复杂的编码参数，利用蒙特卡罗算法来优化参数选择，最终可以得到编码时间和编码性能较为折衷的参数组合。（5）利用机器学习的分像素插值算法，通过模拟编码时的量化失真，训练神经网络预测高分辨率图像的高频细节，获得了一定量的编码增益。（6）基于GPU平台的帧插值加速方法，针对下一代编码中较为复杂的插值运算，通过将插值操作分解为适合于GPU运算的并行子模块，明显减少了插值运算的时间。