基于视觉感知特性的高性能视频编码率失真优化研究

Based on the High Efficiency Video Coding (HEVC) which removes objective redundancy effectively, combining visual perceptual characteristics to further remove visual redundancy to improve visual rate distortion performance is the research hotspot of video coding field in the future. However, visual distortion measure is not accurate enough for now, and coding resources allocation scheme is not mature. Recent researches show that it is expected to obtain better visual distortion measure by combining global structural distortion and local attention. This project focuses on the research on visual perceptual characteristics based HEVC rate distortion optimization techniques, and the main contents include: (1) research the perception regularities of visual perceptual characteristics to coding distortion and its engineering method, especially the measurements of global structural distortion and local spatio-temporal attention, and the organic pooling scheme between global and local stimuli to generate accurate and efficient visual distortion measure; (2) research visual distortion measure based optimal allocation and control schemes of coding resources (including rate and computation resource), and visual distortion based coding mode selection and fast decision schemes; (3) research visual attention guided just noticeable distortion, remove visual redundancy at transformed coefficient level and improve visual rate distortion performance further. This project will provide creative research and experiment results for next generation visual quality optimal video coding technology.

在高性能视频编码（HEVC）有效删除客观冗余的基础上，结合视觉感知特性进一步删除视觉冗余以提高视觉率失真性能，是今后视频编码领域的研究热点。但目前视觉失真度量不够准确，编码资源分配机制不够成熟。最新研究表明，全局结构失真与局部关注度结合有望得到更好的视觉失真度量。本项目针对基于视觉感知特性的HEVC率失真优化技术展开研究，主要包括：（1）研究视觉感知特性对编码失真的感知规律及工程化方法，特别是全局结构失真和局部空时关注度的测定算法，以及全局与局部刺激的有机融合方法得到准确高效的视觉失真度量；（2）研究基于视觉失真度量的编码资源（包括码率资源和计算资源）最优分配与控制技术，以及基于视觉失真的编码模式选择及快速算法；（3）研究视觉关注度指导的恰可觉察失真，进一步在变换系数级删除视觉冗余，提高视觉率失真性能。本项目将为实现新一代视觉质量最优的视频编码提供创新性研究和实验结果。

保证在一定的视频质量的前提下尽可能地压缩码率或在一定的码率条件下尽可能地提高视频编码的质量，一直是视频编码领域追求的目标。目前国际上流利的H.264/AVC、最新的高性能视频编码（HEVC/H.265）以及我国具有自主知识产权的音视频信源编码标准（AVS）还主要是通过删除视频信号中的各种客观冗余（空域、时域、统计冗余）来实现信号压缩，而对主观视觉与心理冗余考虑较少。在有效删除客观冗余的基础上，结合视觉感知特性进一步删除视觉冗余以提高视觉率失真性能，成为今后视频编码领域研究的新思路，有望得到更高的视觉率失真（RD）性能。本项目基于视觉感知特性对HEVC视频编码的相关优化技术展开研究，主要研究内容包括：1）利用视觉感知特性，研究人眼对图像质量与编码失真的感知规律及工程化方法，研究图像中全局与局部空时显著度（Saliency）的测定算法，以及结合显著度的图像质量或失真测量方法；2）研究基于视觉失真度量的编码单元层编码资源（包括码率资源和计算资源）最优分配与控制技术，以及基于视觉失真的编码模式选择及帧内帧间快速算法；3）研究视觉显著度指导的恰可觉察失真（JND）计算方法；4）研究低码率结合编码端空域或时域下采样与解码端空域上转换（超分辨率重建）或时域上转换（帧率上转换）的编码机制，以提高视频编码的主观质量。通过上述技术，本项目最终提高了图像质量评价的准确性和视频编码系统的主观率失真性能。本项目研究的技术路线和实验数据将为实现新一代视觉质量优化的视频编码技术提供思想方法和数据支撑。