基于视觉感知的HEVC优化策略研究

Since the optimization strategy of the newest video coding standard HEVC is still based on the objective criterion (e.g., SSE), this proposal aims to study the perceptual-oriented optimization strategy for HEVC, mainly on the perceptual rate distortion optimization model, content adaptive JND model based quantization adjustment strategy, and fast hierarchical coding unit and prediction unit decision. First, by considering the perceptual characteristics of the input video, an efficient perceptual rate distortion optimization model is proposed to achieve the optimal trade-off between the perceptual distortion and bit rate so as to improve the perceptual coding efficiency of HEVC. Second, a content adaptive JND model is firstly developed based on the multiple DCT transform unit sizes in HEVC, and then the quantization adjustment strategy and quantization parameter predictive coding method are introduced to reduce the bit rate while maintaining the perceptual quality of the reconstructed video. Third, by using the proposed perceptual rate distortion optimization model as the criterion, the relationship between the perceptual rate distortion gain and the depth of coding unit and the prediction unit partitions is analyzed, and then a hierarchical mode decision is presented to effectively speed up the HEVC mode decision process without losing the perceptual coding efficiency. In summary, this proposal is expected to improve the performance of HEVC in terms of perceptual coding efficiency and computational complexity.

鉴于最新一代视频编码标准HEVC仍采用的是SSE等客观失真准则下的优化方案，本项目拟从人眼视觉感知的角度研究其优化策略，重点解决基于视觉感知的率失真优化模型、基于内容自适应JND模型的量化调整策略及视觉感知准则下的快速分层搜索这三个问题。首先考虑人眼视觉在不同图像特征下的失真容忍度，提出基于视觉感知的率失真优化模型以获得感知失真和码率的最佳折中，提高HEVC的感知编码效率；其次根据HEVC具有多尺寸DCT变换的特性建立内容自适应JND模型，在此基础上提出量化调整策略和量化参数预测编码方案，实现在保证重建视频感知质量的前提下尽可能地降低码率；最后在基于视觉感知的率失真准则下，建立HEVC的编码单元分割深度和预测单元划分模式和其感知率失真增益的关系模型，从而提出快速分层搜索策略，以在保证感知编码效率的前提下有效地加速HEVC模式选择过程。研究成果有望提高HEVC感知编码效率及降低其计算复杂度。

鉴于最新一代视频编码标准HEVC仍采用的是SSE等客观失真准则下的优化方案且人眼是视频最终接收者，如何根据人眼视觉特性进一步提高HEVC编码性能成为视频技术领域兼具理论和实际应用价值的研究热点。.本项目从人眼视觉感知的角度系统研究HEVC优化策略，在基于视觉感知的率失真优化模型、内容自适应JND模型、低复杂度和容错编码技术、图像质量评价模型、基于感兴趣目标的优化方法方面取得一系列进展：（1）考虑人眼视觉在不同视频特征下的失真容忍度，提出视觉感知失真模型，应用于率失真优化模块、码率控制模块，以获得感知失真和码率的最佳折中，提高HEVC感知编码效率；（2）建立多种内容自适应JND模型，应用于量化模块、帧内预测编码模块，实现在保证重建视频感知质量的前提下尽可能地降低码率；（3）建立HEVC的编码单元分割深度和预测单元划分模式和其感知率失真增益的关系模型，应用于模式选择过程，有效地提高HEVC编码速度。在提高编码器鲁棒性方面，利用视频时空相关性提出一种基于自适应数据复用的多描述编码结构；（4）为系统探索人眼视觉感知特性，构建了大规模图像质量评价数据库并提出了多个能够准确反映人眼视觉对于图像质量主观感知的图像质量评价模型；（5）提出多种视频感兴趣目标跟踪和识别策略并设计感兴趣目标和背景区域差异化编码方案。.在本项目研究工作中，我们共发表22篇学术论文，其中SCI收录11篇（IEEE Transactions on Image Processing等SCI二区论文5篇），国际学术会议论文7篇，获得第十八届全国信号处理学术会议优秀论文奖；申请了5项发明专利并已授权1项；获得授权计算机软件著作权1项；培养了1名博士生和4名硕士生；承办了IEEE ISPACS2017国际学术会议并多次参加国内外学术会议，积极促进了学术交流与合作。本项目研究成果为推动高感知编码效率、低计算复杂度、鲁棒的视频技术发展提供一定的理论依据和技术支持，有望在数字电视、视频监控、移动多媒体等产业得到实际应用。