基于用户满意度和感知质量的视频编码研究

Video coding technologies mainly focus on design accurate intra and inter prediction methods to remove spatial and temporal redundancy but has not taken the perceptual redundancy of human vision system (HVS) into account. The HVS presents different sensitivities for distortions under different visual contents, thus, detecting and reducing the perceptual redundancy to further improve video coding efficiency becomes of paramount importance. In this project, we try to discuss the content-driven video coding optimization based on satisfied user ratio and perceptual quality. Based on extracting features which are related to HVS, the project tries to derive a no-reference video quality assessment method using support vector regression (SVR). Based on video content, modeling satisfied user ratio (SUR) which describes the perceptual quality differences between different viewers. This project aims to optimize video coding parameters based on SUR and enhance the quality of decoded video using perceptual quality guided filtering. The method will not change the standard bitstream which will make it compatible to different video coding standards. The project results are expected to enrich theory of HVS and provide guidance to video coding optimization based on perceptual quality, which can further promote the development of video-based Internet applications.

视频编码技术主要使用精确的帧内和帧间预测技术消除视频的空域和时域冗余，但并没有考虑人类视觉系统感知冗余。人类视觉系统对不同图像内容的敏感度和分辨能力不尽相同，因此，亟需高效的方法可以检测和消除人眼的视觉冗余，进一步提高视频的压缩效率。本项目拟以视频的内容特性为切入点，探讨基于用户满意度和感知质量的视频编码优化方法。通过提取视频中与人类视觉系统相关的特征，构建基于支持向量回归的压缩视频无参考客观质量评价方法。基于视频内容特性，建立用户满意度模型，描述不同用户的感知差异。并在此基础上，设计基于用户满意度的视频编码优化算法和基于感知质量的重建视频质量增强算法，提高视频编码效率。设计的算法不改变标准码流结构，兼任现有的多种视频编码标准。项目研究成果将丰富人类感知系统理论，为视频编码系统的优化提供基于感知质量的指导，提升视频编码效率，推动基于视频的互联网应用的发展。

视频正朝着超高清、高帧率、高动态范围的趋势发展以为用户提供更真实的视觉体验，导致视频数据量激增，而感知优化视频编码旨在利用视觉冗余最大化压缩效率，降低视频数据量。项目围绕视频编码感知质量优化展开，研究内容及成果如下：（1）提出了基于数据驱动变换的无参考图像质量评价算法，使用数据驱动变换自适应提取和增强感知特征，可以极低的复杂度获得与最先进深度学习质量评价算法相似的性能。（2）提出了基于多特征融合的非监督无参考图像质量评价算法，使用数据驱动变换对多种感知质量相关特征进行自适应融合，可以在多种失真类型上获得优于监督的无参考算法的质量评价准确度。（3）基于视频的纹理特性，提出了基于学习的帧内编码快速算法，在仅受到0.23%码率损失的情况下最大可降低复杂度29%。（4）提出了基于视频内容特性和感知质量的自适应采样算法，可以获得约3%的码率节省。本项研究开展以来，已在国际期刊上发表SCI检索论文8篇，其中在IEEE核心刊物发表论文3篇；在主流的国际会议上发表EI检索论文3篇；申请国家发明专利3项。上述研究成果，丰富视觉感知模型理论，促进了视频编码的感知优化应用发展。