基于区域视觉差异的屏幕视频客观质量评价的研究

Construction of objective quality assessment model of screen content videos is one critical problem in the latest framework of HEVC SCC (Screen Content Coding). Due to the intrinsic differences between screen content videos and traditional camera-captured videos, objective quality assessment models designed for camera-captured videos cannot evaluate the quality of screen videos efficiently. In this proposal, we will investigate the perception of Human Visual System (HVS) when viewing screen videos, explore the visual impairment in different areas, and propose a novel objective assessment model with areal visual variation for evaluating impaired screen videos. The main research contents include: 1) constructing a screen video database with great content variation and seeking subjective quality scores of different areas in videos via subjective evaluation; 2) computing the effect of areal impairment to whole visual quality in spatial-temporal domain and designing the resultant correlation analysis model; (3) extracting the area characteristics that reflect the visual impairment, especially for the textual regions, based on which partial quality assessment algorithms are designed and integrated into a novel objective quality assessment model. The results of this project are expected to provide the fundamental data and theory to subsequent research on screen video quality assessment, and advance the quality evaluation manner in the HEVC SCC framework.

屏幕视频客观质量评价模型的构建是最新一代视频编解码国际标准HEVC SCC（Screen Content Coding)框架中亟待解决的一个关键问题。鉴于屏幕视频与摄像机视频本质的不同，针对摄像机视频的质量评价算法在屏幕视频质量评估上具有一定的局限性。本课题将探索人类视觉系统在观看屏幕视频时的感知机制，研究压缩噪声在不同区域对视觉感知的影响，提出具有区域视觉差异的客观质量评价模型。内容包括：1）建立内容多样化的屏幕视频数据库，通过主观评测为屏幕视频的不同区域提供主观质量分数；2）探索区域视觉损失对整体质量的影响并量化为时空域影响因子，构建关联性分析模型；3）提取能够反映视觉损失的区域特征，尤其是对文字区域，构建具有区域差异的局部质量评价算法并整合为整体质量评价模型。本项目的研究将为屏幕视频的质量评价提供最基础的数据支持及理论依据，也为HEVC SCC提供快速可靠的质量评价方式。

鉴于屏幕内容图像与传统自然图像的本质不同，构建屏幕内容图像的客观质量评估模型对智能信号处理及应用有着重要的意义。本项目围绕屏幕视频图像客观质量评价问题，进一步探索了主观质量感知机理，探索反映感知特性的图像视觉特征，开发出了更符合主观感知的屏幕视频图像客观质量评估模型。主要研究内容包括：（1）根据屏幕内容（尤其是文字区域）的结构特性，设计了一种新的图像特征描述方式，即梯度域边缘特征，该特征能有效反映屏幕图像在不同失真情况下的视觉特性。（2）提出了基于多特征融合的图像质量评估深度学习模型SG-MFNet，该模型同时自行融合人工设计特征及深度学习特征，使得训练出的深度特征能表征更多的图像结构信息及细节信息。同时端到端的优化训练，使得评估结果与主观感知结果一致性更高。（3）设计了基于区域分割的深度学习CNN模型，鉴于文字区域与图像区域显著不同的视觉特性，针对不同区域分布训练CNN网络，使得提取的质量特征更具针对性，同时大大减小CNN模型训练复杂度。（4）研究基于变分模型的图像处理及质量评估方法，改进了非局部变分算子，可有效评估图像边缘变化对图像视觉质量的影响。