基于视觉感知特性的无参考图像和视频质量评价方法研究

No-reference (NR) image/video quality assessment is to utilize the distortion image/video data and its feather vector to assess its quality in the absence of the reference data, and could play important roles in applications such as video monitoring, movie/television and so on. Current NR image/video quality assessment methods cannot provide efficient representation on the feature vectors of the distortion image/video correlated with visual perceptual mechanisms, thus are difficult to advance the effectiveness and efficiency of the perceptual model and feature fusion. Our research aims to integrate the relevant theories of visual perceptual mechanism to explore perception model and its efficient representation on image/video data, and to study feature representation correlated with human visual perceptual properties. Then we utilize the theories of visual psychology and visual attention factors to optimize the feature vectors, in order to further build the image/video quality assessment models consistent with human subject opinions. The project is willing to get significant results in terms of model innovation, method improvement and key technology exploration, and provide technique support for a series of different service applications correlated with image/video quality assessment.

无参考的图像/视频质量评价方法可直接通过失真图像/视频的信息来获得质量预测结果，在视频监控、电影/电视等应用服务领域有着很好的应用前景。现有的无参考质量方法缺乏特征信息在视觉感知机制下的有效表达，很难进一步提升感知模型和特征融合的有效性和效率。本项目拟结合视觉内部生成机制、视觉心理学等视觉感知理论，探索图像视频数据的感知模型及高效表示，研究符合人类视觉感知特性的特征表达方式，利用视觉注意机制和心理学等因素优化特征集，最终构建更加符合主观一致性的无参考图像/视频质量评价模型。预期在模型创新、方法改进等方面取得较多成果，以更好地满足各类应用对图像/视频质量评价技术的要求。

本项目在对无参考质量方法的研究现状进行充分分析的基础上，结合视觉注意机制、视觉心理学等视觉感知理论，提出了一系列图像和视频质量评价模型。针对无参考模糊图像质量评价问题，我们提出了一种基于方向意识局部模式的无参考模糊图像质量评价方法，构建的模糊质量评价算法取得了较好的预测性能。针对通用的图像质量评价问题，我们提出了一种结合预注意机制、空间相关性和彩色信息的质量评价模型，该模型借助灰度共生矩阵有效地表达彩色信息和灰度信息，进而利用二种方法生成最终质量分数。针对立体图像质量评价问题，我们采用多种方式来提升算法预测性能。提出了一种基于双目感知与反向显著性的无参考立体图像质量评价模型，该方法提出了一种双目空间信息合成模型和点积模型，能有效地表征立体信息，构建的模型不仅具有较好的预测结果，而且具有较低的计算复杂度。此外，我们还提出了基于奇异值分解和视角相关性的无参考立体图像质量评价模型以及基于经典与非经典感受场模型的无参考立体图像质量评价方法，进一步提升了对立体图像的质量预测能力。针对视频质量评价问题，我们提出了基于时空域切片多图谱配置的视频质量评价方法。针对立体视频质量评价问题，我们提出了基于时空域统计特征的无参考立体视频质量评价方法和基于相对引力统计的立体视频质量评价方法。基于上述工作，项目组成员在国际学术期刊和学术会议上发表论文11篇，其中大类1区期刊论文（IEEE Transactions on Multimedia, 影响因子6.051）1篇，大类2区期刊论文（Neurocomputing, 影响因子4.438，2篇； IEEE Access，影响因子3.745，2篇）4篇，大类3区期刊论文（Signal Processing: Image Communication，影响因子2.779）4篇，国际学术会议论文2篇；申请国家发明专利4项，其中3项已获得授权。指导本科生毕业设计11人，培养硕士生4人，参与该项目的在读研究生8人（博士生1人，硕士生7人，其中4名硕士生将于2021年6月毕业）。