基于成对比较的图像视频质量评价方法及应用研究

Image/video quality assessment has been a critial problem in the area of image/video processing. It aims to measure subjective feelings of human visual system to image/video quality. Therefore it has important theoretical significance and wide application value. This project intends to make use of subjective assessment results from pairwise comparisons,based on the related research progress from machine learning and computer vision, improve the testing efficiency, learn the related features for image/video quality assessment，study new subjective assessment methods and objective assessment models, as well as their applications in real-world quality assessment problems. Specifically, we aim to (1) improve existing subjective assessment methods based on pairwise comparisons, decrease the complexity, optimize the efficiency and accuracy, construct new subjective assessment database,make subject assessment results more consistent with subjective feelings;(2) learn image/video features correlated with quality assessment, improve the generative ability and automation of features, build new objective quality assessment models;(3) propose new mehods to measure the consistency between subjective quality assessment and objective quality assessment based on pairwise comparisons; (4) propose new subjective/objective assessment methods targeting the applications of image/video quality assessment, brdige the gap between subjective feelings and objective assessment results.

图像视频质量评价一直是图像视频处理领域的一个关键问题，旨在度量人类视觉系统对图像视频质量的主观感受，具有重要的理论意义和应用价值。本项目利用成对比较的主观测试结果，在相关的机器学习和计算机视觉研究成果基础上，降低测试复杂度，针对图像视频质量评价进行特征学习，研究新的客观评价模型，以及在实际质量评价问题中所需要的技术，具体研究目标包括：（1）降低成对比较主观测试方法的复杂度，提高效率和准确性，建立新的主观评价测试数据库，得到与主观感受一致的主观评价结果；（2）学习与质量评价相关的图像特征，提高特征的泛化能力和自动化程度，结合成对比较的主观测试方法，建立和主观感知一致的客观质量评价模型；（3）提出适合成对比较的衡量主客观一致性的新指标；（4）针对具体的图像视频质量评价应用，提出新的主客观评价方法，减小主观感知和客观评价的差距。

图像视频质量评价一直是图像视频处理领域的一个关键问题，旨在度量人类视觉系统对图像视频质量的主观感受，具有重要的理论意义和应用价值。和传统的基于五分制的评价方式相比，成对比较的评测结果更加鲁棒和精确，但是测试复杂度较高。如何高效利用成对比较的主观评价结果，深入挖掘提取对主观质量评价最为重要的图像特征，学习得到与主观感受一致的客观评价模型，并应用于具体的图像视频质量评价问题，是本课题所要解决的核心问题。围绕这一核心问题，本项目以降低成对比较主观测试复杂度、建立基于成对比较主观测试结果的客观质量评价模型、提出适合成对比较的衡量主观一致性的新指标为主要目标，研究图像视频质量主客观评价的理论和方法，并将研究成果应用于监控视频质量评价和手术视频质量评价等实际场景。在过去的四年中，本项目重点开展了基于成对比较的采样方法、无参考图像视频的客观质量评价、基于成对比较的衡量主客观一致性的指标、监控视频质量评价、手术视频质量评价等方面的研究。取得了如下主要成果：（1）为了降低成对比较主观测试的复杂度，提出基于可靠信息量的采样理论，大幅降低了采样次数，提高了基于成对比较主观测试的效率；（2）针对无参考图像视频质量评价，利用图像的高层语义特征和视频帧的时序关系，提出新的无参考图像视频质量客观评价模型；（3）提出了适用于基于成对比较的衡量主客观一致性的新指标；（4）针对具体的图像视频质量评价应用场景，如监控视频质量评价和手术视频质量评价，分别提出基于人脸识别和手术视野的新方法，减少了主观感知和客观评价的差距。