基于初级视觉特征感知计算的无参考图像质量评价

Image quality assessment is one of the hot research topics in image processing community. Quality evaluation, both objective and subjective, is of fundamental importance for various multimedia applications. No reference image quality assessment (NR IQA) is the most interesting and extreme difficult task in image/video processing related applications. Although current NR IQA algorithms seem to be promising, they still face one or a few of the following disadvantages: (1) they are distortion dependent; (2) they are sensitive to different datasets; and (3) the performance cannot fulfill practical visual quality prediction task. Based upon above points, highly efficient NR IQA is still challenge. To this end, we will lay our focus on devising novel high performance general purpose NR IQA framework in this project. The new NR IQA framework is based on the visual detection theory and natural scene statistics from pattern extraction in the output of the classical receptive fields. The anticipated output of this project will benefit greatly image processing area and help us to better understand the mechanism of human visual process.

图像的视觉感知质量评价是目前图像处理领域研究的热点之一，图像的主观和客观质量评价在几乎所有的图像处理领域中都扮演着至关重要的角色。而目前的客观图像质量评价尤其是无参考型的图像质量评价仍然是其中的难点。尽管目前无参考图像质量评价已经取得了一些进展，然而，大多数的方法仍然存在以下一种或几种不足：（1）算法只能针对特定失真；（2）借助于机器学习的框架训练模型，因而性能过于依赖训练数据集和测试数据集，泛化性能较差，并且缺乏通用性；（3）目前的无参考图像质量评价算法还无法满足实际应用的需求。针对以上几点，本项目提出全新的高性能无参考图像质量评价计算模型。该模型提出利用基于初级视觉特征模式抽取下的自然图像统计特性结合视觉检测理论的框架，建立全新的无参考图像质量评价指标，提高无参考图像质量评价方法的可靠性及通用性。本项目的预期成果将极大地促进图像处理领域的发展，并帮助我们进一步认识和理解人眼视觉过程。

图像的视觉感知质量评价是目前图像处理领域研究的热点之一，图像的主观和客观质量评 价在几乎所有的图像处理领域中都扮演着至关重要的角色。而目前的客观图像质量评价尤其是无参考图像质量评价仍然是其中的难点。本项目从自然图像的特点和人类视觉系统的主要特性出发，创新性地研究和提出了具有不同特点的无参考/盲图像质量的视觉感知模型。首先，基于项目负责人前期提出的盲图像质量评价算法NR-GLBP的基础上，通过多维拓展和多阈值融合的方式提出了全新的基于多维广义局部二值模式的全盲图像质量评价算法。该算法在LIVE图像数据库上秩相关系数达到了0.908；在结合图像的自然场景特性以及人眼视觉显著性，构建基于视觉显著性与多特征融合的全盲图像质量评价算法，在LIVE上秩相关系数达到了0.930，且在LIVE Challenge图像质量评价数据集上结果稳定。其次，利用深度神经网络框架的优越性，创新性地将人眼视觉敏感度特性与深度学习相结合来构造图像质量评价算法。该算法在LIVE图像数据库上和主观评价结果的秩相关系数为0.974；考虑到色调映射图像的视觉质量退化特点，我们利用深度神经网络提取图像的各级视觉特征，提出了基于混合视觉特征提取的色调映射图像质量评价算法。该算法在TMID和ESPL-LIVE图像数据库上和主观评价结果的秩相关系数分别为0.9176和0.8357，与同类算法相比，性能优越。最后，在医学图像处理领域，我们研究了基于SD-OCT的眼底视网膜图像的质量自动评价算法，将排序学习与深度神经网络结合使其学习医生在观察OCT图像时所关注的与成像质量相关的因素自动提取相关特征，并使用SVR回归模型进行客观质量评价。该方法取得了与医生主观感知较好的一致性，秩相关系数达到了0.978。经过三年的科研工作，已经按计划完成了相关的研究内容，取得了较好的研究进展，发表学术论文10篇，相关成果在SPIE MI 2019，EMBC 2019以及QoMex 2020国际会议上做分组口头报告。申请国家发明专利9项，其中包括授权发明专利3项。