基于相对属性的无参考图像质量评价理论与方法研究

Image quality assessment is an important research field in computer vision and multimedia signal processing. How to get rid of the dependence on reference image, and estimate the perceptual quality of a test image only using its feature is a more challenging problem. By investigating the state of image quality assessment, this project proposes a relative attribute based new method for no-reference image quality assessment. Due to the introduction of perceptual rank-orders between pairwise images, the proposed method produces more consistent quality prediction results with respect to the human perception. By using the parallel convolutional neural networks, we build a generative model for extracting the relative attribute-aware features. On this basis, through combing the constraints on relative rank-order and absolute quality, we build a new method for estimating the image quality based on relative attribute. This project is expected to provide new ideas and theoretical support for solving the image quality assessment problem without accessing to the reference image.

图像质量评价是机器视觉和多媒体信号处理领域重要的研究方向，而如何摆脱对参考图像的依赖，仅利用测试图像的特征准确估计其感知质量则是一项更具挑战性的问题。本项目针对目前图像质量评价的研究现状，提出了基于相对属性的无参考图像质量评价新方法。由于引入了图像间感知质量的排序关系，该方法可以获得与人眼视觉感知更加一致的质量评价结果。利用并行卷积神经网络，建立了图像间相对属性特征生成模型。在此基础上，通过联合图像间相对排序与图像本身绝对质量约束，构建了基于相对属性特征的图像质量预测新方法。本项目的研究有望为解决无参考条件下图像的感知质量评价提供新的思路和理论依据。

无参考图像质量评价旨在不借助参考图像先验信息的前提下，准确预测失真图像的感知质量。传统无参考图像质量评价研究专注于降低每幅图像绝对质量的平均预测误差，无法在模型训练阶段捕捉图像间相对质量误差的影响。鉴于相对质量在图像增强参数选取、成像参数设置以及图像搜索排序等领域的重要作用，本项目开展了基于相对属性的无参考图像质量评价研究，具体包括基于相对属性的感知相关特征提取、区域及图像间感知相似性描述以及绝对和相对属性结合的回归模型构建与联合优化。.围绕上述三项内容，课题组开展了一系列研究工作，取得了多项研究成果。先后发表学术论文38篇（SCI期刊论文26篇，国际会议论文12篇），其中包括高水平IEEE汇刊论文13篇，以及CVPR，ACM MM，ECCV等高水平会议论文各1篇。申请国家发明专利5项。.1）提出了基于局部编码变换的感知特征提取方法，构建了基于多尺度感受野分析的深度对象性表示模型，基于自上而下结构的对象性语义迁移模型，以及基于深度辅助学习的相对属性感知模型，实现了全局和局部语义保护的的跨模态相对属性提取，为相对感知质量向图像特征的嵌入奠定了基础。.2）提出了基于非负矩阵分解的特征相似度描述方法，构建了基于流形排序嵌入的相对属性分析模型，基于局部一致性约束的关联样本聚类模型，基于尺度预测的关联区域提取模型，以及基于上下文关系学习的关联语义解析模型，实现了从区域级到图像级相对属性强弱的分析与描述，为相对质量信息与绝对质量信息的联合建模奠定了基础。.3）提出了清晰性、显著性和对象性三个层次的感知质量评价方法，构建了基于排序正则化的清晰性质量回归模型、基于门控特征嵌入的清晰性质量回归模型、基于多测度联合约束的显著性质量回归模型以及基于深度局部学习的对象性质量回归模型，实现了不同语义下绝对质量与相对质量的联合约束与优化，提供了更加鲁棒的感知质量预测结果。