基于生成式对抗网络与排序学习的自然场景下的图像质量评价模型

In the era of big data and deep learning, how to employ powerful deep learning technologies on image quality assessment in the wild is a vital yet challenging scientific subject. The challenges in this subject come from different aspects: 1) The contradiction between the insufficiency of labeled data and the highly data-demanding characteristic of deep learning; 2) there is no unified scoring standard for different image quality assessment databases, which leads to the deficiency of generalizability of the models trained from them; 3) The lack of large-scale in the wild image quality assessment database. Being aimed at aforementioned problems, our project group plan to conduct research for following contents: 1) The training data augmentation technology for authentic distorted images based on generative adversarial network; 2) The design of blind image quality assessment model with strong generalizability based on learning-to-rank technology; 3) The building of large-scale in the wild image quality assessment database based on generative adversarial network and blind image quality assessment model with strong generalizability. This project is based on big data-driven and perception modelling, which provides some theoretical insights and practical algorithms for real-world applications.

在大数据与深度学习时代，如何有效地将强大的深度学习技术应用于自然场景中的图像质量评价是一个重要且极具挑战的科学问题。这一课题的挑战来自于不同的方面：1）有标签数据不足与深度学习数据需求大的这一特性的矛盾；2）不同的图像质量评价数据库无统一评分基准导致训练得到的模型泛化性能不足；3）缺少大规模的自然场景下的图像质量评价数据库。针对上述问题，本课题组拟对如下内容进行研究：1）基于生成式对抗网络的自然失真图像样本的训练数据增广技术；2）基于图像质量次序信息的强泛化性盲图像质量评价模型的设计；3）结合生成式对抗网络与强泛化性盲图像质量评价模型建立大规模自然场景下的图像质量评价数据库。本项目立足于大数据驱动和感知建模，具有理论意义和应用前景。

图像处理技术的发展不可避免地引入新型的图像失真，在不断地建立新的图像质量评价数据集的同时，也需要对图像质量评价模型进行相应的调整。此外，对抗样本的存在也对图像评价模型的鲁棒性提出了挑战。本项目从排序学习、持续学习和对抗鲁棒性三个主要视角开展了相应的研究，围绕以下三个核心科学问题形成了一套互相支撑、互为补充的技术方法:.一，不同的图像质量评价数据集在两个方面存在显著差异:（1）图像的失真场景，这将限制从某一数据分布学习得到的图像质量评价模型对分布外数据的有效性。（2) 主观质量标注方式，这导致不同数据集中的图像质量分数的不具备对齐性，无法直接通过合并多个图像质量评价数据集进行跨数据集训练的方式解决问题（1）。.二，图像失真场景亚群偏移对持续地调整图像质量评价模型以适应新型失真提出了挑战，本质上是机器学习模型在进行顺序学习时的灾难性遗忘问题。.三，客观图像质量评价应与人类的主观感受相一致.因此，对图像进行低于视觉临界失真的扰动（即不改变图像的主观感知质量）不应改变客观图像质量评价模型对其的质量评估。.对于问题一，提出了一种成对式的排序学习方法在多个数据集进行图像质量评价模型的联合训练，对不同失真场景下的图像进行可靠的质量预测。对于问题二，定义并提出了一种持续学习场景下的无参考图像质量评价准则与方法，有效缓解了模型灾难性遗忘的问题。对于问题三，设计了一种人在环路的感知攻击算法，验证了不同结构设计的无参考图像质量评价的对抗鲁棒性，并得到了一系列具有启发式的结论。.三个研究内容具有紧密的关联：成对式排序学习解决了跨数据集的联合训练的可行性问题，而在多数据集顺序学习的场景下，则通过持续学习的方式缓解模型灾难性遗忘的问题。上述两个研究内容本质上在解决数据的自然分布偏移问题，而对抗鲁棒性研究则关注由对抗分布偏移。从无参考图像质量评价本身的问题特性出发，设计了人在环路的对抗鲁棒性验证方法。.项目共发表论文10篇，其中SCI期刊论文6篇（包含IEEE TPAMI 1篇，IEEE TIP 1篇），EI期刊论文1篇，国际会议论文3篇（1篇NeurIPS，1篇ICME，1篇ICIP）。