基于多任务深度学习的图像大数据质量评价理论与方法研究

Big image data quality assessment (BIDQA) is an important research topic for the field of multimedia signal processing, which plays a significant role for accurately assessing to the visual information, mining the regularity behind the data and making the decision. The existing image quality assessment methods are developed based on a small sample and normalized image data, which fails to overcome the challenge raised by the increasing amount of visual contents and the complexity of evaluation tasks of big image data. Therefore, this project proposes a novel BIDQA method based on the deep multi-task learning. Firstly, we use the crowdsourcing platform to build a large-scale image quality assessment database, which could solve the problem of data shortage for the BIDQA research. Secondly, we propose to develop a multi-task learning scheme based deep neural network, which is capable of capturing the relationship between different evaluation tasks and criterions. By the joint optimization framework, we can improve the universality of the BIDQA network. Thirdly, in view of the frequent update property of big image data, we propose to transfer the distribution feature of test images to the BIDQA network via deep transfer learning. In this way, we can adaptively update the parameters of the BIDQA network and improve its generalization capability. This project is expected to provide some new insights and theoretical basis for the solution of BIDQA task.

图像大数据质量评价是多媒体信号处理领域重要的研究方向，对于我们准确获取视觉信息，正确挖掘数据规律和有效做出决策判断具有重要意义。现有的图像质量评价算法基于小样本及规范化的图像数据进行分布假设和建模，无法应对视觉内容和评价任务不断增长的图像大数据质量评价的挑战。为此，本项目提出了基于多任务深度学习的图像大数据质量评价新方法。首先，我们采用众包平台来构建大尺度的图像质量评价数据库，解决图像大数据质量评价研究的数据短缺问题。其次，我们拟构建多任务联合学习深度神经网络，从而挖掘不同评价任务和评价标准的关联与差异，并通过模型的联合优化提升图像质量评价网络的通用性。另外，考虑到大数据背景下视觉内容更新频繁的特点，我们拟采用深度迁移学习将测试图像的分布特点传递给质量评价模型，从而自适应更新模型参数，提升模型的泛化能力。本项目的研究有望为解决大数据背景下的图像质量评价问题提供新的思路和理论依据。

传统图像质量评价研究，主要针对规范化采集的小尺度图像数据进行自然场景统计建模。然而，开放环境下，各类随机采集的图像大数据，其内容变化更加剧烈频繁，失真类型更加复杂多样，无法通过固定、单一模型的统计分布假设实现准确评估。为此，本项目开展了基于多任务深度学习的图像大数据质量评价理论与方法研究，具体包括大尺度图像质量评价数据库构建、基于多任务深度学习的质量评价模型构建与优化以及基于迁移学习的预训练网络更新方法。. 围绕上述三点研究内容，项目组开展了一些列研究工作，取得了多项研究成果。先后发表学术论文20篇（SCI期刊论文8篇，国际会议论文12篇），其中包括高水平国际期刊IEEE TIE、IEEE TCSVT、Neural Networks、Neurocomputing等，以及本领域顶级国际会议CVPR、ACM MM等。申请国家发明专利4项，均已获授权。培养全日制研究生20名，其中博士研究生6名，硕士研究生14名。具体研究成果如下：. 1）模拟实际应用场景，收集了跨内容（包括人物、街景等不同视觉内容），跨任务（包括压缩、模糊、去雾、去雨等不同图像处理任务）的大尺度图像数据集，并进行人工标注，为深度学习在大规模图像质量评价研究方面奠定了数据基础。. 2）提出了深度辅助学习的网络结构，构建新的多任务联合学习网络模型。针对不同视觉内容下各评价任务性能变化的特点，挖掘不同评价任务间的关联及互补特性，构建了任务相关性驱动的多任务融合质量预测模型，为开放环境下通用图像质量评价建模奠定了基础。. 3）提出了覆盖底层感知到高层语义的多层级视觉质量评估方法，构建了基于双向特征嵌入的去雨图像感知质量评价模型，提出了基于多信息融合的显著性质量评估模型，构建了基于正则化集成分类与偏移量自适应分类的对象语义质量评估模型，实现了更加全面灵活的视觉质量评估。