面向云媒体的降质图像复原研究

Multimedia data on the internet is bringing new opportunities and challenges to image processing and computer vision community. How to utilize the huge database in cloud and leverage them to advance related applications in image processing is becoming a hot research topic in academia. To explore the potential assistance of the huge database in cloud to low-level image processing problems, the project proposes degraded image restoration by exploring the similarity among cloud images and building restoration models to integrate the advantages of external and internal correlations. The main research plan includes: 1) Considering the image matching difficulty caused by the quality difference between degraded images and high-quality images, investigate deep learning based image similarity analysis between degraded images and high-quality images, and investigate quality co-assessment of retrieved images; 2) Investigate the matching method between degraded patches and high quality patches using multiple constraints, and explore cooperative improvement of external and internal correlations; 3) Construct the multi-prior regularized restoration models for CCD noise removal, image super-resolution, and image contrast enhancement respectively, and design fast and stable algorithms for the proposed models. The proposed image restoration method can be extended to many types of signal restoration problems and provide a novel idea and a new path for vision computing in the cloud era.

海量的数据给多媒体图像处理及计算机视觉领域带来了新的机遇与挑战。如何有效地组织利用云媒体中的数据来驱动图像的高性能处理与应用已成为学术界的一个研究热点。为了挖掘云媒体中大规模图像库对底层图像处理问题的潜在助益，本项目以云环境下图像相似度分析为切入点，构建协同利用图像内外相关性的复原模型，研究多种降质图像的复原算法。主要内容包括：针对降质图像与优质图像间质量差异带来的匹配困难，研究基于深度特征的降质-优质图像相似度分析，探索基于图像质量联合评价的优质图像筛选方法；研究基于多重约束条件的降质-优质图像块匹配方案，探索图像内外相关性的协同提升；以此为基础，针对图像CCD噪声去除、图像超分辨率、图像对比度增强等问题的特点，分别构建多重先验约束的正则化模型，并设计快速、稳健的求解算法。本项目的图像复原理论与方法可以推广到多种信号复原问题，为云媒体时代的视觉计算提供新思路与新途径。

本项目针对多种常见的降质复原问题开展了研究。考虑到单图像复原与基于参考图（即面向云媒体）的复原紧密相关，本项目在这两方面均进行了探索研究。取得的主要成果包括：1）在噪声去除方面，提出了面向云媒体的基于深度卷积神经网络的图像去噪方法，同时利用图像内外相关性，去噪性能平均获得了1 dB增益；提出了联合深度卷积及协同滤波的噪声去除方法，构建了一个由多种相机在高ISO模式下拍摄的带噪与无噪图像数据集，获得了优于多种方法的噪声估计和去除结果；提出了面向Raw视频的去噪方法，构建了首个面向Raw视频的实际噪声去除数据集，提升了实际噪声的去除效果。2）在超分辨率方面，基于参考图像，提出了新型的通道加权策略，构建了逐级的参考图引导超分方案，在三个数据集上均取得了出色的超分效果；提出了基于稠密变形及自适应融合的超分辨率方法，提升了基于参考图像的超分辨率效率；针对深度图超分辨率，利用彩色图作为参考，提出了同时利用变换域和空域正则的超分辨率方法，实现了边缘信息的准确重建。3）在对比度增强方面，提出了基于本征分解的图像对比度增强方法，提出了基于结构纹理分解的水下图像增强方法，获得了较好的视觉增强效果。4）在摩尔纹去除方面，提出了基于信号分解及导向滤波的纹理图像摩尔纹去除方法，获得了优于人工PS的去除效果；提出了基于加乘网络的屏幕图像去摩尔纹方法，构建了同时考虑亮度变化与摩尔纹的成对数据集，在有效去除摩尔纹的同时提升了重建图像的亮度。综上，本项目形成了一组由低质量观测到高质量恢复的核心技术，研究成果可转化应用到受限条件下的成像质量增强，视频监控等领域。