局部自适应多通道图像噪声快速估计及应用研究

Noise estimation is a crucial step in many image processing algorithms. However, traditional noise estimation methods are mainly developed for single-channel images; for multi-channel images, the traditional methods do not consider the correlation among the channels. In addition, the traditional methods typically process each region throughout the entire image in a unified way, neglecting the noise adaptation to the local content of the image. This project proposes to research the locally adaptive multi-channel image noise modeling, fast estimation, and its applications. 1) This project will investigate the locally adaptive noise model for multi-channel images, in which we explicitly consider both the content-dependence and the inter-dependence among color channels. 2) This project will perform adaptive noise estimation for weakly textured and strong textured regions, respectively. To boost the algorithmic efficiency, this project will also study the fast selection of weakly textured regions and the acceleration method based on a neural network. 3) The project will explore the application of noise estimation in a variety of image processing tasks, including color image denoising, and robust superpixel image segmentation. This project could provide theoretical and technical support for the multi-channel image noise analysis, and also provide relevant guidance for some related fields.

噪声估计是许多图像处理算法的关键步骤。传统噪声估计方法多是针对单一通道图像的，在处理多通道的情况时并没有考虑到通道间噪声的相关性。此外，传统方法常对整幅图进行统一处理，忽略了噪声对图像局部内容的适应性。针对以上问题，本项目开展局部自适应多通道图像噪声快速估计及其应用的研究，从噪声模型、快速估计算法及其在图像处理中的应用等三方面进行探索：1)噪声模型上，本项目拟采用局部自适应的多通道图像噪声模型，充分考虑到噪声在通道之间的相关性及其与图像内容的依赖性。2)在快速估计方法上，本项目拟首先对弱纹理和强纹理区域分别进行自适应噪声估计；为进一步提高算法效率，本项目还将研究弱纹理区域快速选择及基于神经网络的加速方法。3)本项目将探索噪声估计方法在多种图像处理任务上的应用，包括彩色图像去噪、鲁棒超像素图像分割等。本课题可为多通道图像噪声分析提供理论与技术支撑，也为相关学科的发展提供方法借鉴。

噪声及失真建模是许多图像处理算法的关键步骤，其建模准确程度直接影响算法的稳健性。本项目围绕多通道图像噪声建模及其应用展开研究。主要研究内容包括：1)在噪声模型方面，提出了图像局部内容自适应多元高斯噪声模型，以及数据驱动的基于可微神经网络的图像噪声模型，实验验证了两类噪声模型均能够准确捕捉刻画多通道图像噪声特性。2)面向复杂图像噪声建模，本项目研究了在线社交网络信道下的图像噪声建模，并应用在抵抗社交网络信道失真的图像预滤波场景，有效提升了在社交平台分享的图像质量；此外，本项目也研究了屏幕拍摄图像的噪声及失真建模，指导设计了更小失真的跨介质屏摄图像水印系统。3)在基于模型的特定噪声生成及应用方面，本项目研究了图像可逆数据隐藏失真建模，通过分析传统可逆数据隐藏算法造成的失真类型，针对性地构建遮蔽噪声生成模型；提出的方案可有效遮蔽数据嵌入痕迹，提升算法的不可检测性。此外，项目也研究了基于条件生成对抗网络的对抗噪声生成模型，并应用在对抗样本快速生成任务当中。基于项目的资助，课题组还开展了在语音噪声分析、鲁棒图像篡改检测等相关研究。本项目的开展对提升多媒体处理算法在噪声环境下的稳健性具有重要意义。本项目相关研究成果已整理发表11篇SCI/EI期刊或会议论文, 其中包括2篇IEEE Transactions期刊; 已申报中国发明专利4项。项目执行期间, 课题组获得了多媒体内容安全领域省市级项目的进一步资助; 培养多名硕士研究生，项目成员的科研素养和能力得到显著提升。