面向图像盲复原的深度模型与稳健复原方法研究

With the rapid developments of portable imaging devices, it is very important to develop effective and efficient blind image restoration methods. In blind image restoration problem, it is required to jointly estimate blur kernel and restore clean image. The existing blur kernel estimation methods rely on natural image priors and empirically tuning parameters, and blur kernel estimation error is not modeled in non-blind restoration methods. Moreover, the blur kernel is generally assumed known in super-resolution, while blind super-resolution is rarely studied. To address these issues, studies will be conducted from three aspects: (1) We will design deep models for blur kernel estimation to improve its efficiency and robustness; (2) Robust non-blind restoration model will be built on deep learning methods, along with a non-uniform deblurring framework; (3) We will analyze the connection of blind deblurring and blind super-resolution, and extend the proposed deep blind restoration models into blind super-resolution. This project can significantly improve the efficiency and robustness of blind restoration methods for practical applications. These studies also can deliver valuable insights for academic research in other low level vision tasks.

随着便携式成像设备的快速发展与多样化，图像数据随之爆炸式增长，亟待发展高性能图像盲复原方法。图像盲复原方法需同时估计模糊核与非盲复原清晰图像。现有的模糊核估计方法依赖于自然图像先验及经验地调节参数，非盲复原方法通常未考虑模糊核估计误差。此外，超分辨方法通常假设模糊核已知，针对盲超分辨问题鲜有相关研究。因此，本项目将：(1) 提出基于深度学习方法的盲复原模型与算法，以提高模糊核估计的鲁棒性与计算效率；(2) 提出稳健的非盲复原深度模型，提高复原图像质量，并发展非均匀复原方法；(3) 分析盲超分辨与盲去模糊问题的内在联系，将提出的深度盲复原模型扩展应用于盲超分辨。本项目的深度模型能够有效提高图像盲复原算法的计算效率与稳健性，为实际场景应用提供支持。研究成果对于深度学习方法在其他图像复原问题中的应用具有启发意义。

图像盲复原是底层计算机视觉的基础问题，近年来得到了广泛的关注和深入研究。一方面，随着深度学习技术的发展，如何设计有效的深度模型以提升复原性能至关重要。另一方面，现有深度复原模型的训练基于监督学习，依赖于大量的成对训练数据，在真实场景鲁棒性和泛化性方面存在一定的瓶颈。..针对以上问题，本项目提出了面向图像去模糊、超分辨、去雨去噪等复原任务的深度模型与自监督学习方案：.(1) 基于传统复原模型提出信度项和正则项的联合学习模型，实现了图像去模糊、去雨、去噪、超分辨任务的统一学习框架，其中正则项可学习自然图像先验，信度项可学习复原任务相关信息；.(2) 针对现有深度复原网络结构越来越复杂造成计算代价较大的问题，提出了渐进循环复原网络，仅利用基础网络模块与较少的网络参数取得优异的复原性能，同时保证较高的计算效率，在图像去雨、去噪等任务加以验证；.(3) 基于渐进循环网络，提出了双边循环复原网络以建模图像退化层与背景层的信息交互机制，能够有效提升复原方法的泛化性和鲁棒性；.(4) 针对现有深度复原网络的监督学习依赖于大量的成对训练数据，提出了图像盲复原的自监督学习框架与优化算法，能够从退化图像学习退化过程先验和清晰图像先验，避免了对大量训练数据的依赖。..在项目支持下，发表IEEE T-PAMI、T-IP、T-CYB等国际期刊和CVPR、ICCV、AAAI、ICASSP、ICIP等国际会议论文9篇，获得黑龙江省自然科学一等奖(项目负责人为第5完成人)。参加国际会议5人次，培养硕士生3名。