图像/视频去雨关键理论与算法研究

Bad weather often leads to the degradation of the images/videos collected by the outdoor vision systems and decreases the performance of the systems. To improve the reliability of the outdoor vision systems, it’s necessary to model and analyze the collected images and eliminate the adverse effects from bad weather. Compared to the degradation caused by other bad weather (e.g. fog, haze), the current research on how to enhance the image distorted by rain is not mature. So this project will study the impact of rain on images/videos and solve the key problems during the process of images/videos de-raining, including: 1) for the rainy image with consistent direction, how to leverage the intrinsic difference to separate the rain layer and image layer; 2) for the rainy image with raindrops, how to characterize the impact caused by the raindrops and how to eliminate the impact; 3) for the rain in videos, how to establish an optimization model to eliminate the rain by considering redundancy information of the video and the distribution of rain. Besides that, this project will collect a large benchmark dataset which can be used for objective evaluation of a variety of current and future rain image quality enhancement algorithms. The project is of great significance to improve the robustness of outdoor vision systems and the effectiveness of video surveillance systems.

恶劣天气往往会导致户外视觉系统所采集到的图像或视频质量下降，从而影响系统的准确性。为提高户外视觉系统的可靠性，需要对恶劣天气下采集到的图像进行分析建模，以消除天气对采集到的数据的不良影响。当前国内外研究中，相比其他天气（雾霾等），恶劣天气中的雨水天气下的图像增强算法尚不成熟，因此本项目将研究雨水天气对图像/视频数据的影响，分析视频和图像去雨过程中所存在的关键问题，包括：1）针对规则雨图，如何利用雨图中雨层与图像层在全局上的内在属性差异将两者分离；2）针对雨图中存在的各种不规则雨滴的存在，如何刻画雨滴对图像所造成的影响进而消除这些影响；3）针对视频中的雨，如何结合视频的冗余信息和雨的分布特性，建立最优化模型进行雨的消除。此外，本项目还将建立一个大型的基准数据库，用以客观评价当前及以后的各种雨图质量增强算法。本项目对提高户外视觉系统的鲁棒性及视频监控系统的有效性具有重要意义。

本项目主要研究雨天图像/视频增强技术，针对雨天所拍摄的图像/视频进行分析建模实现图像增强。本项目取得的主要研究成果包括：1）针对一些有着各种不规则雨滴存在的雨图，分析图中雨滴存在对图像所造成的影响，设计出了合理的算法模型，消除了雨滴所带来的图像质量下降；2）面向雨线图像，分析雨层与清晰图像层的内在属性差异，寻找刻画其差异属性的系统，设计了相应的算法模型，很好地分离出了雨层与清晰图像层；3）面向具有缺失值的视频张量数据，利用张量的局部特性及子块间的冗余性，设计了基于卷积字典的视觉张量填充算法，对因雨线或者雨滴造成的有雨视频的恢复填充提供了很好的思路；4）构建了一个总共包含3000对图像共6个场景的去雨滴基准数据集，为后续图像去雨滴任务及去雨滴效果的客观评价提供了数据支持。.本项目研究按计划执行，按期完成了研究内容，在很多方面取得了较好的研究成果，达到并在某些方面超过了项目申请书的预期目标。具体来说：项目开展期间，共发表了高水平学术论文27篇，其中包括CCF-A类会议论文8篇、JCR-1区期刊论文11篇和JCR-2区期刊论文4篇；共申请了10项专利，其中授权发明专利5项；培养博士后1名，培养博士5名，硕士12名。