基于情境感知的自适应高逼真视频雨滴去除关键问题研究

Digital video monitoring system is an important tool of city security and intelligent management. Due to the impact of rain weather, outdoor video monitoring system faces great challenge of false positive,false negative and false alarm. Hence, rain removal from monitoring videos is a key issue that must to be solved. However, the current technology has bad robustness, low detection accuracy and poor restore performance, which is insufficient for practical requirements. In this proposal, we plan to research the technology of rain removal from videos deeply based on raindrops imaging physical model. Against the difficulty of rain streaks detection cause by the inconsistency issue of prior informations, we get key prior information effectively by the method of Context-aware Segementation/Categorization and propose the rain streaks detection algorithm based on morphological component analysis (MCA) and bilateral filtering for the automatic rain streaks detection. Aimed at solving the discontinuity issue of the raindrops imaging results in different focal plane, we propose a new restore algorithm of rain pixels which can realize the high-realistic restoration of videos by the local and discontinuity restore function. The achievement of this project will realize the self-adapting and high-realistic rain removal from massive outdoor monitoring videos, provide the important references for other weather factors removal technologies and deepening the practical application of the video monitoring system in stable and harmonious city construction.

视频监控系统是城市安全、智能管理的重要工具。由于受雨水天气的影响，户外视频监控系统正面临着漏报、错报及虚警等一系列严重性问题，使得监控视频中的雨滴去除成为当前亟待解决的关键性问题。针对当前雨滴去除技术普遍存在的鲁棒性差、雨线检测精度低、图像恢复能力弱以及实际应用困难等问题，本项目拟基于雨滴的物理成像模型和退化模型对视频雨滴去除技术进行深入的理论研究。针对雨滴视频图像中先验信息不一致性所带来的雨线检测困难等问题，我们采用了情景感知分类算法获取雨滴的关键先验信息，并提出了基于双边滤波和形态成分分析的自适应检测算法以实现雨线的自动检测；针对不同成像平面上的雨滴成像的不连续性的问题，提出了基于雨雾成像模型的局部非连续的雨滴恢复方程以实现视频背景的清晰化。本项目的完成将实现户外监控视频系统的自适应高逼真雨滴去除，并为其他天气因素去除技术提供重要参考，深化视频监控系统在和谐安定城市建设中的广泛应用。

视频监控系统是城市和谐与安全、智能管理的重要手段与工具。由于受雨水等恶劣天气的影响，城市户外视频监控系统正面临着漏报、错报及虚警等一系列严重性问题，使得监控视频中的雨滴去除成为当前亟待解决的关键性问题。针对当前雨滴去除技术普遍存在的鲁棒性差、雨线检测精度低、图像恢复能力弱以及实际应用困难等问题，本项目拟基于雨滴的物理成像模型和退化模型对视频雨滴去除技术进行深入的理论研究。针对雨滴视频图像中先验信息不一致性所带来的雨线检测困难等问题，我们采用了情景感知分类算法获取雨滴的关键先验信息，并提出了基于双边滤波和形态成分分析的自适应检测算法以实现雨线的自动检测；针对不同成像平面上的雨滴成像的不连续性的问题，提出了基于雨雾成像模型的局部非连续的雨滴恢复方程以实现视频背景的清晰化；主要研究内容包括：1) 雨滴物理成像过程及关键先验信息研究；2) 研究基于情景感知和形态成分分析的复杂雨线检测算法；3) 建立基于雨雾成像模型的视频雨滴去除的恢复方程；4) 开发具有雨滴去除功能的实验仿真平台。在项目实施的过程中主要在以下几个方面取得了一些突破性进展，主要包括: a) 弄清楚了雨滴的物理成像规律；b) 开发了基于情景感知的自适应雨线检测算法；c) 构建雨滴像素的恢复方程及其方程参数的有效估计；另外，在基于雨滴的物理成像特性研究上，我们在国际上提出了"雨线形成模型"算法，取得比传统算法更优的雨滴检测效果；本项目的完成将实现户外监控视频系统的自适应高逼真雨滴去除，并为其他天气因素去除技术提供重要参考，深化视频监控系统在和谐安定城市建设中的广泛应用。