复杂环境下的监控视频增强技术研究

Surveillance video is important in many applications, such as criminal investigation and target monitoring. However, the surveillance equipment is based on normal visibility and is difficult to identify the scene target in the event of bad weather or complex environment. Therefore, it is important to study the video enhancement in the complex environment. In this project, we develop core technologies for surveillance video enhancement in complex traffic scenes. First, we study image dehazing problem by using semantic segmentation to guide image dehazing, so that the dehazed results have more realistic scene context; Second, we research on video deblurring by combing optical flow estimation and video deblurring in a unified network, so that the optical flow could be used as motion kernel; Finally, we investigate video super-resolution problem by proposing a hybrid network in which 3DNN is used for ensuring temporal coherence and RNN is used for extracting spatial features. By fusing the temporal and spatial features we can obtain high-quality video super-resolution results.

监控视频在案件侦查和目标监控等诸多领域都有重要应用。但监控视频采集设备多以晴天等正常能见度为前提设置运行，遇到恶劣天气或者存在模糊等情况则无法有效辨识场景目标。自然地，关于监控视频在复杂环境下的视频增强关键技术研究则显得尤为重要。本课题拟从监控视频常见的退化问题出发，为监控视频的增强技术和高质量恢复提供新思路。本课题拟从三个方面深入展开研究，包括1）图像去雾研究：通过结合语义分割使网络模型更好的理解场景内容，进而恢复更为真实的去雾结果；2）视频去模糊：为了有效利用视频帧间的运动信息来促进视频去模糊，将光流估计和视频去模糊结合在一个框架中，利用光流特征模拟运动信息，提高视频去模糊的准确度；3）视频时空超分辨：提出基于混合网络的视频超分辨重建框架，利用3D卷积提取视频时序连续性特征，同时利用循环卷积网络提取图像空间边缘特征，通过融合时序和空间特征获得高质量的视频时空超分辨重建。

在项目执行期内，主要针对复杂环境下的监控视频质量退化问题，应用视觉信息处理相关的视频质量恢复问题，研究多种因素造成的低质量视频恢复，包括图像雾霾去除，运动补偿视频去模糊，图像超分辨，等问题，提出了一系列低质量图像和视频的去模糊，去雾霾，以及低光照增强等算法。作为本项目负责人，一共发表了10篇论文，其中8篇为第一作者或者通讯作者。发表论文中8篇为SCI论文，6篇为SCI一区IEEE Trans论文。另外，以通讯作者在CCF-A类会议发表了4篇会议长文论文。在项目执行期内，分别提出了基于空间异变循环神经网络的动态图像去模糊；基于全局边缘约束的多尺度图像去雾网络；基于深度混合网络的暗光图像增强；语义分割辅助的视频去雾方法；基于三维结构先验知识的人脸去模糊等几种不同的视频质量增强算法等。项目执行期内申请了国家发明专利3项，获得省部级技术进步一等奖1项。 研制了一套复杂城市环境的图像增强原型，相关成果在腾讯、滴滴、和国家多个安全部门开展应用。