基于场景几何和语义结构分析的雾天图像复原技术研究

Depth estimation and restoration from haze/fog image can not only improve the image quality, but also generate valid visual and depth information for real outdoor sence understanding. Hence, it has very broad application prospect in the vision system. However, it still remains a challenging task due to the uncertainty of depth estimation, obstinate distortion and insufficient adaptability for dynamic scenes. In this project, we plan to research the haze image depth estimation and restoration in the basis of the geometric analysis and semantic understanding. The reserch content mainly include three parts: geometric and semantic feature extraction for hazy images; efficient restoration algorithm for multiple distortion haze image with geometric and semantic feature embedding; simultaneous scene understanding and restoration via multi-task learning. The proposed methods will be evaluated thoroughly on a new developed dataset with synthetic outdoor scene haze images. The research project will offer theoretical and experimental references for the precise perception and understanding in high-level vision tasks, and also provide technical support for various vision application problems under haze scene

通过雾天图像深度估计和复原技术提高图像质量，为户外真实场景理解提供有用的有效视觉信息和深度信息，在实际中有着非常广阔的应用前景。目前对真实雾天图像的复原面临着深度估计易混淆、失真难去除和模型难适应实际情况等问题。本项目拟结合高级视觉中几何分析和语义理解的技术理论，研究雾天场景下图像复原技术。重点研究面向雾天图像的几何和语义结构信息提取方法，基于几何和语义结构嵌入的多失真雾天图像复原方法，以及基于多任务学习的雾天场景理解和复原图像联合求解方法。建立面向户外场景的仿真雾天图像数据库，对提出方法进行实验验证和评估。本项目的研究将为高层视觉任务的精确感知理解提供理论和实验依据，为解决实际雾天环境下的视觉应用问题提供关键技术支撑。

深度数据不仅在图像去雾中起到重要的作用，而且在三维场景重建和场景理解方面有重大需求，在实际中有着非常广阔的应用前景。本项目围绕深度感知和图像复原问题开展研究。提出了一种基于耦合U型网络结构实现稀疏深度图像补全算法，对未知区域通过去除外点的方式获得准确的深度信息。该方法成果可以应用于激光雷达数据补全，应对夜间、雾天、低光照环境、不同季节下等传感器受限情况下的深度信息恢复问题。为了解决现有点云匹配方法难以实现一对一匹配问题，提出一种端到端的稠密点匹配学习方法。该方法可以用于非刚性和刚性三维点云配准，且能够推广到二维图像之间，图像和点云之间进行稠密匹配的场景。利用相机的卷帘效应，通过两帧连续卷帘帧可以恢复高帧率高清的全局快门帧序列。现有通过深度学习的方法通常绘产生空洞和运动伪迹现象。为此提出一种基于卷帘运动模型的方法，利用上下文信息利用遮挡、运动补充和时序抽象的优势，实现具有高保真度的视频帧序列重建。在本项目的支持下发表了3篇论文，包括IEEE signal processing letter期刊论文, IEEE Robotics and Automation Letters期刊论文，IEEE CVPR国际会议论文。