基于图像的室外场景光影分析与编辑.

Image based illumination and shadow analysis is a hot research area of computer graphics and computer vision, which tries to get illumination and shadow information from images. Based on the analysis result, the study of illumination and shadow editing can be carried out to generate new images with different illumination conditions. The results of this research have the potential to be widely used in military exercises, augmented reality and so on. Outdoor scene is the main place for human activities, so the study of image based illumination and shadow analysis and editing of outdoor scenes is very meaningful, however, most existing methods focus on indoor scenes; just a small number of works are designed for outdoor scenes, but these works usually need special assumptions, which reduce their accuracy and stability. This research is intended to solve the problem of image based illumination and shadow analysis and editing of outdoor scenes. Firstly, improving the accuracy of existing illumination analysis methods by considering the illumination from surrounding objects; secondly, editing the illumination condition of outdoor scenes based on a sparse set of images without capturing a huge amount of sampling images in different illumination conditions or knowing the geometry of the scene; thirdly, researching shadow synthesis of outdoor scenes for image based relighting, which can fill the research gap.

基于图像的光影分析是计算机图形学、计算机视觉的重点研究方向之一，主要研究如何从图像中提取场景光照及阴影信息，在其研究基础上又可进一步开展对于图像光影条件的编辑，以合成场景在全新光照条件下对应的新图像，在军事演习、增强现实等领域均有广泛的应用前景。室外场景是人类活动最为频繁的场所，对其进行光影分析与编辑研究意义重大，但是，当前工作大多适用于室内场景；少数对于室外场景的研究又需使用特殊假设，在准确性和稳定性上遇到了较大的挑战。针对这些问题，本项目提出一套对于室外场景光影条件进行分析与编辑的方法。首先，综合太阳光、天空光和环境泛光建立光照模型，并基于此模型进行光照分析，消除了现有方法由于忽略环境泛光带来的分析误差；其次，提出一种基于稀疏采样图像的室外场景光照编辑方法，利用少量图像实现对于场景所受太阳光和天空光光照因素的分离以实现新光照条件对应图像的生成，无需对同一场景进行不同光照条件的密集采样或是提供场景的几何信息；最后，研究面向图像重光照的室外场景阴影重新合成方法，填补当前研究在此领域的空白。

基于图像的场景光影分析和编辑是计算机图形学、计算机视觉的重点研究方向之一，其目的在于根据输入的图像估计图像对应场景中的光照分布和阴影位置，并基于这些信息赋予图像全新的光影条件，研究成果将在增强现实，多媒体娱乐等领域有着广泛的应用前景。但是，基于图像的场景光影分析和编辑存在着信息高度缺失，求解难度大的问题。本项目针对上述问题，在以下三个方面展开研究：首先，研究了基于图像的场景光照分析问题，分别提出室内、室外场景光照估计方法，这些方法考虑了直接光照和间接光照因素，可得到较为全面的光照分析结果；其次，研究室外场景阴影分析问题，提出了基于光流追踪的阴影边缘检测算法框架，用以检测移动视点视频的阴影边界，并据此提出了一种虚实物体融合时的阴影交互方法；最后，研究了基于单幅图像的场景光影编辑问题，借鉴已有研究方案，将光影编辑问题转化为场景几何、材质估计问题，提出了基于单幅RGB-D图像的本征图像分解方法，并用生成对抗网络从单幅图像中估计场景法向图。