复杂场景下图像和视频的阴影消除与编辑技术研究

Shadow occurs when the light is blocked. The brightness in shadow regions is lower than that in other regions. The low brightness may degrade the quality of image and video, which affect the accuracy and effectiveness of tasks such as object recognition, tracking and segmentation. Therefore, shadow processing in image and video is an important task in computer vision. Taking shadows in the complex scenes as the research object, the main contents of this project are as the following: (1) image shadow removal based on generative adversarial nets; (2) video shadow removal based on time-space consistency; (3) shadow editing based on physical consistency. This work will propose methods to solve the key problems of shadow removal and editing for the complex scene. A robust image and video shadow processing platform will be constructed to produce satisfactory results for removing and editing shadows in the complex scene.

阴影是光在直线传播过程中被物体遮挡而产生的一种自然现象。通常阴影区域亮度比周围环境低，这种低亮度的特点会影响图像或视频质量，降低诸如物体识别、跟踪、分割等任务的准确性和有效性。因此，对图像和视频中的阴影进行有效处理是计算机视觉的一项重要任务，其不仅有重要的理论研究意义和广泛的应用前景，同时其研究又具备挑战性。本项目以复杂场景中的阴影为研究对象，主要研究如下三方面内容：（1）基于对抗神经网络的图像阴影消除；（2）基于时空一致性的视频阴影消除；（3）基于物理一致性的阴影编辑。本项目以复杂场景的阴影处理为出发点，为图像和视频的阴影消除与编辑提供可行的研究方案，并解决复杂场景的阴影消除与编辑过程中的关键技术问题。项目旨在提供高效、可信、符合用户需求的阴影处理技术，构建一个鲁棒的图像和视频的阴影处理平台。

随着互联网技术和自媒体的发展，图像与视频也广泛成为人们日常生活和工作中的信息载体。在获取图像视频过程中，常常会受周围环境的影响，产生不确定的阴影，从而使光照效果无法满足人们欣赏需求和研究需要。另外，阴影区域的亮度通常比其他区域低，这种低亮度的特点会降低图像视频的质量，影响信息的识别率，从而对其他计算机视觉任务的准确性造成影响。因此，图像视频的阴影消除与编辑是计算机视觉的一项基础性问题，其不仅有重要的理论研究意义和广泛的应用前景，同时其研究又具备挑战性。项目以图像和视频的阴影为对象展开研究，首先利用图像中残差以及亮度信息构建阴影消除模型，并扩展到视频阴影消除；然后基于上下文之间的关联性构建模型用于图像阴影消除，并扩展到图像的阴影编辑；最后，我们基于图像协助伪标签生成构建了一个半监督视频阴影检测方法。