基于光场图像极面特性的场景信息提取技术研究

Light field images contain multiple-view information of scenes from different directions, which broke the limitations of traditional images in spectral range, dynamic range, field of view and focus range, and provided new ideas and challenges for the extraction of scene structure, details, view angles and other information, as well as the further scene perception and understanding. This project focuses on the scientific problem of scene information extraction by analyzing the light field epipolar plane character in multiple directions. We try to precisely extract the epipolar lines of epipolar plane images in occluded and noisy regions, and study their applications in depth estimation, super-resolution and view synthesis. Specifically, this project tries to supplement the spatial detail information from the angular detail information in multiple directions, and obtain more view angle information based on the micro-lens images and the spatial information in multiple directions. Furthermore, this project tries to design related models by combining the convolutional neural network technology, which is able to explore the corresponding relations of different view images and improve the spatial and angular resolution of light field images. The estimated depth information and more view images with higher resolution can provide powerful technical support for the development of new light field applications and have broad application prospect.

光场图像包含了场景不同方向的多视角信息，打破了传统图像在光谱范围、动态范围、视野范围以及聚焦范围等方面的局限，为场景结构、细节、视角等信息的获取以及进一步的场景感知和理解提供了新思路和新挑战。本项目围绕场景结构、细节、视角信息的提取这一关键问题开展相关技术研究，通过对光场图像的多方向极面特性进行分析，尝试在遮挡、噪声等区域下准确提取极面图像中相应极线特征，并在此基础上研究其在深度估计、图像超分辨及视角仿真中的应用。本项目拟基于光场在角度领域的多方向信息对空间领域信息进行补充、基于微透镜图像结合不同方向空间信息获取更多角度信息，并在此基础上设计相关模型，结合卷积神经网络相关技术充分挖掘不同视角图像间的对应关系，提高光场图像的空间和角度分辨率。所获得的场景深度信息以及数量更多、分辨率更高的视角图像为光场图像相关应用的发展提供了技术支撑，具有广阔的应用前景。

如何基于光场图像进行场景结构、细节、视角信息的准确提取一直是光场相关应用发展的关键问题，其中如何分析并有效地利用光场的多方向极面特性更是相关研究的瓶颈和难点。本项目依照研究计划，通过对光场图像的多方向极面特性进行分析建模，结合微透镜图像、极面图像、视角图像等不同的光场图像形式，利用注意力机制、多分支、3D卷积、密集残差等神经网络相关技术，针对深度估计、图像超分辨及视角仿真等相关任务开展了深入的研究, 达到了预期目标。所提出的方法能够1）准确地感知噪声、遮挡等复杂场景下的场景结构信息，2）灵活地将密集采样的角度域信息补充到空间域实现像素细节的恢复，3）通过将有高频细节的空间信息补充到角度域实现不同视角下视图的仿真。在各种具有挑战性的场景中的结果表明，充分利用光场的多方向极面特性可以极大地提升光场图像的角度及空间分辨率，更好地感知到场景的细节信息、深度信息等，为光场图像的应用提供了技术支撑。此外，相关研究也进一步证明了光场图像在遮挡去除、显著性检测、低光照增强等方面具有较大的潜力，为进一步的场景识别和理解提供了新思路，具有重要的研究意义及广阔的应用前景。