光场数据下的深度估计及显著性检测研究

Light field imaging records simultaneously location and direction information of light radiation in certain 3D scene during data acquisition. The acquired information includes geometry and reflection characteristics of the scene and is important for solving complex visual perception tasks such as depth estimation and saliency detection. In the project, we do depth estimation and saliency detection by taking advantages of specific features of light-field data such as refocusing, all-in-focus and multi-view, which provides computational structures and processing methods for related visual applications. To map light field images to the depth map, we build deep convolutional networks using micro-pixel and epipolar-plane images. By using these networks, we can further explore the relations between low-dimensional images of light field data and the disparity. Using the depth and location information as prior knowledge, we build multi-cue deep convolutional networks for light-field saliency detection. To refine pixel-wise labels and improve the accuracy of depth estimation and saliency detection, we build feedforward and feedback deep neural networks to establish structural association between the predictive map and ground-truth labels. The project has great theoretical and practical values on the development of light field theories and visual applications.

光场成像过程能够同时记录光辐射在空间中的位置和方向信息,获取的数据反映了3D场景的几何和反射特性,对解决深度估计和显著性检测等复杂视觉感知任务有着重要的价值。本项目以光场数据为研究对象，以光场图像表征为主线，以重聚焦、全聚焦和多视角特性为核心，形成光场数据下的深度估计及显著性检测方法，为拓展光场数据的视觉应用提供新的计算结构和处理方法。挖掘光场低维表征图像与视差之间的关联，构建子孔径图像和EPI的深度卷积网络，形成光场图像到深度图的映射；以光场深度信息和位置信息为先验，构建多源光场信息的深度卷积网络，形成光场数据的显著性检测方法；挖掘像素级预测图与真值标记空间的结构关联，构建前馈级联式和反馈连接式神经网络，形成像素标记优化方法，提升深度估计和显著性检测的执行效果。本项目研究对推动光场理论的发展、促进光场数据的视觉应用具有重要的理论和现实意义。

显著性检测一直以来都是计算机视觉领域的关键问题之一，其在视觉跟踪、图像压缩和目标识别等方面有着非常重要的应用。基于传统 RGB 图像和 RGB-D 图像的显著性检测易受复杂背景、光照、遮挡等因素的影响，导致在复杂场景下的检测精度较低。光场数据记录着空间光线的位置信息和方向信息，隐含着场景的几何结构，能为显著性检测提供可靠的背景、深度等先验信息。本项目针对在复杂场景下的显著性检测和深度估计问题，采用深度学习的先进技术，提出了若干创新方法。主要研究内容有：（1）为了深入探索光场数据的空间特性和多视角特性对显著性检测的作用，提出了一种基于微透镜图像的显著性检测算法，进一步提出了基于双通道融合的光场显著性检测算法，建立以微透镜图像阵列及中央视角图像为输入的双流网络。（2）为了提高光场显著性检测的稳健性，设计一种基于生成对抗网络的光场显著性检测模型，有效融合不同重聚焦序列的特征信息。（3）为了充分高效地利用光场特性，提出一种基于数字重聚焦数据增强的显著性目标检测网络，融合颜色、方向、聚焦、边缘和深度特征，实现了高效的显著性目标检测。(4) 为了减少计算量的同时又高效地学习出有效特征，设计了一种基于 EPI 约束的全视角输入与多尺度特征学习的光场深度估计网络，同时针对光场数据的多路输入特点搭建了特征融合模块，并利用前后互连的网络结构整合神经网络的前后层信息，提升网络的学习效率和性能。研究的内容和方法为光场相机的信息处理提供了核心技术支撑，具有重要理论意义与实用价值。