高角度分辨率光场数据获取与图像生成方法研究

In the past decade, light field imaging greatly extends the imaging abilities of traditional photography. However, the applications of light field imaging are limited by the low image quality and aliasing artifacts, which can be traced back to plenoptic sampling tradeoff between angular and spatial domain. To break this tradeoff, we intend to improve the focus plenoptic camera by replacing the traditional aperture by a coded aperture, which can obtain more angular information without losing spatial resolution. After the light field acquisition, we propose a high precision global optimization based depth estimation approach, in which we fuse multiple depth cues in a uniform framework. Then, we propose a depth aware super-resolution method to lift the angle resolution of light field. In this project, we give a theoretical model to explain the relationship between aliasing effect and angular down-sampling in spatial domain. On the basis of high quality light field, we will generate more better light field image, while the aliasing artifact is reduced in the rendering stage. One major contribution of this work is breaking the tradeoff of light field sampling. The other is that we find a new way to achieve sampling high angular resolution without sacrificing spatial resolution. In summary, this research is an intersection between light field imaging and optical wavefront coding, which can significantly advance our understanding of light field imaging theory and methodology of computational photography. The straight forward outcomes of the proposed work are improving the light field imaging quality. The potential outcomes of this work can extend applications in many areas, such as light field rendering, stereoscopic imaging, free viewpoint video and so on.

光场成像技术是对传统成像模式的突破性创新。但现有采集设备获得数据的角度分辨率较低，导致光场图像质量下降，限制了光场成像技术的广泛应用。本项目将构建编码孔径与微镜头阵列结合的光场采集装置，在估计场景深度信息基础上实现角度超分辨重建，实现高质量光场图像的生成。具体的研究内容包括：1）研究编码孔径结构和装置内参数的优化设计方案，实现高角度分辨率光场数据的获取。2）研究场景深度与光场角度分辨率之间的耦合关系，建立基于深度先验的角度超分辨重建模型。3）研究角度分辨率与光场图像混叠现象之间的量化关系模型，寻求利用超分辨角度信息检测和去除图像混叠的方法。创新之处在于突破现有光场采集的折衷瓶颈，揭示深度信息与光场角度信息之间的本质联系，达到生成高质量光场图像的目的。本项目属于计算机视觉领域的基本理论与方法研究。研究成果对丰富光场成像理论体系、创新光场采集方法、推动光场成像技术的广泛应用具有重要作用。

光场成像技术是对传统成像模式的突破性创新。但现有采集设备获得数据的角度分辨率较低，导致光场图像质量下降，限制了光场成像技术的广泛应用。本项目将构建编码孔径与微镜头阵列结合的光场采集装置，在估计场景深度信息基础上实现角度超分辨重建，实现高质量光场图像的生成。在高角度分辨率光场获取方面，项目组首先搭建了基于硅基液晶的编码孔径光场获取软硬件平台，并对其进行了精确的标定。在深度获取方面，项目组提出了遮挡模型引导的光场去遮挡深度估计，基于摄像机阵列的前景遮挡去除及深度估计模型。在超角度分辨率光场数据重建方面，本项目提出了一种基于压缩感知的编码孔径设计方案，并且构造了满足压缩感知的随机矩阵，利用光场图像在梯度域的稀疏特性，通过对代价函数的优化求解获得了高角度分辨率的光场。在光场图像质量提升方面，项目组提出了一种基于随机遮挡孔径的角度域图像混叠检测方法，进而提出了基于混叠检测的共聚焦图像抗混叠处理方法，提高了共聚焦图像的生成质量。在此基础上，提出了场景深度无关的虚拟孔径图像鬼影去除算法，进一步提高了光场图像质量。针对计算摄影术中普遍存在的外点问题，项目在凸优化理论基础上，提出了一种基于惩罚线性回归的外点去除算法，有效去除了外点干扰。此外，研究组还开展了多个扩展技术与应用的研究，如光场超像素分割，基于光场的无人机稳像等. 在本项目资助下，研究组申请发明专利6项，发表学术论文7篇，其中SCI二区期刊论文4篇，CCF认定的A类会议1篇。培养了1名青年教师且获得了自然科学基金青年基金资助，培养了3名博士研究生和2名硕士研究生。将项目中提出的方法与具体应用结合，获批了2项省部级科研项目。