光场成像的轴向超分辨率方法研究

Light field imaging is well known for its “focus-after-shoot ” interactive image generation ability. The axial resolution is an important measurement of the digital refocusing capability. At present, one bottle-neck problem is the tradeoff between its spatial and angular sampling. This problem significantly deteriorates the image resolution and axial resolution, which limit the applications of light field imaging. So, we attempt to solve the low axial resolution problem by researching on the resolution model and axial super-resolution algorithm of the plenoptic imaging system. The major research contents include: 1) For the two-paralleled-plane light field imaging system, we tend to research on its sampling characteristics, data processing and imaging algorithm. Then, we would construct a non-linear axial resolution model, and explore its quantization and verification method. 2) Without changing the system optical design, we tend to research on light field data decoupling and axial super-resolution algorithm. To enhance the image quality, we will further explore the light field imaging optimization methods. This project belongs to light field imaging theory and approach study in computational photography. The light field axial super resolution is one of key problems to break through the resolution tradeoff in the data processing stage. Thus, the research contents have theoretical significance to light field imaging, and many potential applications can be benefited from this work.

光场成像具有先拍摄后聚焦的可交互式重聚焦能力，轴向分辨率是衡量其数字重聚焦性能的重要指标。现有光场成像系统存在成像分辨率折衷的瓶颈，导致光场图像质量不高，且重聚焦能力不足，从而限制了光场应用的拓展。本项目拟研究轴向分辨率模型及数据处理阶段的轴向超分辨率方法。主要内容包括：1）针对双平面模型光场成像系统，研究光场采样特性、数据处理过程及成像方法对轴向分辨率的影响，构建非线性轴向分辨率模型，并探索轴向分辨率特性的量化评价方法，以确定影响轴向分辨率的关键因素；2）在不改变硬件系统设计的前提下，研究高精度光场数据解耦及轴向超分辨率图像生成方法，并进一步探寻光场图像质量的优化方法。本项目属于计算摄影学领域的前沿理论与方法研究，旨在解决双平面光场成像系统轴向分辨率不足的问题，并为突破光场成像分辨率折衷瓶颈提供新的思路。研究成果对丰富光场成像理论、提升光场图像质量、拓展光场成像应用具有重要意义。

光场成像的轴向分辨率是衡量其数字重聚焦性能的重要指标。现有光场成像系统存在成像分辨率折衷的瓶颈，导致光场图像质量不高，且重聚焦能力不足，从而限制了光场成像应用的拓展。本项目旨在研究光场轴向成像理论以及相应的超分辨率方法。本项目的主要内容包括：1）研究光场采样特性、数据处理及成像方法对轴向分辨率的影响，分析光场轴向分辨率的模型以确定影响轴向分辨率的关键因素，并设计对光场轴向分辨率的测定方法。2）研究高精度光场数据解耦及轴向超分辨率图像生成方法，并进一步探寻光场图像质量的优化方法。3）研究基于光场数据的场景重建及优化方法。针对上述研究内容，本项目分析了光场轴向成像特性，并设计相应的轴向分辨率测定系统与方法。在光场超分辨率方面，依据压缩感知理论，本项目设计了基于编码孔径的高分辨率（空间/角度）光场获取方法，进而采用光场数据的梯度域稀疏特性，构建了光场超分辨率重建方法。在此基础上，本项目研究了光场成像的质量提升问题，并提出了光场抗混叠的优化渲染方法。在基于光场数据的场景重建方面，本项目提出了抗遮挡的场景重建方法以及多视几何中的惩罚线性回归外点去除方法。此外，本项目还开展了将光场成像技术进行应用和拓展的相关工作，如光场光谱成像和光场稳像等应用的探索。.截止报告之日，在本基金资助下项目组已申请相关发明专利5项，发表相关学术论文6篇，其中SCI二区期刊论文3篇（包括CCF认定的A类期刊1篇）。本项目协助培养了博士生2名，研究生3名。将本项目提出的理论及方法与具体应用结合，项目组又获批了省部级项目2项，并获批2019年国家自然科学基金面上项目1项。