计算摄像中多视场光场高精度成像方法研究

Light field research, as the core research area of computational photography, which has a wide range of applications such as in aerospace , military, medical , education, film and television and public security. Aiming to solve the problem lie in the current research of light field imaging, i.e., single field of view, low accuracy of 3D-modeling and poor resolution of light field images, this project focuses on the study on high-accuracy light-field imaging system with multi-field of view. Firstly, we utilize an annular mirror and micro lens array as the main optical component. After optimally design of the optical path and parameters, light filed data with multi-field of view would be captured simultaneously. Secondly, based on the principle of light field imaging, the computational model for object depth estimation is established. Furthermore, based on the obtained depth map, digital re-focusing and object 3-D modeling algorithms will be developed. Finally, we propose a light field super-resolution algorithm based on Fourier Slice Theorem. By this approach, the confliction between the spatial and angular resolution would be dissolved, and high-resolution of image reconstruction would be achieved.

光场研究，作为计算摄像学的核心研究领域，在航天、军事、医疗、教育、影视、公共安全等领域有着广泛的应用。针对现有光场成像技术面临的视场单一、建模精度不高、成像分辨率低下等问题，本项目着眼于计算摄像学中多视场光场高精度成像这一热点问题展开。提出多棱面环形反射镜＋微透镜阵列进行多视场光场采集的成像方法，通过对光路和光学元件进行优化设计，实现高质量的多视场光场采集；同时，基于多视场光场采集原理，建立目标景物深度估计的计算模型，提出完整的多视场深度信息提取方案，并基于深度信息，开展数字重聚焦算法和对象三维建模的研究。最后，提出基于傅里叶切片理论的光场超分辨率方法，解决光场成像空间-角度分辨率之间的矛盾，实现高精度的光场图像重建，从而提高了对成像目标的重建精度，对多维景物的采集、重构和内容生成机理等方面的研究也起到重要的作用。

针对现有光场成像技术面临的视场单一、建模精度不高、成像分辨率低下等问题，本项目着眼于计算摄像学中多视场光场高精度成像、高精度光场采集、光场图像分析处理及光场图像应用展开，项目开展了多视场光场采集系统设计及其原型系统搭建工作，并针对性的进行小型化、移动化系统设计，进而搭建了基于手机成像的多视场光场成像系统。项目针对多视场解耦光场重聚焦方法开展研究，实现了图像的重构恢复，解耦得到多视场的超分辨光场图像；项目提出了一种新的针对光场的场景深度估计方法，该方法不需要事先根据经验计算深度估计值的置信度，大大提高了深度估计的准确度。项目开展光场混合系统图像超分辨方法研究，将空域单幅高分辨图像与光场图像相结合，从而得到高分辨率的光场图像，实现了图像的超分辨。在光场图像分析方面，项目开展了面向光场应用的基于稳定点视差传播的立体匹配方法，以及基于相似性计算的光场图像非局部均值去噪算法研究。所提出的基于稳定点视差传播的立体匹配方法，一方面由于减少了匹配点的个数，提升了立体匹配速度，另一方面，提高了匹配点的稳定性，从而提高了匹配精度。所提出的的基于相似性计算的非局部均值去噪算法模型，能有效去除光场图像获取中产生的噪音，实现光场图像的高质量获取。在光场图像的应用方面，主要是开展了基于光场图像的显著性检测以及利用光场图像进行高光图像修复方法的研究。我们利用利用光场图像的景深较大，并且具有丰富的聚焦度信息、深度信息和物体完整度信息的特点，将背景准确地检测并分离出来，显著性检测更为精确； 此外，基于光场的高光图像修复方法。利用联合散焦和立体视点匹配进行光场图像深度估计，进而去除镜面反射高光分量，该方法检测去除精度高，速度较快，取得目前最好的结果。