多聚焦光场成像的动态扩展景深原理与技术研究

Multi-focus light field camera can expand the physics depth of field in light field camera,and also can improve the spatial resolution for it is a new trend for light field camera.Focusing after taking is the notable features of light field camera, so it can produce image with large depth of field using large aperture lens.Therefor light field camera is the hot spot in recent years.The project is intended to research the physical methods and software methods for extend the depth of field in multi-focus light field camera，and to explore new avenues to achieve the expansion of dynamic depth of field. The research object of this project are the variation of depth of field and image pixel distribution.The quantitative relationship between the microlens parameter changes and depth of field changes are researched for calculation and depth magnification.By studying the changes in distribution of image pixels caused by the object point position variation，the contact between the pixel coordinates and the object point information，both the position information and the direction information，is obtained.Finally, explore ways to realise algorithmuse of depth-of-field dynamic control by using the direct mapping between the image pixels and the primary mirror aperture.Software is used to simulate and analys the imaging theory derived, and experimental platform is set up to verify the results.A brand new method will arise to parameterize the light field using slide if this project carries out smoothly. For the more, a new technologye combining hardware and software will be provided for dynamical extendtion depth of field.Results of this project will provide both the theoretical basis and experimental evidences for design different structure multi-focus light field camera.In addtion, they provide ideas and quantitative basis for the realization of full light field imaging.

多聚焦光场相机能扩大光场相机的物理景深，提高空间分辨率，是发展的新趋势。光场相机可以先拍照后聚焦，用大孔径镜头获得大景深图像，是近年来研究的热点。本项目拟针对多聚焦相机扩展景深的物理方法和软件方法开展研究，探索实现动态景深扩展的新途径。项目以景深变化和图像像素分布变化为研究对象。通过研究微透镜参数的变化和景深变化之间的定量关系，得出景深计算公式和景深放大倍率公式，得到扩大物理景深的方法。通过研究物点位置变化引起的图像像素分布的变化，得到物点位置信息和方向信息与像素坐标之间的联系。最后研究利用图像像素与主镜孔径之间的直接映射，实现景深动态控制的算法。项目用软件仿真辅助理论分析，搭建实验平台验证结果。项目的顺利开展，将实现多聚焦光场光片参数化的方法，并提供软硬件结合的动态扩展景深新技术。项目的结果，为实现不同结构的多聚焦光场相机，提供理论基础与实验依据；为实现全光场成像，提供思路与定量依据。

自2005年以来光场相机（light field camera）先拍照后对焦，一次拍照获得全部目标信息的强大成像能力受到国内外研究人员的极大关注，光场成像逐渐被认为是一种革命性的成像方法。光场成像的多信息图像处理功能非常强大，在科研、军事和民用等领域需求广泛。十几年来光场成像机理、成像设备的研制以及光场信息提取方法等方面的研究发展迅速，已报道出多种实现方案，拓展出计算成像等研究新领域，其原理也被应用于光谱成像研究之中。随着研究和应用领域的扩展，光场图像空间分辨率低、深度信息提取算法复杂等不足逐步突显，成为制约该方法发展的瓶颈。项目研究造成光场图像空间分辨率低的物理机制和制约因素，用ZEMAX和ASAP软件建立了光学仿真模型，结合光场成像实验结果，可视化分析制约机理，探寻提高光场图像成像质量的有效途径。项目探究了光场成像原理，研究了微透镜直径、覆盖像素数、物距与像距等关键参数对图像空间分辨率和角度分辨率的影响。结果表明，光场相机的结构决定了成像的空间分辨率和光线方向分辨率，而光线方向分辨率影响深度估计的精度，微透镜的形状影响有效图像分辨率，这是光场成像模型与传统成像模型的本质区别。项目探讨了光场图像的深度提取原理和方法，比较了Lytro1.0型、Adobe2.0型和Raytrix多聚焦型光场相机三者的异同。研究表明，傅里叶切片技术、模板匹配方法、多聚焦散焦法等方法都可以实现光场深度估计，多聚焦散焦法深度估计精度最高。项目提出了基于二消失点的自标定方法和主动视觉变焦自标定方法，前者仅需要包含两组正交平行直线的场景，视点不同的四幅图像，就可以计算出相机四个内参数，精度接近于Halcon标定板法。借助变焦相机主动视觉自标定，项目实现了变焦相机的图像拼接，这是实现多聚焦光场的基础。项目在研究光场深度估计和数字重聚焦方法的基础上，实现了动态扩展景深、depth_from_focus与数字重聚焦结合的光场三维重建工作，完成了具有高空间分辨率的压缩感知光场的多视角重建。综上所述，资助项目顺利完成。