基于重建点空间和权重场的光场成像理论与方法研究

The present project lays emphasis on the in-depth research into specific basic scientific problems related to imaging theory and methods of light field cameras, proposing improved theory for light field imaging and overcoming the limitations of existing light field camera technology. The existing imaging methods have been subject to certain restrictions on the essential improvement of key indicators such as spatial resolution, angular resolution and temporal resolution of light field cameras. The light field camera systems have large variations in the effective resolution within the depth of field of reconstruction, resulting in inconsistent depth resolution and distortion of the scene reconstruction. This project is designed to propose a light field projection imaging model under the reconstructed point space and the weight field based on the theory and method of image reconstruction from projection. We plan to deduce a unified mathematical description of the object space, the light field data space, the light trajectory, and the imaging space. A computational imaging method using reconstructed points correction and weight field optimization will be established. We aim to improve the depth resolution of the light field camera system as a core measure to provide highly reliable scene depth information and reduce distortion in the scene reconstruction. Thus, an imaging performance evaluation system of a light field imaging system and an optical geometric parameter calibration method of a light field camera are established. It is beneficial to the application of light field imaging technology to more important fields and forms light field imaging and 3D scene reconstruction technologies with original independent intellectual property rights.

本项目的着重点在于对全光场相机的成像理论与方法中的基础科学问题开展深入研究，改进光场成像理论并突破已有全光场相机技术上的局限性。现有的光场相机系统在重建景深范围内的有效分辨力变化较大，导致了重建的深度分辨力不一致，场景成像畸变失真。本项目拟基于由投影重建图像的理论和方法，提出重建点空间和权重场下的光场投影成像模型。推演物场空间、光场数据空间、光线轨迹、与成像空间之间统一的数学描述。建立采用重建点校正和权重场优化的计算成像方法，提高光场相机系统的深度分辨力这个核心衡量指标，提供高可靠性的场景重建深度信息，减少畸变与失真。研究建立光场成像系统的成像性能评价体系和光场相机的光学几何参数标定方法。该研究将推进光场成像技术在更多重要领域的应用，形成具有原创独立知识产权的光场成像与三维场景重构技术。

本项目将由投影重建图像的核心思想引入光场成像，对基于重建点和权重场的光场成像理论、方法和计算框架开展了研究，内容包括基于重建点和权重场的光场参数化表示、光场重建理论和计算成像方法、光场成像系统性能评价模型和几何参数标定方法等问题。取得的主要成果如下：..（1）理论上，在重建点和权重场思想下系统探讨了光场参数化表示、光场成像理论和重建方法。探究了光场和聚焦堆栈之间的正反演机制和成像模型，给出了仿射Radon变换和仿射Radon逆变换。同时，建立了基于扩散方程的光场参数化表示，并通过所提出的参数化光场建立了计算成像模型。..（2）方法上，项目基于重建点和权重场框架研究了视差估计方法的优化和光场数据处理方法。在视差估计技术方面，建立了多种优化模型，包括：使用卡尔曼滤波器从光场多方向EPI重建视差以实现抗遮挡和抗噪声；引入 YCbCr 颜色空间光场数据实现了基于光场数据单体化的高效视差重建；提出基于焦点流来减少透视放大引起的误差；结合场景的几何和物理信息引入不变量引导视差滤波。在光场数据处理方面，利用光场数据的空角耦合关系，通过对光场数据的稀疏化表达实现光场快速抠图；提出基于聚焦堆栈单体数据子集架构的全局成像，提高单体内部的重建精度并减少由物体边界深度跳跃带来的重建误差。在光场频谱分析和采样分析方面，给出傅里叶视差层的重构模型和视差重建的计算框架；利用光场的重参数化采样和频谱分析实现光场去噪方法。..（3）在技术应用上，研究了光场的多重视觉特征，提出了一种基于多视觉特征聚合学习的非参考光场质量评估方法。对聚焦型光场相机系统，提出了一种基于虚拟像点的聚焦光场相机几何参数标定，建立了从探测器角点计算虚拟像点的反问题，并利用Levenberg-Marquardt算法迭代求解几何参数。对于聚焦堆栈成像系统，将焦平面成像参数设置为成像系统的预置位置，通过二阶梯度和特征点密度来描述预置位测试的聚焦程度。 ..本项目基于重建点和权重场思想和计算框架形成并发展了新的研究思路，在理论方法和应用算法上，取得了具有特色的研究成果。相关方法对光场成像系统的搭建和光学参数设计具有重要的理论指导意义，这一思路进一步可以应用到更广泛的计算成像问题。可为场景拼接、目标识别、检测技术与场景分析等问题提供更加有效的方法和手段，为数字重聚焦、景深扩展和三维重建等计算成像技术手段提供了更丰富准确的视差信息。