高精度主动光场三维成像机理研究

The related work on the light field based three-dimensional (3D) imaging is mainly focused on passive light field capture and processing with single plenoptic camera, which has great limitations on theory and applications. Therefore, this project will research on light field based active 3D imaging system. Light field based periodically structured illumination is introduced into the configuration of the system, and the imaging model is extended from single light field into two light fields, which aims to robust and highly accurate 3D imaging. Three contents including system calibration, coding for light field based illumination and 3D reconstruction are studied, and the following key issues will be solved: optimal estimation of the geometric parameters based on bundle adjustment strategy; modeling and solving the inverse problem with regard to the propagation of light field based illumination; highly accurate 3D reconstruction based on the intersection between phase light field. The simulation system and prototype will be established to verify the feasibility of the theory and evaluate the robustness and accuracy of 3D imaging. Not only will the research outcomes be significant in the development of light field based 3D imaging theory, they will also improve the capability of imaging system and promote the application of 3D imaging technique.

目前关于光场三维成像的研究工作主要集中于单一全光相机的被动式光场采集和处理，在理论和应用方面均具有较大的局限性。有鉴于此，本项目以主动光场三维成像系统为研究对象，在系统结构上引入周期结构光场照明，将成像模型由单一光场拓展至双光场，旨在实现鲁棒、高精度的三维成像。围绕系统标定、光场照明编码、三维重建等三个方面展开研究，并解决如下关键科学问题：基于光束平差策略的几何参数最优化估计；光场照明传播过程逆问题的构造与求解；基于相光场空间交会的高精度三维重建。分别建立仿真软件系统与实验原型系统，用于验证理论的可行性并评估三维成像的精度和鲁棒性。本项目的研究不仅能够丰富和发展光场三维成像的理论和方法，而且能显著提高成像系统的性能，对光场三维成像的应用有积极推动作用。

本项目主要研究结构光（条纹投影）三维成像的相关原理和方法，以多维（位置和方向）结构光场信息的表达和处理为基础，针对微小物体、光亮表面、快速成像等不同的应用场景，在图像采集处理、相位信息重建、系统建模标定、三维重建约束、多视点三维信息融合、原型系统构建等多个方面展开探索，发展了一系列的新方法和新技术以实现特定的技术需求。针对微小物体的三维成像，本项目基于Scheimpflug原理设计搭建了全新的多视点条纹投影三维显微镜，基于广义成像模型发展了系统的标定方法，探索评估了该系统在可测深度范围、三维重建精度、遮挡区域补全等多个方面的性能提升。对于光亮表面的三维成像，主要困难在于镜面反射使得表面反射率随表面法向的不同而存在巨大差异，从而导致表面反射形成的变形条纹图有较大的动态范围。因此本项目围绕高动态范围三维成像展开研究，将彩色相机中的Bayer像素滤波器视为单色光照明时的强度滤波器，在对强度衰减比进行标定后实现了基于单次曝光的高动态范围条纹图的合成。将光场相机引入结构光三维成像系统，巧妙利用光场成像的角度采样特性实现了高动态范围三维成像。快速三维成像要求在进行条纹投影时应采用尽可能短的条纹图序列。以此为目标，本项目通过对条纹投影过程的分析发展了一种两步相移重建相位的算法。为了避免展开绝对相位所带来的时间损失，提出一种基于等相位面约束的对应点匹配策略，实现了基于折叠相位的三维重建。