双目光场相机的立体成像机理与高精度三维建模研究

针对单个光场相机在深度图估计中存在的不足和局限性，以双目光场相机的立体成像系统为研究对象，围绕其立体成像模型、空间混叠和角度采样、以及光场图像间的对应性求解这三个关键问题开展研究，实现场景的高精度三维建模。通过将光场相机成像模型和传统双目视觉成像模型相结合，探索双目光场相机的立体成像机理。针对微透镜阵列对光场空间和辐射角的采样特性，重点研究基于深度估计解耦的空间解混叠和基于对应性求解的角度插值方法，以满足三维建模时对空间和深度分辨率的要求。提出基于能量函数的光场图像对应性求解和最优深度估计方法，引入光辐射强度一致性、子图像边界约束等一致性约束惩罚项，以减少求解的歧义性，提高深度估计精度。设计并搭建验证性实验平台，验证理论假设的合理性及算法精度。本项目为多光场相机的三维实景采集和建模提供前期理论探索，预计研究成果可为3D影视拍摄、三维建模、目标识别和跟踪等实际应用需求提供理论支持和技术支撑。

本项目围绕光场相机及光场立体成像系统开展研究, 为光场立体成像采集、绘制和应用提供前期理论探索，在以下方面取得了一些重要的阶段性成果：. 1）研究光场相机解码和标定，提出一整套完整的光场相机数据提取、解码、颜色校正、微透镜阵列标定和校正方案，并在此基础上提出并实现了光场相机标定。. 2）针对多相机光场立体成像系统，提出一种分组标定策略，实现多相机动态光场成像标定。. 3）研究光场重对焦和深度栈估计，提出一种基于分数阶傅里叶变换的光场相机重对焦方法，可实现任意深度层光场提取。. 4）探索光场图像对应性求解和最优深度估计，提出一种多视角动态光场高精度绘制算法，通过点云对应性求解、边沿点、隐藏点检测与融合、多视点云去噪、最优深度估计、泊松表面规整等，实现多个动态目标的高精度光场绘制。. 5）针对光场在目标检测中的应用，提出一种基于深度栈显著性区域检测方法，建立基于对角度优先的显著估计策略。. 6）设计并完成了光场相机2.0原型系统，搭建基于Lytro相机的光场双目立体视觉系统。同时课题组搭建完成一个目前亚洲最大的穹隆型光场环境及其光场采集系统，并在此基础上实现了分布式流采集、传输和绘制。. 项目按计划顺利进行，完成了预定的研究内容。已发表SCI期刊论文4篇，EI论文4篇，国内一级期刊3篇；获授权中国发明专利１项，申请中国发明专利１项，合作申请美国发明专利１项。在项目资助下，课题组与美国Plenoptic 2.0光场相机创始人Andrew Lumsdaine教授，台湾长庚大学魏一勤教授建立了实质性的合作和交流。已培养硕士研究生18人。