基于光场摄影的场景三维重建与测量技术研究

3D scene reconstruction is widely used in scene investigation, medicine, ancient architecture and so on. One of the difficult but important points in scene investigation is how to extract the objective and its depth information from scene images quickly and completely, for scene reconstruction and measurement. Light-field imaging records the position and orientation of the ray radiation in dissemination process, consequently it can obtain richer image information. Therefore, based on light-field photography, the research aims to obtain in-focus image and 3D information necessary for scene investigation, to complete scene reconstruction and precise measurement of the specified distance. The contents of this research are as follows: (1) obtain a image focused on the specified depth using light-field refocusing technology, (2) propose a occlusion removal algorithm to make images have higher contrast and signal to noise ratio, (2) propose a globally consistent depth extraction algorithm through analyzing the light-field data structure, (3) propose scene reconstruction and precise measurement techniques based on light-field imaging. The research will establish the theoretical and technical foundation for the wide application in practice of light-field camera, and provide the new ways for scene investigation.

三维重建被广泛应用于现场勘查、医学、古建筑研究等领域。场景三维重建与测量的重点和难点之一是如何快速、完整地从场景图像中提取关注目标及其深度信息。光场成像记录了光辐射在传播过程中的四维位置和方向信息，获得了更丰富的图像信息。因此，本项目基于光场摄影以获取聚焦的清晰目标图像以及场景的三维信息，并对场景中特定距离进行准确测量为主要攻关内容。本项目的研究内容包括：（1）采用光场重聚焦技术获得聚焦在特定深度的清晰图像；（2）提出基于遮拦物识别和消除的数字对焦方法，在合成的目标图像中去除了遮拦物混叠的影响，具有更高的图像对比度与信噪比；（3）分析光场数据结构，提出适用于光场数据结构的全局一致性深度提取方法；（4）基于光场成像，提出场景三维重建与精确测量技术。本项目的开展将为光场相机在实际中的广泛应用奠定扎实的理论基础和提供有效的技术支撑，特别是为勘查现场重建与测量提供新的方法。

三维重建被广泛应用于现场勘查、医学、古建筑研究等领域。场景三维重建与测量的重点和难点之一是如何快速、完整地从场景图像中提取关注目标及其深度信息。由于传统成像技术本身存在的问题：动态范围有限、景深有限、图像模糊问题以及3D 信息重建等，限制了三维重建技术在实际中的广泛应用。光场成像记录了光辐射在传播过程中的四维位置和方向信息，获得了更丰富的图像信息。因此，本项目基于光场摄影以获取聚焦的清晰目标图像以及场景的三维信息，并对场景中特定距离进行准确测量为主要攻关内容。本项目在光场成像模型及其场景的三维重建与测量等多方面开展研究工作。主要包括：光场摄像机成像模型和光场重聚焦，从针孔摄像机成像过程和光传播理论出发，研究微透镜阵列的光场摄像机（Lytro）成像模型，推导出光场摄像机的内参数矩阵，并通过理论分析提出了光场重聚焦计算方法；光场摄像机内参数标定，根据推导出的微透镜阵列光场摄像机内参数矩阵，提出了一种基于黑白棋盘格的内参数标定方法，用于计算其内参数矩阵，即图像平面上每个像素与其对应的光场之间的关系；光场图像数据集，构建一套带有深度信息的光场图像数据集，包括原始光场图像集和Ground Truth图像集；目标测量系统，基于单相机下的视频图像，研制了便携式快速标定工具，并基于此标定工具开发实现了一个目标测原型系统，可用于对视频图像中的人体身高、车速等进行测量。本项目的开展将为光场摄像机在现场勘查、医学、古建筑研究等领域的广泛应用奠定扎实的理论基础和提供有效的技术支撑，特别是为勘查现场重建与测量提供新的方向。