光场相机的非参畸变精确模型化及基于平差优化的深度重建方法研究

In image recognition, compared with 2-D image information, 3-D data combining depth information can effectively improve the accuracy of object recognition. As a new model of camera, light-field camera can obtain the 4-D light field directly, so it can obtain both sharp image with large depth of focus and the depth information of object. The existing depth estimation methods are mostly based on the digital refocusing theory, which can only obtain the relative depth information and can not achieve accurate three-dimensional measurement. In view of the current research situation and existing problem in the field of measurement, this project will study the principle, techniques and implementation methods of accurate modeling and three dimensional reconstruction in the light field camera. The specific content includes: geometric modeling and calibration method of optical field camera, and the realization of precision technology of geometric parameters identification; Aiming at the lens distortion of optical field camera, study the distortion measurement method of each pixel, and establish the lookup table of distortion; Through calibrated data and distortion correction table, the 3-D reconstruction is realized by means of adjustment optimization, and the method is integrated with the refocusing depth estimation method to realize the precision 3-D reconstruction. This project not only has important theoretical significance to the optical model of optical field camera, but also has important application value in the field of computer vision.

在图像识别中，相比于二维图像信息，结合深度信息的三维数据能有效提高物体识别的准确率。光场相机作为一种新型的相机模型，能够直接获取四维光场，得到大景深清晰图像的同时可以获取深度信息。现有的深度估计方法大多基于重聚焦理论，仅能得到相对深度信息，无法实现精确三维测量。针对目前将光场相机应用在三维数据获取的诸多科学问题，本项目将研究光场相机的精确建模与三维重建的原理、技术与实现方法。具体内容包括：光场相机的几何建模与标定方法，研究实现几何参数精密识别；针对光场相机镜头畸变，研究每个畸变量测量方法，建立查找表校正畸变；通过标定后的数据与畸变校正表，采用平差优化的方法实现三维重建，并与聚焦性深度估计方法融合，实现精密三维重建方法。本项目不仅对丰富光场相机的光学模型有重要的理论意义，而且对光场相机在计算机视觉领域有重要的应用价值。

光场相机作为一种新型的相机模型，能够直接获取四维光场，得到大景深清晰图像的同时可以获取深度信息，对图像识别、理解以及三维重建有重要意义。然而，现有的深度估计方法大多基于重聚焦理论，仅能得到相对深度信息，无法实现精确三维测量。针对目前光场相机应用在三维数据获取的诸多科学问题，本项目研究了光场相机的精确建模与三维重建的原理、技术与实现方法。取得的主要创新性研究成果包括：. 1、在研究了光场相机的光学模型的基础上，从小孔成像模型与薄透镜模型出发，推导了光场相机的建模过程，解释了双平面模型每个参数的实际意义，结合主透镜的径向畸变和切向畸变，通过拍摄棋盘格图像，实现初值获取和优化算法，并且提出了基于亚像素椭圆拟合的微透镜中心优化算法，最终实现了光场相机精密参数化。. 2、将条纹投影系统解相位的方法引入光场相机畸变校正中，对于光场相机的每个子孔径图像，通过投影仪投出四步相移和三频外差的图片到圆环靶标上，光场相机拍摄靶标，进而测量出每个子孔径图像中每个像素的畸变量，生成畸变映射表，实现了微透镜阵列的畸变非参校正。. 3、结合光场相机的虚拟相机模型以及双平面模型参数，得到子孔径图像上每个特征点的光线方程，对于同一特征点对应在所有子孔径图像上的光线，采用光束平差算法实现了特征点的三维重建。并研究了结合高分辨率相机的三维重建精度提升的算法和通过深度学习的稀疏和稠密电云的重建模型方法。. 本项目在提出并实现了光场相机的精密建模、畸变校正以及三维重建方法，并在国内外学术期刊和会议上共发表论文7篇，其中SCI收录3篇（其中影响因子大于3.0的高水平学术论文2篇），申请国家发明专利3项（其中已授权1项），培养博士生1人，硕士生8人（其中已毕业博士生1人，硕士生2人）。