基于微透镜光场成像的3D视频获取关键技术研究

The free viewpoint video becomes a hot topic in the field of videos because it can provide arbitrary virtual view from any viewpoint. In order to actualize the FVV, studying efficient texture and depth acquisition techniques in 3D video acquisition unit is very important. To achieve a high quality 3D video，based on light imaging theory and micro-lens array camera model, we study efficient texture and depth acquisition techniques. The concrete research contents can be summarized as follows: (1) Micro-lens calibration based on deep learning. (2) Adaptive depth acquisition based on video scene feature. (3) Super-resolution reconstruction of light field image based on time correlation. With the goal of high quality 3D video acquisition, these contents study the key techniques from three aspects, including micro-lens calibration method, the accuracy and speed of depth acquisition, and image super-resolution reconstruction. The project has great theoretical significance and practical value in improving 3D video acquisition quality and popularizing 3D video synthesis techniques. In addition, this project can promote the development of 3D video industrial applications and has an important influence on generating independent intellectual property rights.

自由视点视频（Free viewpoint video，FVV）是视频领域的新热点，它允许人们从任意角度观看视频。为了真正实现任意角度的FVV观看，首先要从采集端做好3D视频纹理信息与深度信息的获取。本课题在深入研究光场成像理论的基础上，采用微透镜阵列光场相机模型，研究基于光场成像的纹理与深度获取技术，以期获得高质量的3D视频。具体研究内容包括：（1）基于深度学习的光场微透镜标定，（2）基于场景特征的自适应光场深度图像获取，（3）基于时间相关性的光场纹理图像超分辨率重构。这三个内容分别从微透镜标定方法、深度图像的获取质量和速度、纹理图像的超分辨率重构等方面进行研究，可以实现高质量的3D视频获取。本项目对高效3D视频源的获取以及3D视频合成技术的推广具有重要的理论意义和应用价值。对促进我国3D视频技术发展、自由视点电视技术研发、取得独立知识产权有重要影响，研究前景广阔。

自由视点视频（Free viewpoint video，FVV）是视频领域的新热点，它允许人们从任意角度观看视频。为了真正实现任意角度的FVV观看，首先要从采集端做好3D视频纹理信息与深度信息的获取。本课研究基于光场成像的纹理与深度获取技术，以期获得高质量的3D视频。项目取得的主要成果包括：（1）在光场相机微透镜标定方面：对光场白图像预处理后采用频域分析法实现初标定，再变换到空域用六边形网格模型矫正局部标定误差，最后将该算法的标定结果作为深度学习网络的输入，通过网络训练，完成其它图像的微透镜中心标定。所提算法实现了光场数据的解码，解决了实验过程中微透镜标定算法不开源，无法直接使用原图像进行纹理深度获取的技术难题，降低了3D视频获取时光场相机结构设计差异对后期视频合成的影响。（2）在基于场景特征的自适应光场深度图像获取方面：提出基于相位梯度阈值的方法，实现了基于场景特征的分区深度获取。提出基于能量增强散焦评价的光场深度估计改进算法，用于边界复杂区域的深度获取，使得深度图像重建的均方根误差下降3.95%。采用边缘正则化模型，基于多字典学习完成了深度图像的超分辨率重构。提出可伸缩备选区域的CVBF算法对深度图像进行滤波处理，使得合成虚拟视点的PSNR较传统CVBF算法提高了0.12dB。（3）在基于时间相关性的光场纹理图像超分辨率重构方面：基于GAN网络对光场的纹理图像进行超分辨率重构，提出了基于频域数字重聚焦及全聚焦图像融合技术的GAN网络数据预处理方法，以提高超分辨重构的精度。提出一种可抑制重采样误差的频域光场数字重聚焦技术，在频域实现光场数据预处理。提出一种基于小波变换的光场全聚焦图像获取算法，使得融合图像边缘强度（EI）平均提高1.0019。提出基于空间信息引导角度信息、及边缘增强引导滤波的光场全聚焦图像融合算法，全聚焦图像的图像感知清晰度平均提高18.4%。项目取得的研究成果对高效3D视频源的获取、表示以及未来3D视频合成技术的推广等具有重要的理论意义及实际应用价值。