表面不规则场景的光场非均匀采集方法研究

The plenoptic sampling system acquires and reconstuct the structral scene by using the sparse uniform camera array. However, because of the the irregular surface of the scene, the uniform sampling makes the flat region oversample and data redundancy, which also makes the complex one under sample and miss reconstruction. The project aims to investigate the non-uniform sampling in the panoramic sparse dynamic plenoptic sampling system, and analyze the information redundancy of the 3D scene. A relationship model between the surface properties, the camera deployment and the reconstruction quality is defined. An objective quality assessment of the 3D reconstruction is proposed which makes the best quality and the lowest data redundantcy. The research work of this project will provide the effective guidance for the number, position and the direction of the cameras in the sampling system which will be the foundation of the future unstructured dynamic plenoptic sampling system.

现有的光场采集系统采用稀疏均匀摄像机阵列，可完成结构性场景的三维采集和重建。但对于表面不规则场景，均匀的采集密度使平坦区域过采样，存储处理数据冗余，而复杂区域欠采样，细节无法精确重建。本项目针对全景稀疏动态光场采集系统中表面不规则场景的获取问题，研究光场的非均匀采集方法，通过分析场景表示维度间的稀疏冗余特性，构建场景表面属性、摄像机部署、重建质量之间的关系模型，提出重建场景高保真复原的评价机制，在保证重建质量最优的前提下，最大化降低采集数据冗余度。本项目的研究为采集系统中摄像机数量、空间位置以及方向角的部署提供有效的指导意见，为非结构化等新型动态光场系统的建立奠定了前期理论研究基础。

动态光场光场采集方法是三维场景重建的关键技术，具有重要的研究价值。本项目针对表面不规则场景的光场非均匀采集方法中存在的问题，在光场的非均匀采样、光场重建图像质量评价和全景稀疏动态光场的非均匀采集及重建等方面开展了相关研究。在光场的非均匀采样方面，研究由三维重建模型表面显著性驱动光场采集系统中摄像机位置部署的方法，提出基于3D-SUSAN的三维模型感兴趣点提取方法，并基于眼动仪建立基于眼动的三维模型感兴趣点数据库。在光场重建图像质量评价方面，研究色彩信息、稀疏表示、深度信息等特征与光场重建图像质量之间的关系模型，提出基于彩信息、稀疏表示、深度信息的立体图像质量评价方法，量化光场重建图像质量。全景稀疏动态光场的非均匀采集及重建方面，研究由稀疏光场图像重建完备相机阵列光场图像的方法，提出基于结构化随机矩阵的分块压缩感知方法、基于联合稀疏模型的分布式压缩感知方法，以及基于深度线索的多视点合成方法，实现高质量的完备光场阵列图像的重建。本项目完成全景稀疏动态光场原型系统搭建，基于已有光场采集硬件系统，实现了相机的同步采集并存储、三维模型的可视化外壳重建和纹理绘制等技术，并进行了原型系统性能的持续优化，包括从恒定光照改进为变光照系统，从原始光场图像传输存储改进为基于3DHEVC多视点编码流的传输存储，为理论成果提供实际验证平台。项目实现了预期研究目标，为进一步推动全景稀疏动态光场的采集和重建，及三维模型的重建技术发展奠定了一定的理论与技术基础。