基于常规设备的全景光场采集

Panoramic light field can record more information than panoramic image and panoramic video. It is efficient means of achieving immersive virtual reality. Because of the requirement of high resolution and large field of view, the capture of panoramic light field is a great challenge for computer graphics and computer vision community. In many cases, special hardware, such as spherical mirror array or light field camera, is required for panoramic light field imaging. The field of view of captured data is also far less than 360 degree. In this project, we try to capture the panoramic light field for virtual reality applications using traditional cameras. We design the capture systems for static and dynamic scene. To ensure the usability of the systems, we give sampling analysis for panoramic light field, which involves the complex relationship among the cameras, the depth and texture information of the scene, the number of sample images, and the rendering resolution. We also propose light field super-resolution algorithm to enhance the captured panoramic light field data. Our study will bring light field technology to virtual reality. It will also provide the required data for the application of panoramic light field in computer vision tasks.

全景光场相对于全景图像、全景视频记录了更多的信息，是实现虚拟现实沉浸式体验的有效手段。由于分辨率和视角方面的需求，全景光场的采集是计算机图形学领域和计算机视觉领域的一个难题。本项目针对现有研究工作需要利用特殊相机和设备进行采集，获得的全景光场视角有限等问题开展研究。试图以日益普及的常规相机为采集设备，分别设计针对静态场景和动态场景的全景光场采集系统，使采集得到的光场数据满足虚拟现实应用对分辨率和视角的要求。为了保证采集系统的便利性和可普及性，项目对全景光场数据进行采样分析，研究最低采样率与相机、场景等因素的关系；同时，研究全景光场超分辨率算法对采集得到的光场数据进行增强。项目的研究将推进光场技术在虚拟现实领域的应用，并为全景光场在计算机视觉等领域的研究提供必要的数据基础。

全景光场相对于全景图像、全景视频记录了更多的信息，是实现虚拟现实沉浸式体验的有效手段。本项目以常规相机为采集设备，分别设计了针对静态场景和动态场景的全景光场采集系统，使采集得到的光场数据满足虚拟现实应用对分辨率和视角的要求。针对静态场景，项目提出通过手持设备拍摄视频的形式对全景光场数据进行采集，该方式能够将对设备的要求降到最低。视频拍摄完成后，对视频帧进行曝光矫正及模糊帧剔除，并估计它们的相机参数来实现光场的采样与渲染等。针对动态场景，项目提出了多相机同步拍摄的技术方案。通过利用硬件同步、传输、存储的方式使我们能够以6.3帧每秒的速度对9×9角度分辨率，6283×1200空间分辨率的全景光场视频进行采集。同时，我们也提出了基于视点合成以及深度学习技术的增强技术来对光场图像进行角度分辨率的提升。.在本项目资助下，项目组发表学术论文8篇，其中IEEE Trans.论文2篇，CCF认定的A类会议论文2篇。项目负责人成功应聘副研究员，获批国家自然科学基金面上项目。项目培养了2名博士研究生和3名硕士研究生。