沉浸式虚拟现实视频内容生成与高效编码

Since Oculus was purchased by Facebook by 2 billion dollars in 2014, a new run of virtual reality industrial wave was set off in worldwide. Virtual reality technology is being widely applied to film entertainment, game, education, engineering and military fields. However, virtual reality industry faces content short board, virtual reality content is rare and hard to made, and the immersive sense is limited. At the same time, compared with traditional 2D or 3D videos, the data quantity of virtual reality video is increased significantly to tens even hundreds multiples, which poses a great challenge for virtual reality video storage and network transmission, and this is another bottleneck problem that constraints user experience. Based on our invented 3D video processing and coding technologies, in this project, we propose new model of virtual reality video that can give user higher immersive sense, and effectively support 6 degree of freedom interactive interface. Depending on the proposed model, we further propose virtual reality video content capturing and generation technology, high efficient coding theory and method, real-time virtual view rendering technology, and setup an end-to-end virtual reality video system. The results of this project will contribute to the international virtual reality video coding standard, and promote the progress of virtual reality industry.

以Facebook公司2014年以20亿美元收购虚拟现实头显公司Oculus为标志，在国际范围内掀起了新一轮虚拟现实产业热潮，虚拟现实技术正在不断应用到影视娱乐、游戏、教育、工程和军事等诸多领域。但目前虚拟现实产业发展面临重要内容短板：虚拟现实视频内容匮乏，难以采集和生成，沉浸感有限；同时，和传统平面或立体视频相比，虚拟现实视频的数据量急剧增加数十倍甚至上百倍，为存储和实时网络传输提出新的技术挑战，成为制约虚拟现实在线体验的瓶颈问题。本项目在团队现有三维视频处理和视频编码技术积累的基础上，研究新型支持六自由度运动交互的高沉浸感虚拟现实视频表示模型，研究基于该模型的沉浸式虚拟现实视频内容的采集与自动生成方法，高效编码理论与方法，以及实时虚拟视点绘制技术，建立端到端的虚拟现实视频验证系统。本项目成果将为建立国际虚拟现实视频编码标准贡献关键技术，推动虚拟现实产业发展。

虚拟现实技术正不断应用到影视娱乐、游戏、教育等诸多领域，并在国际上掀起新一轮虚拟现实产业热潮。但虚拟现实产业发展面临如下瓶颈问题：虚拟现实视频内容匮乏，难以采集和生成，沉浸感较差；和传统平面或立体视频相比，虚拟现实视频的数据量急剧增加数十倍甚至上百倍，为存储和实时网络传输提出新的技术挑战。针对上述问题，本项目以沉浸式虚拟现实视频内容生成和高效编码技术为研究内容，围绕两种沉浸式虚拟现实视频形态（全景视频和自由沉浸立体视频），在沉浸式虚拟现实视频内容生成、沉浸式虚拟现实视频编码、六自由度立体视点实时呈现、虚拟现实视频质量评价四个方面进行研究。.在沉浸式虚拟视频内容生成方面，搭建了沉浸式虚拟现实视频采集系统，提出了基于场景深度全景拼接算法、基于视差鲁棒全景视频合成技术、基于Retinex理论SDR转HDR网络、基于四目相机光流估计鲁棒性全景3D视频合成算法、基于逐像素深度图的虚拟视点合成加速技术、基于分层深度过滤算法的虚拟视点合成技术、无监督的多视点深度估计算法。在沉浸式虚拟现实视频编码方面，提出了一系列沉浸式虚拟现实视频高效编码算法；领导了国际虚拟现实视频编码标准草案制定，提出的3项技术均被该标准采纳；领导制定了AVS VR标准，获得《信息技术 虚拟现实内容表达 第2部分：视频》国家标准立项；提出的5项面向8K视频压缩AVS3标准技术提案均被采纳，并与华为共同提出AVS3参考软件基础平台HPM；领导研发AVS3开源编解码器天璇（uAVS3d），编码速度比参考软件提升10余倍，性能损失低于1%，解码速度比国际同类竞争者AV1快40%~80%，已在华为麒麟处理器、腾讯视频、百度智能云等产品线上集成。在六自由度立体视点实时呈现方面，搭建了完整的面向集成成像的虚拟视点合成端到端系统和完整的6DoF自由视点视频系统。在对虚拟现实视频质量评价方面，针对各研究阶段设计相应视频质量评价方法。