头戴式虚拟现实设备的屏幕内容视频编码算法研究

Screen content videos from virtual reality (VR) devices use resolution and frame rate multiple times that of traditional videos to induce a sense of immersion, however, the existing hardware resources and network resources of devices cannot fully meet the demand for real-time content sharing between VR devices. How to code VR screen content videos under the constraint of limited resources to improve the user experience becomes a new challenge. In view of this, this project will conduct research on screen content video coding for VR head mounted displays (HMDs) to improve coding efficiency, to satisfy varying coding complexity limitations, and to adapt to varying network resource constraints. Firstly, we will exploit the unique characteristics of the screen content in VR HMDs (e.g., left and right eye views, invalid region) to improve coding efficiency. Then cost-sensitive learning techniques will be applied to learn coding strategies offline to provide adaptive adjustment of coding complexity. Eye tracking data will also be exploited to predict possible future viewpoint, to achieve optimal allocation of coding resources. Finally, a practical VR screen content video coding system will be established. The outcomes of this research project can be widely used in varieties of applications for VR HMDs, including wireless display, screen mirroring, cloud gaming, remote presentation, etc., thus having significant theoretical and practical values.

虚拟现实设备的屏幕内容视频采用数倍于传统视频的分辨率和帧率来营造沉浸感，而现有的设备硬件资源和网络资源无法充分满足虚拟现实设备间实时内容分享的需求。如何在资源受限的情况下对虚拟现实屏幕内容视频进行编码来提升用户视觉体验成为一个新的挑战。为此，本课题面向头戴式虚拟现实设备间屏幕内容分享问题，以提高编码效率、满足不同编码复杂度要求、以及适应不同网络资源限制为目标，对其屏幕内容视频编码算法进行研究。首先利用头戴式虚拟现实设备屏幕内容具有双视图及无效区域等特性来提高编码效率；其次基于代价敏感学习方法对编码策略进行离线学习，实现编码复杂度的自适应调整；再利用眼动跟踪数据预测未来视点，对编码资源进行优化分配；最后构建实用的虚拟现实屏幕内容视频编码系统。本课题研究成果可广泛应用于无线屏幕显示、镜像屏幕、云游戏、远程演示等领域，具有重要的理论意义和实用价值。

本项目面向头戴式虚拟现实设备间屏幕内容分享问题，针对硬件和网络资源受限、设备存在异构性等难点，通过设计视频编码算法，实现在异构虚拟现实设备间屏幕内容的实时分享，以提升用户的虚拟现实视觉体验。项目的具体完成情况为：1）针对资源受限的问题，项目通过分析该类设备屏幕内容视频的特点，提出了有效区域和无效区域的划分方法，并进一步提出了对无效区域像素进行编码处理方法，提高了头戴式虚拟现实屏幕内容视频的帧内编码压缩性能；2）针对异构终端设备的硬件资源受限的问题，项目提出了一种灵活的屏幕内容帧内编码方案，在编码效率与计算复杂度间进行权衡，以适应异构移动设备不同的复杂性要求；3）针对网络资源受限、基于用户视场的视频编码算法中视场预测不准的问题，项目提出了一种新的基于用户视场的360度视频编码优化方案，该方案同时考虑了投影格式和视场预测准确性对视场内重建质量的影响，提高了全景视频的编码效率。研究成果将为无线屏幕显示、镜像屏幕、云游戏、远程演示等领域的沉浸式虚拟现实屏幕内容实时分享提供了技术指导和可行方案，具有重要的理论意义和应用价值。