面向用户体验质量的虚拟现实视频流自适应网络通信机制研究

In the current multimedia communication field, virtual reality video differs from the traditional 2D video in the matter of producing, storage and transmission scheme. Its huge amount of multimedia data makes traditional multimedia delivery scheme not suitable for virtual reality video as it has to compromise in transmitted multimedia quality, transmission bitrate, etc. in order to maintain good QoE level. This project first focuses on the model for the relationship between virtual reality coding schemes and their corresponding QoE in IP networks. Considering various coding schemes of virtual reality video, this project investigates network transmission schemes suitable for virtual reality video using dynamic coding under different network conditions. It aims at revealing the correlation between virtual reality video coding parameters and resulting QoE, followed by joint optimization based on virtual reality video coding and network bandwidth utility. Ultimately, a QoE-oriented multimedia communication scheme for virtual reality video is proposed. The proposed scheme is evaluated in software simulation and real run-time tests on virtual reality devices. This project reveals the balance between virtual reality video quality and its network transmission efficiency from QoE point of view, providing theoretical and practical directions to efficient virtual reality video communication under dynamic network conditions.

在多媒体通信中，虚拟现实视频在制作、存储和传输模式方面与传统二维视频存在诸多差异，尤其是面对海量的虚拟现实多媒体流数据，若采用传统多媒体流解决方案则不得不在传输的多媒体质量、传输速率等方面妥协而影响用户体验质量。本项目重点研究虚拟现实视频流采用不同编码模式和传输机制与用户体验质量的对应关系模型;针对虚拟现实视频流编码多样性，研究不同网络环境中动态编码分配和适应虚拟现实视频流传输的网络传输机制；揭示编码策略与虚拟现实用户体验的相关性，并对虚拟视频流编码方案和网络带宽利用率进行联合优化；然后针对不同网络环境，提出面向用户体验质量的利用动态编码和网络优化的自适应虚拟现实视频流通信机制。该研究通过软件仿真和硬件验证平台对提出的决策方案进行性能评估和验证。本研究从用户体验质量的角度揭示虚拟现实视频编码质量和网络传输效率的效用关系，为复杂动态网络环境下高效虚拟现实视频流通信提供理论上的指导。

在多媒体通信中，针对虚拟现实视频在制作、存储和传输模式方面与传统二维视频存在的诸多差异，尤其是面对海量的虚拟现实多媒体流数据，若采用传统多媒体流解决方案则不得不在传输的多媒体质量、传输速率等方面妥协而影响用户体验质量。本项目重点研究了虚拟现实视频流采用不同编码模式和传输机制与用户体验质量的对应关系模型;针对虚拟现实视频流编码多样性，研究不同网络环境中动态编码分配和适应虚拟现实视频流传输的网络传输机制；揭示编码策略与虚拟现实用户体验的相关性，并对虚拟视频流编码方案和网络带宽利用率进行联合优化；针对不同网络环境，提出了面向用户体验质量的利用动态编码和网络优化的自适应虚拟现实视频流通信机制。该研究分别搭建了基于Mininet、ns-3的两类网络仿真平台和基于Dashjs真实虚拟现实视频流验证平台对提出的决策方案进行性能评估和验证。本研究从用户体验质量的角度揭示虚拟现实视频编码质量和网络传输效率的效用关系，为复杂动态网络环境下高效虚拟现实视频流通信提供理论上的指导。在未来将继续在基于5G、Mesh组网等船联网、车联网，借助边缘计算、云计算能力，研究多媒体内容采集、编码、压缩、传输等方面的优化。