面向交互式VR视频的边缘系统低延时传输框架与策略研究

Virtual Reality video applications provide users with immersive experience, which has great potential in practical scenarios. However, streaming interactive VR contents incurs substantial volume of data traffic and requires ultra-low latency. Most existing streaming technologies were designed for on-demand or live video dissemination, which fails to meet the ultra-low latency requirement of delivering interactive VR contents in mobile context with limited spectrum resources and multiple users. Based on mobile edge platform, this program proposes to investigate the cost-effective VR content caching, interactive VR video streaming and coding. Firstly, we will focus on the impact of multi-dimensional edge resources allocation on the performance of VR content streaming, design utility-optimal resource allocation strategies. Meanwhile, we will investigate on the location feature of edge platform and devise high-efficiency caching policies. Secondly, we investigate the transport layer protocol of VR video streaming, design low-latency adaptive streaming strategies for single-user scenario and stable, fair streaming protocols for multi-user scenario. Finally, based on the preference of difference users, we design delay-tolerant high-quality and low-latency fluent streaming methods, respectively. Additionally, based on the prediction of user view point and available link rate, we design utility optimal video coding strategies. Based on all these technologies, we deliver an efficient and reliable mobile edge-based interactive VR content streaming solution.

虚拟现实视频应用为用户提供了沉浸式体验，具有广泛的应用前景。然而其超大数据量及超低延时需求为视频通信领域带来了巨大挑战。现有基于点播或直播业务的视频传输技术，在带宽资源有限且动态变化的多用户移动场景下，无法满足VR视频的低延时需求。针对移动环境下的VR游戏等典型交互式应用，本项目围绕基于移动边缘系统的VR视频高效缓存、传输和编码展开研究。首先，我们研究移动边缘系统多维资源分配对响应时间的影响，设计最优的资源分配方案，根据边缘节点位置特征，设计基于流行度的内容缓存算法；其次，研究VR视频传输系统传输层协议，设计低延时的自适应传输方案，并研究多用户场景下稳定、公平的传输协议；最后，针对不用视频用户的倾向性，分别设计延时容忍的高清晰度和低延时流畅视频传输方法，研究结合用户视角预测和链路速率估计的视频编码方式，实现VR视频编码传输联合优化。最终形成一种移动边缘系统的交互式视频传输方案。

虚拟现实视频应用为用户提供了更真实的体验，在很多领域具有广泛的应用前景，如医疗、教育、娱乐等。然而其超大数据量及超低延时需求为视频通信领域带来了巨大挑战。现有的基于点播或直播业务的视频传输技术，在带宽资源有限且动态变化的多用户移动场景下，无法满足虚拟现实视频的低延时需求，难以为用户提供良好的体验。本项目针对移动环境下的高清视频娱乐游戏会议等典型交互式应用场景，围绕基于移动边缘系统的海量高清视频的高效编码、缓存、渲染以及传输展开研究。首先，我们针对虚拟现实视频的高效压缩编码技术进行研究，在保证视频质量的前提下降低视频编码时间；其次，研究基于移动边缘系统的视频缓存和渲染方案，根据边缘节点位置特征，设计基于流行度的内容缓存算法，并提前在边缘进行渲染，减少用户播放视频时的等待时间；在此基础上，研究移动边缘系统多维资源分配对响应时间的影响，设计最优的资源分配方案；最后，研究虚拟现实视频自适应传输机制，设计低延时的自适应传输方案，通过对多用户场景下稳定、公平的传输协议进行研究，针对不用视频用户的倾向性，分别设计延时容忍的高清晰度和低延时流畅视频传输方法，并结合用户视角预测和链路速率估计的视频编码方式，实现VR视频编码传输联合优化，设计了基于移动边缘系统的交互式虚拟现实视频自适应编码传输方案。本项目进行过程中发表学术论文46篇,申请发明专利6项,其中2项已获得授权。研究团队中1人获得青年托举人才和东湖学者称号。