基于DASH的交互式三维视频系统建模

3-D video enables viewers with immersive vision experience, and hence attracts a lot of attentions both from industry and academia. However, for the current 3-D video format, there are many problems in view switching during video streaming. Most existing 3-D video streaming methods are based on the conventional UDP/RTP protocols. Dynamic Adaptive Video Streaming over HTTP (DASH) has many advantages over UDP/RTP, such as multiple rate choices, video quality adaptation based on the network and buffer conditions, and video smooth playback (avoiding buffer starvation). However, there is little research effort on 3-D interactive video streaming over DASH. In this research project, the characteristics of 3-D interactive streaming and the nature of the DASH system will be jointly exploited, and the DASH-based 3-D interactive video streaming system will be studied. Bearing in mind that video contents are stored in the DASH server with multiple rates, and the uncertainty nature of user viewpoint switching for 3-D interactive video streaming, in this project, we are going to investigate how to store the 3-D video data in the DASH server, how the user viewpoint switching model affects the system design, and how to design the 3-D video buffer mechanism in such a system. The research output of this project will help to foster the Internet 3-D video applications.

三维视频带给用户沉浸式的视觉体验，因此受到学术界和工业界的广为关注。然而，目前已有的三维视频在视点切换和网络传输过程中还存在较大问题。已有三维视频的传输研究都是基于传统的UDP/RTP框架。使用DASH进行视频传输具有多码率编码，以及根据网络情况和缓存状况自适应调整视频传输码率和防止视频播放卡顿等优点。目前，国内外基于DASH系统的三维视频交互式传输的研究还是空缺的。本课题将结合三维视频交互式传输和DASH系统的内在特点，研究基于DASH的三维视频交互式传输模型。主要包括三个方面的工作：基于DASH系统多码率编码的特点和交互式传输中DASH客户端视角选择的不确定性，研究DASH服务器中三维视频的最佳表示方法；研究DASH客户端用户视角切换模型和对系统性能的影响；研究三维视频交互式DASH系统中的缓存机制。课题的研究将直接推动三维视频在互联网中的应用。

多视角视频由于其出色观看体验受到用户欢迎。同时，根据用户请求, 提供无缝视点切换的交互式多视点视频流的需求也在增加。然而，通过流式传输，提供稳定且高质量的多视点视频是一项极具挑战性的任务，该任务必须允许在有限带宽下进行实时场景切换。在本项目中，课题组提出了一种卷积神经网络（ConvNet）辅助的无缝多视点视频系统来应对这一挑战。所提出的方法从两个角度解决了该问题。 首先，提出了一种ConvNet辅助的多视点视频表示方法，该方法提供灵活的交互性，而不会影响多视图视频压缩效率。 其次，课题组开发了由视点切换模型引导的网络带宽分配机制，以提供无缝视角切换并同时适应网络带宽波动。 这两个模块紧密配合，为用户提供优化的观看体验。 它们可以集成到任何现有的多视图视频流框架中，以提高整体性能。...同时，在本课题组考虑到流式传输过程中视点切换的用户行为， 设计了一个新的流式缓存框架，以改善DASH上多视点视频流的用户体验。为了消除视点切换延迟，课题组引入了多视点切换规则以预取可能的切换视点。针对引入的规则提出了最佳比特率分配方案，允许客户端最大化视频质量。此外，我们发现在该框架下，视频质量和播放卡顿概率是冲突因素，而两者对于用户的体验质量（QoE）都是必不可少的。本课题很好的解决了两者之间的矛盾。实验结果证明了该方法在无缝多视图流中的有效性。..本课题组在课题执行期间发表了多篇重要论文，包括IEEE Transactions on Multimedia 5篇， IEEE Transactions on Circuits and Systems for Video Technology 1篇，IEEE Transactions on Broadcasting 3篇。 ..课题解决了多视角视频传输时,视频视角传输的灵活性和视角间冗余挖掘之间的矛盾。同时实现了视角传输的灵活性和较高的多视角压缩率失真性能。 同时，解决了多视角视频在DASH传输时候的最优缓存问题。根据网络情况和用户的视角切换习惯，提出了最优缓存大小的计算方式，以获得最优的用户体验质量QoE。