基于三理汇通的虚拟现实体验质量评价研究

At present, the virtual reality industry is developing rapidly, but a poor experience feeling is the bottleneck problem of its further development because of the lack of appropriate QoE (Quality of Experience) standards, which affects the whole industry chain. Against the status quo, QoE in virtual reality based on fusion of physics, physiology and psychology is put forward in this project. Different from traditional 2D and 3D visual information processing, the research content will be on the basis of the panoramic visual information. The specific research contents are divided into the following four parts: firstly, we will explore evaluation methods of the loss of basic data structure in virtual reality (physical factors); Secondly, we will put forward the physiological visual comfort evaluation method for virtual reality (physiological feeling); Thirdly, we will study immersion feeling, aesthetic analysis and interactive performance evaluation method in virtual reality (psychological feedback); Finally, we will establish a scientific and reasonable standard database for QoE in virtual reality, and construct a standard objective evaluation system of virtual reality experience based on panoramic visual information. This research will make objective judgment to validity and availability of virtual application scenario in industry, promote the further development of academic research in the field of virtual reality in China, and raise status of China in setting experience standards of virtual reality industry in the world.

目前，虚拟现实产业快速健康发展，但体验感不佳是困扰其进一步发展的瓶颈问题，究其原因是缺乏完善的体验质量标准和规范，整个产业链的发展都受到影响。针对此现状，本项目拟提出基于三理汇通（物理、生理、心理）的虚拟现实体验质量评价研究，研究内容将区别于传统2D、3D视觉信息处理，以全景视觉信息为基础展开工作。具体研究内容分为以下四部分：首先，探索虚拟现实数据信息的基本结构损失评价方法（物理因素）；其次，提出虚拟现实体验过程中的生理视觉舒适度评价方法（生理感受）；再次，研究虚拟现实沉浸感、美感分析以及交互性能评价方法（心理反馈）；最后，建立科学合理的虚拟现实体验质量评价标准库，并构建一个规范的基于全景视觉信息的虚拟现实体验质量客观评价体系。此研究的开展能够对产业界虚拟应用场景有效性与可用性做出客观判断，推进我国在虚拟现实领域学术研究的进一步发展，并提升我国在世界虚拟现实行业标准制定中的地位。

目前虚拟现实技术发展迅速，其中立体全景视频作为虚拟现实呈现的重要载体，能够提供给观看者无与伦比的沉浸感。然而立体全景视频的制作需要经历拍摄、拼接、投影、编解码等多个步骤，在这些过程中立体全景视频往往会受到各种失真因素的影响。为了保证立体全景视频呈现的最终质量，对立体全景视频进行质量评价具有重要的理论和现实意义。本文在探究影响虚拟显示体验质量的关键物理因素中建立了数据库。通过对13个无失真视频源施加不同方式与不同程度的H.264、JPEG2000压缩处理，最终得到377个失真的立体全景视频。该数据库中的视频种类丰富、场景多样，为后续的研究成果打下基础。本项目针对虚拟现实的生理视觉舒适感和心理反馈体验感评价，沿着视觉路径寻找影响视觉舒适度的因素，结合传统光学统计元素、视网膜视差以及神经生理元素，设计了一个3D视觉舒适度评估模型。本项目在考虑了立体全景视频的制作与播放过程的基础上，结合立体信息、全景信息与视频时域信息三方面展开研究，从而提出基于三维卷积神经网络的立体全景视频质量评价方法和基于非局部球形卷积神经网络的立体全景视频质量评价方法。本项目在开展过程中取得了重要成果，发表高水平论文超过30篇，已授权发明专利7项，本项目培养博士研究生4名，培养硕士研究生7名，体现了充分的学术价值和应用价值。本项目所建立基于全景视觉信息的虚拟现实体验质量客观评价体系不仅为获取高质量的立体全景视频提供了保障，同时也填补了立体全景视频质量评价模型的空缺，这对立体全景视频技术的整体发展具有重要的理论和现实意义。本项目研究成果能够对产业界虚拟应用场景有效性与可用性做出客观判断，推进我国在虚拟现实领域学术研究的进一步发展，并提升我国在世界虚拟现实行业标准制定中的地位。