头戴式立体显示中晕动症的测量与减轻方法

Stereoscopic 3D (S3D) has been used for virtual/augmented reality, 3D movies, scientific visualization, medical imaging, etc. Particularly, head-mounted displays (HMD) have attracted public attention in recent years. However, S3D viewing may cause visually induced motion sickness (VIMS). The symptoms of VIMS include headache, nausea, sweating, etc., which stops people from experiencing S3D again. Thus, it is important to reduce VIMS. Current S3D display technology has the following challenges: existing S3D perception prediction methods are not accurate enough, VIMS measurement methods have not been well established, and the causes of VIMS have not been validated. In this project, we establish geometric distortion models in the world coordinate system and retinal angular coordinate system to predict the S3D perception world. Then, we develop subjective and objective measurement methods to quantify users’ VIMS susceptibility. At last, we conduct experiments to test the causes of VIMS and the proposed VIMS reduction method so that more people can enjoy S3D viewing. This research will improve the competitiveness of China in the areas of S3D and virtual reality.

立体显示技术已经广泛地应用于虚拟现实、3D电影、医疗成像等领域，尤其是头戴式立体显示在近几年得到了广泛地关注，然而观看立体显示可能导致晕动症比如头晕、恶心、出汗等症状限制了立体显示的进一步推广和应用。本项目针对立体显示相关研究所面临的立体感知预测复杂性高、晕动症测量方法准确性低、晕动症原因假说未经验证、晕动症减轻方法缺失等诸多方面的挑战，从立体显示晕动症的诱发原理、评价方法、实验验证三个角度开展研究。项目通过①构建世界坐标系和视网膜角坐标系下的几何失真预测模型预测感知空间；②设计主客观评价算法测量晕动症的敏感性；③开展实验验证晕动症的原因及减轻晕动症的方法。以上研究层层推进，遵循“建模-评价-验证”一体化的研究思路，该研究能够促进立体显示技术的大力推广，从而全面提升我国在立体显示和虚拟现实领域的研究水平和核心竞争力。

立体显示技术已经广泛地应用于虚拟现实、3D电影、医疗成像等领域，尤其是头戴式立体显示在近几年得到了广泛地关注，然而观看立体显示可能导致晕动症比如头晕、恶心、出汗等症状限制了立体显示的进一步推广和应用。本项目针对立体显示相关研究所面临的立体感知预测复杂性高、晕动症测量方法准确性低、晕动症原因假说未经验证、晕动症减轻方法缺失等诸多方面的挑战，从立体显示晕动症的诱发原理、评价方法、实验验证三个角度开展研究。.项目通过①构建世界坐标系和视网膜角坐标系下的几何失真预测模型预测感知空间；②设计主客观评价算法测量晕动症的敏感性；③开展实验验证晕动症的原因及减轻晕动症的方法。通过建模，我们提出了几何失真的拓展模型，该模型把可以模拟垂直屏幕视差小于20度的情况，我们还提出了视网膜偏心率模型来分析第一视角的几何失真问题。我们设计了心理物理学实验，去测量不同的垂直屏幕视差下的深度感知，发现我们的模型优于现有的模型。立体视觉中的几何失真主要是由图像在采集、显示和观看过程中的参数不匹配导致的，进而导致单眼深度信息和双眼深度的不匹配，即深度线索的冲突，从而可能引发晕动症。我们提出了晕动症的测量方法，包括主观量表和平衡性客观测量，从而能够定量地分析晕动症的晕动程度。最后，我们深刻地对采集、显示和观看的参数做了分析，并提出了减轻晕动症的方法。 此外，我们还在计算机三维视觉展开研究，包括三维人脸重建、基于图卷积的三维网格表征学习、三维网格的连续表征学习和基于三维渲染的不可见码等。.在完成上述研究内容基础上，本项目执行期内共发表学术论文14篇，包括SCI期刊6篇，会议论文8篇，其中IEEE/ACM汇刊等权威期刊及CCF A类会议论文4篇，协助培养博士研究生2名，硕士研究生3名，本项目成果获得CVPRW-2020的最佳论文奖。