基于神经影像的立体视觉舒适度神经机制研究

The development of advanced stereoscopic display makes the stereoscopic imaging become possible. The stereoscopic images that are generated by most stereoscopic displays may cause visual discomfort. In the stereoscopic visual comfort studies, most previous studies investigated how the stereoscopic images result in visual discomfort. However, the neural mechanism underlying the stereoscopic visual comfort is still unknown. Moreover, the studies that investigate the mapping between the stereoscopic visual comfort and brain activities haven’t been found. This project will investigate the following three critical issues by using both fMRI and EEG techniques. (1) The neural mechanism underlying the stereoscopic visual comfort. (2) The encoding and decoding computation model based on the neuroimaging data. (3) The regulation of stereoscopic visual comfort using the neurofeedback technique. The outcomes of this project will provide the evidence for the design and improvement of the stereoscopic display and finally contribute to the wide application of stereoscopic movie, TV, computer games and the virtual reality.

先进立体显示设备的发展使得人类观看立体影像成为可能。然而，使用主流的立体显示设备时，观看立体图像会使人产生视觉不舒适感。在立体舒适度的相关研究中，大多数研究关注的是立体图像自身的特征是如何导致立体视觉不舒适，而真正引起立体视觉不舒适度的内在神经机制尚不清楚，更缺乏刻画立体视觉舒适度和大脑活动之间的映射关系的研究。本项目拟将采用fMRI和EEG技术，针对立体视觉舒适度与脑活动映射关系研究中所存在的关键问题，重点开展三个方面研究：（1）立体视觉舒适度加工的神经机制；（2）基于神经影像的立体视觉舒适度编解码计算模型；（3）基于神经反馈的立体视觉舒适度调节。本项目的研究成果能够为立体显示器的设计和性能改善提供科学依据，最终推动立体电影、立体电视、立体计算机游戏以及虚拟现实等三维技术的更广泛的应用。

先进立体显示设备的发展使得人类观看立体影像成为可能。然而，使用主流的立体显示设.备时，观看立体图像会使人产生视觉不舒适感。本项目针对立体视觉舒适度与脑活动映射关系研究中所存在的关键问题，开展了三个方面研究：（1）立体视觉舒适度加工的神经机制:基于copula函数分别构建了EEG时空依赖性提取模型、EEG全局时间依赖以及EEG局部时空依赖的深度模型，提高了对三维视觉不舒适评估的准确性。利用隐马尔可夫模型（HMM）揭示了与三维视觉刺激不舒适相关的EEG动态功能连接特性。（2）基于神经影像的立体视觉舒适度编解码计算模型：构建了基于体素的Garbor编码模型从脑活动中识别新的视差水平，揭示了V3A complex是表征视差信息的关键视觉脑区。构建了从三维视觉刺激到脑活动的编解码模型，从脑活动中重构出来呈现的三维视觉刺激，揭示了视差信息和对比度信息首先在两种不同的视觉通路（早期和背侧）中分别进行加工，然后这两通路相互作用最终共同表征3D图像。（3）三维图像质量评价以及三维虚拟场景重建：提出了深度图的图像绘制（DIBR）合成图像的无参考质量评价算法以及基于自然度和双目对称分析的无参考立体图像质量评价算法，提高了立体图像评价算法性能。提出了一种构建双向虚拟现实环境的模式和实施方案，对研究用户对虚拟环境的适应性表现具有重要意义。