基于视觉认知的立体视频舒适感重绘方法研究

Visual fatigue when watching 3D content on a flat three-dimensional display is a common problem and has attracted many public concerns about potential adverse effects associated with prolonged viewing of stereo videos. There are numerous potential sources of adverse effects, but the vergence-accommodation mismatch is considered to be the main cause of visual discomfort. Under the guidance of visual cognition, this project proposes to solve this problem by adjusting the disparities of stereoscopic video and thus to change the depth of vergence perceived by viewers. The main research topics include: 1) cognitive basis of three-dimensional visual comfort and fatigue evaluation of the stereo video; 2) reference disparity plane extraction based on visual attention mechanism; 3) disparity adjustment based on Condition-Aware; 4) re-rendering of stereo video based on modified disparities. Completion of the project is expected to reveal the transmission mechanism of disparity information of stereo video in the regulation of vergence depth and its impact on visual fatigue at the psychological level, and will establish the basic theory and methods for rendering comfortable stereoscopic video. The results will give the audience a better viewing experience, and strengthen the capability of independent innovation of China's three-dimensional display technology.

观看立体视频时的视疲劳现象是目前平面立体显示技术中存着的普遍问题，其原因与视觉认知过程中的深度线索冲突有关，其中辐辏和聚焦调节之间的矛盾被认为是主要原因。本项目从人的视觉认知出发，提出了通过调整立体视频的视差信息进而改变辐辏深度的途径，来解决视疲劳问题的立体视频舒适感重绘方法研究。主要研究内容包括：1）舒适感立体视觉的认知学基础及立体视频疲劳度评价；2) 基于视觉注意机制的参考视差平面提取；3）基于Condition-Aware 的舒适感视差调整；4）基于视差调整的立体视频重绘方法。项目完成后，可望在心理层面揭示立体视频的视差信息在辐辏调节中的传导机制及其对视疲劳现象的影响，建立一种舒适感立体视频重绘的基本理论和方法。在给观众带来更好的观看体验的同时，加强我国在三维立体显示这一未来重要增长点的自主创新能力、研究水平和主动地位。

人眼观看3D影像时产生的视觉不适和视疲劳现象是一个普遍存在的问题。本项目首先对这一过程中视差、聚焦、辐合等在视觉认知过程中的作用机理进行了研究。在此基础上，开展了视觉心理实验，分别探讨了垂直视差、水平视差对观看舒适度的影响，得到如下结论：水平视差对视觉不适的影响显著低于垂直视差，垂直视差阈限为0.3-0.5PD，水平视差阈限为1-2PD。此外，我们还借助ThinkGear进行了eSense脑波参数测量，发现观看3D影片时，专注度随观看时间呈波动下降，其主观舒适度显著低于2D。以上述研究结果指导，开展了3D视频重绘研究，取得了如下成果：1）首先提出了适用于3D影像垂直视差校正的方法首先应满足的二个约束，即：“较小的畸变”和“保持水平视差的一致性”，并分别提出了改进的外极线校正方法和基于虚拟视点合成的垂直视差校正方法，很好的解决了这一难题。2）针对虚拟视点合成非常依赖于高质量深度图的事实，提出了一种鲁棒的虚拟视点合成方法。3）提出了基于度量重建的3D相机的运动估计方法，“场景三维结构一致性”约束的引入，提升了运动估计的精度，为后续基于运动信息的3D视频场景分类建立了基础。4）构建了机器学习的3D视频显著模型，通过对比实验证明能得到较好的显著度预测结果。上述问题的解决，进一步加强了我们在3D视频领域的研究能力和水平，同时也为该领域视觉认知问题的进一步深入研究建立了良好的基础。. 在项目研究过程中，培养7名硕士研究生，发表论文14篇，其中SCI论文6篇，国内期刊论文3篇，会议论文5篇，其中TOP会议（ICCV）论文1篇。申请国家发明专利5项，其中已授权3项。