基于感知视者及视频码流中矢量特征的视觉舒适度增强的3D视频解码

With the spring up of 3D video related industry, it is possible to play 3D video on TV, Internet and mobile device and it appears changes with each passing day. However, the problem of visual fatigue caused by viewing 3D video becomes the bottleneck of developing 3D related industries. Thus, how to enhance the comfort of viewing 3D video becomes the hot topic of research. The project will study the theory and technologies of 3D video decoding by combining perceiving viewer and vector features inside the video coded bitstream. Starting from the point of "viewer as the foundation", the project studies the theory and technologies of 3D video decoding with visual comfort enhancement by utilizing the theory and technologies of perceiving viewer and vector feature correlation inside video coded bitstream, proposes the adaptive disparity adjustment method with consistence between convergence and accommodation by exploring the correlation model between viewer information such as viewing position and angle and the disparity within fusion area of eyes; explores the correlation between the characteristic of disparity vector distribution in the video decoding and the vertical disparity of the decoding 3D video and proposes the visual comfort enhancement algorithm; studies the correlation between the relevant feature of motion vectors and disparity vectors and the feature of disparity variance and proposes the related visual comfort enhancement algorithm of 3D video; proposes the quantitative evaluation method of visual comfort of 3D video; provides a more complete visual comfort enhancement algorithm of 3D video. The project has the practical meaning for the development of 3D video industry.

随着与3D视频相关产业的兴起，3D视频的电视播放、网络播放、移动设备播放成了可能，且呈现日新月异的昌盛期。然而，观看3D视频引起的视觉疲劳问题越来越成为3D视频相关产业发展的瓶颈，如何增强观看3D视频的视觉舒适度问题成为目前的研究热点。项目以"视者为本"为研究着眼点，利用感知视者及视频码流中矢量特征关联理论与技术，研究视觉舒适度增强的3D视频解码理论与技术。通过研究建立视者观视位置和角度等信息与双眼可融合视差之间的相关模型，提出自适应的视差调整方法使辐辏与调节一致解码算法；研究 3D视频解码中的视差矢量分布特性与解码视频垂直视差之间的相关性，提出舒适度增强3D视频解码算法；研究运动矢量和视差矢量关联分布特征与视差变化特征之间的相关性，提出相应的3D视频舒适度增强的解码算法；提出3D视频观视舒适度的量化评价方法；给出较完整的3D视频舒适度增强的解码算法。项目对于3D视频产业发展具有现实意义。

近年来3D视频的电视、网络和移动设备播放呈现日新月异的趋势。然而，观看3D视频引起的视觉疲劳问题越来越成为3D视频相关产业发展的瓶颈，因此，研究3D视频的观视视觉舒适度增强算法与技术是非常重要的。本项目以提高3D视频观视舒适度为目标开展研究工作，探索基于视者感知的舒适度增强机理与方法。项目研究建立了观视者观视特征与3D视频显示之间三维关系模型；提出了基于单摄像头检测观视特征与显示终端位置的方法，对不同实验者在不同的距离条件和随机视角下的视距检测结果相对误差能控制在3.6%的范围内，系统的检测视角相对误差基本控制在2%的范围内；提出了基于观视特征的视差调节方法，改善辐辏与调节的不一致性；分析了3D视频码流中的已知视差矢量的数值和分布等特征，提出了基于3D视频解码中的视差矢量数值和分布与垂直视差的关系模型，利用该模型可以快速判断解码的3D视频是否存在垂直视差及其大小和分布；提出了基于三维射影变换矩阵的垂直视差消除方法和基于自适应插值算法的立体视频垂直视差消减方法；提出了基于视差变化连续性调节的3D视频舒适度增强方法；针对3D电影观看中易产生视觉疲劳的问题，提出了基于视差调节的3D视频视觉舒适度增强方法，通过非舒适帧的视差调节后得到的立体视频观视舒适度比处理之前提高了5.13%；提出了结合颜色和曝光度信息的改进SIFT图像匹配方法；提出了针对辐辏与调节一致性的3D视频舒适度评价方法和针对视差信息的3D视频舒适度评价方法，所提出的客观评价方法的评价值与人类主观感知立体视频视觉舒适度的结果具有较好的一致性。项目研究成果申请发明专利6项，发表学术论文29篇，其中SCI检索3篇，EI检索10篇，北大中文核心期刊论文7篇；培养毕业了博士研究生2名，硕士研究生10名，即将毕业硕士研究生5名；参加6人次国际学术会议并交流学术论文；形成了一套完整的3D视频舒适度增强技术体系，设计实现了相应的算法软件。研究成果对3D视频相关产业的发展具有较大的实际应用价值。