基于人类3D视觉感应的2D到3D视频转换关键技术研究

2D-to-3D conversion is a very important solution to the lack of 3D contents, meanwhile, how to guarantee the visual comfort of 3D videos is one of the most important and difficult issues in this area. We study 2D-to-3D conversion technology based on human 3D visual perception in this project. By analyzing and understanding the human 3D visual perception mechanism, the 3D visual perception characteristics can be extracted, and the spatio-temporal 3D visual perception model can be created. Then the depth map can be estimated based on the model, and processed by the spatio-temporal filter. Next, the rendered holes generated by DIBR algorithm can be removed according to the 3D visual conjunction effect, and the high quality 3D video will be obtained. At the same time, we use 3D video quality evaluation system to guide the parameter configuration in the 3D visual perception model. Finally these researches will be integrated into the existing 2D-to-3D conversion software system. The results of this research project are able to provide the theoretical basis and technical methods for solving the more visual comfortable 3D video production issues. Its achievements can promote the development of our 3D industry significantly.

2D到3D转换是解决目前3D视频内容缺乏非常重要的解决方案，同时，如何获得对人类视觉舒适的3D视频仍然是该领域的重点与难点问题。本项目主要研究基于人类3D视觉感应的2D到3D视频转换技术，从分析和理解人类3D视觉感知机理出发，选择和提取3D视觉信息感知特征，建立时空融合的3D视觉感知模型，在模型基础上进行深度图估计并利用时空联合滤波器对其进行处理，然后而利用3D视觉掩蔽效应，对DIBR渲染空洞进行处理，进而得到高质量的3D视频。同时，利用3D视频质量评价体系进行学习并指导3D感应模型中的参数配置，最后将算法应用到现有2D到3D转换软件系统中。本项目的研究成果，能够为制作更加舒适的3D内容提供理论依据和技术方法，对推动我国3D产业的发展具有重要意义。

2D到3D视频转换是生成3D视频的关键技术之一，具有重要的研究价值和实用价值。本项目针对2D到3D视频转换过程中存在的问题，利用2D视频内容信息，在半自动深度图生成，全自动深度图生成，基于深度图的虚视点绘制等方面开展了相关研究。在半自动深度图生成方面，研究了基于压缩域的2D到3D视频转换算法，利用压缩域中的运动矢量信息、解码2D视频信息、关键帧或前一非关键帧的深度图信息快速地对当前帧的深度图进行赋值和推理。同时在人类3D视觉感应模型的基础上，研究了基于深度学习的深度图生成算法，包括采用基于场景深度模式的深度图生成算法和基于对象分割的深度图推理算法，得到针对特定场景的高质量的3D视频。在基于深度图的虚拟视点绘制方面，研究了基于生成对抗网络（GAN）的空洞修复算法，并利用视频各帧之间的数据相关性对修复后的数据进行处理，得到时域一致性较强的左右视点序列，提高3D视频观看者的舒适感。项目实现了预期研究目标，为进一步推动3D视频技术的发展奠定了一定的理论与技术基础。