QoE驱动下的基于内容分析的3D视频感知编码研究

The naked eye 3D video technology is the direction of the future development of virtual reality, while the current 3D video coding efficiency is limited and 3D QoE of user is poor. It is one of reason why practical application of 3D video is limited nowadays. Starting from the terminal user QoE, it is urgent to explore a new high efficient 3D video coding method. This project intends to study two aspects including QoE-driven perceptual model and 3D perceptual coding method based on the content analysis, by constructing 3D perceptual model fully exploiting the human eye 3D visual characteristics and the 3D video characteristics, proposing a perceptual 3D video preprocessing method based content analysis, designing a perceptual 3D coding method based on local features analysis and a rate optimization allocation strategy for 3D video, we proposed an efficient 3D perceptual video coding method based on visual content analysis, which solves existing coding problem failed to fully make use of the human visual perception characteristics and failure to use related advanced visual content analysis technology, leading to limited coding efficiency, high complexity, and poor user 3D quality of experience. The project is expected to be achieved research results with independent intellectual property core technology. It will promote the conjunction of visual perception theory, visual content analysis theory and 3D video technologies and will be applied for free viewpoint television, 3D video, virtual reality related other fields.

裸眼3D视频技术是虚拟现实未来发展的方向，而当前3D视频编码效率有限、3D显示效果不佳等问题是3D视频的实际应用推广受限的主要原因之一。从终端用户QoE出发，寻求高效的3D视频编码新方法是亟待解决的问题。本项目拟研究面向QoE的感知模型和基于内容分析的感知3D编码方法，通过构建充分挖掘人眼视觉特性和3D视频特点的3D感知模型和提出基于内容分析的感知3D视频编码预处理方法，设计基于局部特征分析的高效3D感知编码框架及3D视频码率优化分配的策略，获得一套高效的基于内容分析的感知3D视频编码新方法，解决现有编码方法未能充分挖掘人眼视觉感知特性、未能利用视觉内容分析先进技术及效率有限、复杂度高、不能兼顾用户的3D视觉体验质量等问题。预期本项目可取得具有自主知识产权核心技术的研究成果，可促进视觉内容分析理论、视觉感知理论与3D视频技术结合，可应用于自由视点电视、3D视频、虚拟现实等领域。

裸眼3D视频技术是虚拟现实未来发展的方向，而当前3D视频编码效率有限、3D显示效果不佳等问题是3D视频的实际应用推广受限的主要原因之一。本项目主要探索面向QoE的感知模型和基于内容分析的感知3D编码方法。获得主要成果如下：1）显著性感知模型：提出一种感知的显著性框架、一种基于自注意生成对抗网络的RGB-D显著性算法及一种非局部增强的生成对抗网络的3D显著性算法等，这些算法充分应用感知信息和3D深度信息，大大提高了3D显著性的检测能力；2）JND感知模型：提出一种基于超像素的区域JND模型、一种基于双目抑制的3D-JND模型及一种基于共生矩阵融合深度的JND模型，这些模型充分利用人眼特性和3D深度特性，有效提高了JND模型的准确性；3）QoE评估模型：提出一种基于双目时空内在推理机制和自然视频统计的3D视频质量盲评估及一种多尺度卷积神经网络的3D质量盲评估模型等，这些模型充分利用了人眼、人脑特性和3D深度特性，优于存在的算法，更符合3D视频的视觉体验质量; 4）基于内容分析的感知编码：提出了一种基于双目抑制的3D感知视频编码、一种基于内容的编码视频质量预测及一种基于压缩感知的3D视频编码算法，提出的这些编码方法充分利用了感知信息，视频内容信息及视差信息，与现存的3D视频编码算法相比，可获得更高的编码效率; 5）基于特征的视频编码重建：提出了一种基于LBP级联的多列卷积神经网络的超分辨率算法、一种循环多列3D卷积网络的视频超分辨率算法、一种双流的基于全局特征指导的重建算法及一种基于迭代投影的多列平滑空洞卷积的3D超分辨率重建算法，这些算法利用深度学习网络来学习帧内、帧间、视间的特征来重建视频帧，与现存的重建算法相比，可获得更高的重建视频质量。.上述研究成果，已取得具有自主知识产权核心技术的研究成果，可应用于自由视点电视、3D视频、虚拟现实、视频监控和无人机视频等领域。