三维视频视觉质量增强关键理论与方法

3D video technology based on depth data and view synthesis has been widely accepted as a new generation 3D video, due to the benefits of efficiently supporting multiple types of 3D displays and various 3D viewing preference of different viewers. In 3D video system, content generation, 3D video compression, view synthesis and stereo pair composition may introduce image distortions into the presented stereo pair and thus compromise visual quality. The binocularly different texture patterns in two eyes may not be fused into a stable unitary percept in the brain and evoke binocular rivalry, which introduces visual discomfort. The project aims to improve 3D video quality from two aspects: efficient 3D video coding theory and quality-enhancing post-processing. The research highlights include 1) coding structure optimization theory for a 3D data package consisting of texture and depth data from multiple frames and viewpoints, 2) multi-order prediction theory which fuses spatial, temporal and inter-view prediction clues, and 3) modeling of binocular visual properties, upon which the binocular rivalry aritfact detection and suppression algorithms. These researches are aimed to significantly improve the effciency of 3D video system and the visual comfort of 3D viewing, to reduce the physical side-effect from long-term 3D viewing, and hence contribute to the applications of 3D video technology.

基于深度图像视点绘制的三维视频系统因只需要少数几个视点的数据即可支持多种显示设备和不同观看者的需求，因此成为立体视频与多视点视频之后被逐渐广泛接受的三维视频数据格式。对于这样的三维视频系统，内容获取、压缩编码、虚拟视点合成、立体视频对构成均可能引入失真，进而影响主观视觉质量，特别是双目图像的差异化失真可能造成在大脑中无法融合为稳定单一的影像而引发双目竞争，造成观看不适。因此本项目拟研究高效三维视频编码和有效的后处理，主要包括：研究由多帧、多视点、纹理附加深度数据构成的编码图像包的高层编码结构优化理论和方法；研究融合空间、时间、视间多线索的多重视频预测编码理论和方法；建立双目竞争视觉特性计算模型，并探索相应的失真检测方法和抑制算法，等等。通过上述研究，预期明显提升三维视频系统的运行效率和三维视频观看舒适度，减轻因长期观看三维视频对人体生理的副作用，从而促进三维视频技术的广泛应用。

随着显示技术和内容制作技术的不断发展，三维视频应用日益广泛，但三维视频的观感质量仍被长期诟病。本项目围绕双目视觉感知特性及体验质量的客观度量、基于感知质量度量的三维视频高效编码这两个三维视频视觉质量增强的核心科学问题开展研究，从源头上揭示视觉感知规律，从视频内容上提升观看质量，助力推动三维视频产业发展。.本项目取得的重要研究成果包括：.在双目视觉感知特性及体验质量的客观度量方面：引领开展针对视频内容的双目竞争现象的相关研究，建立了首个开放使用的人工标注双目竞争图像数据库。建立了基于双目对比度差异的竞争检测计算模型，该模型达到了在自然场景图像上与人工检测准确率相当的水准。率先在视频质量评价中引入双目竞争的因素，完善了视觉感知质量的客观评价体系，通过使用基于图像的竞争检测模型，使视频质量评价难题获得新的突破。.在基于感知质量度量的三维视频高效压缩编码方面：建立了基于频域分析的合成视点预测误差分析数学模型，依此指导确定了超多视点和自由视点三维视频编码的基本编码结构、选定了重要编码参数，演化出了新的高效编码工具，编码效率提升10%以上，在国际标准组织中引领超多视点和自由视点编码标准的工作，为新一代标准制定提供了理论支撑和技术证据。.项目期间，总共发表论文24篇，其中SCI收录论文12篇；申请专利14项，其中国际专利3项；向国内视频编解码标准AVS提交相关提案11项，其中6项提案被采纳；向国际视频编解码标准MPEG提交相关提案27项，其中关于全向视频客观质量评价方法的1项提案被采纳；向国际沉浸式视频编解码标准IEEE 1857.9提交相关提案7项。