面向虚拟视角合成的客观质量评价方法及其应用研究

Virtual view synthesis has wide applications in many fields, including multi-view video, free-viewpoint Television, education and entertainment, where the quality of the synthesized views is crucial to the success of these applications. However, traditional quality models can not accurately evaluate the quality of view synthesis, because they are very sensitive to the geometric distortions in view synthesis. In this project, object quality assessment models for view synthesis will be studied by analyzing the impacts of different stages in view synthesis on the perceived quality. The detailed contents are as follows. The spatial distortions of synthesized view images will be first analyzed by combining the characteristics of texture/depth images and the rendering process. Then we will develop no-reference quality model for multiply-distorted texture images, joint quality model for depth distortion and rendering process, based on which we will design dynamic weighting strategy for building comprehensive quality model for synthesized images. Based on the modelling of spatial distortions, this project will further analyze the characteristics of temporal distortions in synthesized videos. Then we will develop no-reference quality model for measuring the temporal domain coherency of foreground, quality model for video background, based on which we will incorporate video saliency to build comprehensive no-reference quality model for synthesized view videos. Finally, based on the developed objective quality models, this project will further study their applications in perceptually driven performance evaluation and optimization of virtual view synthesis algorithms. The research results of this project can provide important references for the design of virtual view synthesis algorithms and multi-view texture/depth coding, which have important theoretical significance and practical application value.

虚拟视角合成技术在多视角视频、自由视角电视、教育、娱乐等众多领域有广阔的应用前景，而视角合成质量是决定其能否成功应用的关键。然而，传统的质量评价模型由于存在对几何失真敏感的局限，不能准确评价视角合成的质量。鉴于此，本项目通过分析视角合成各环节对合成质量的影响机理，有针对性地研究其客观质量评价方法及应用。具体包括：结合纹理/深度图像及绘制过程的特点，分析合成图像的空域失真特性，研究多失真纹理图像的无参考质量评价、深度与绘制过程的联合质量评价，并在此基础上设计动态加权策略研究合成图像质量综合评价模型；在空域失真建模的基础上，进一步分析视角合成视频的时域失真特性，研究前景的时域一致性和背景失真的定量描述，并结合视觉显著性研究合成视频的无参考质量模型；最后，基于客观质量模型，研究视角合成算法的评价与优化。本项目研究成果能为视角合成算法设计、纹理与深度编码提供重要依据，具有重要的理论意义和实用价值。

虚拟视角合成通过对多个已有视角进行绘制，生成可以自由切换视角的视频，从而带来更具沉浸性和交互性的观看体验。随着元宇宙概念的兴起，视角合成技术在自由视角电视、教育、娱乐等众多领域都有广阔的应用前景。准确高效的视角合成质量评价方法是视角合成算法设计与优化的核心技术，而传统的质量评价模型由于对几何失真极为敏感，无法有效评价视角合成的质量。针对上述问题，本项目通过分析视角合成各环节对合成质量的影响机理，有针对性地研究了其客观质量评价方法，并将其用于视角合成算法的性能评价。主要研究内容包括：（1）深入剖析了纹理/深度图像及绘制过程的特点，分析了合成图像的空域失真特性，提出了基于局部几何失真描述、基于实例降质度量与全局表征的部分参考型图像质量评价方法，基于多尺度边缘统计与纹理自然特性的无参考型图像质量评价方法，基于纹理图像与深度图像融合的图像质量预测方法，基于边缘轮廓多阶表示特性的深度图像质量无参考评价方法。（2）分析了视角合成视频的时域失真特性，提出了基于时域闪烁效应描述的视角合成视频质量无参考评价方法。（3）将所提出的客观质量评价方法用于视角合成算法的性能评价。（4）针对项目相关的通用无参考型图像与视频质量评价方法，以及图像重定向、色调映射、美学等新型质量评价应用需求，提出了多种有效的算法。对于上述提出的各种算法，在国际公开数据集上进行了实验验证，均取得了优秀的性能。本项目的研究从理论和实验上揭示了虚拟视角合成过程中的图像与视频失真特性，通过设计能够定量描述上述失真的特征，从不同的角度提出了多种有效的质量评价算法，达到了项目的预期目标。本项目的研究成果可为视角合成算法的设计与优化、性能评价等提供强有力的工具，具有重要的理论意义和实用价值。