面向应用环境的高效三维视频编码优化算法研究

Three dimensional video (3DV) could provide fully immersive, totally convincing and reality for observers. It has been the visual experience target of the human beings’ pursuit for decades. In order to be compatible with the existing video coding frameworks, multiview videos (MVV) or multiview videos plus depth maps (MVD) are usually used to represent 3DVs. Since the data volume of MVV and MVD are so large, the high efficiency coding algorithms and encoder optimization algorithms are critical technologies for the application of 3DVs. In this project, we will take the application environments and the human visual perception into consideration so as to design special coding optimization algorithms for 3DVs. The project will provide new theoretical supports and realization methods for the application of 3DVs, and will provide enough technical storage for next generation 3DV coding standard.

三维视频(Three-Dimensional Video, 3DV)可以让用户体验到“身临其境”的立体视觉感知，数十年来一直是人类追求的视觉体验目标。为了与已有视频编码框架兼容，3DV通常采用多视点视频(Multi-View Video, MVV)或多视点视频-深度(Multi-view Video plus Depth, MVD)来表示。由于MVV和MVD的数据量依然十分巨大，在带宽和存储容量有限的条件下，高效的压缩编码和编码优化算法是促进3DV大规模应用的关键技术。本项目将在前期研究的基础上，考虑3DV的应用环境，即移动应用环境和高保真应用环境，并结合不同应用环境下人眼的主观视觉感知的差异，分别设计3DV的编码优化算法。本项目将为3DV的大规模应用提供新的理论依据与实现方法，并将为下一代3DV编码标准做足技术储备。

在本项目的资助下，项目组顺利开展了申请书中的相关研究内容。对于高保真视频应用场景，我们以MSE作为失真准则，首先深入研究了虚拟视图的失真分布特征，提出了一种快速准确地虚拟视图质量PSNR估计方法、保障虚拟视图质量的深度图率失真优化编码及码率控制方法；研究了多视点视频之间的依赖关系，提出了面向多视点视频总体质量的编码优化方法。对于移动端视频应用场景，我们研究了基于DASH协议的流媒体传输方法，考虑了用户的视觉感知特征以及系统内用户的公平性要求，提出了新的用户体验质量模型，并据此设计了基于合作博弈与非合作博弈的传输控制策略；为应对复杂的网络波动，我们还提出了基于集成学习的码率自适应方法，以及视频内容的空间-时间一致性保持算法。此外，在基于混合失真测度的编码方面，我们综合考虑了MSE失真测度和SSIM失真测度，即在保障用户主观质量的条件下，使得MSE失真也最小，提出了相应的率失真优化编码方法以及虚拟视图质量增强方法。除此之外，课题组也将项目研究内容进行深入拓展，研究了下一代3D视频，即三维点云的高效压缩算法。研究期间共计发表论文34篇（28篇期刊，6篇会议），其中项目负责人以第一作者身份，在IEEE Transaction上发表论文10篇(1篇IEEE JSTSP，1篇IEEE TMC，1篇IEEE T CSVT，3篇IEEE T MM，4篇 IEEE T BC)，获得发明专利授权4项，为三维视频的大规模应用做出了一定贡献。