基于视觉感知的高效3D全景视频编码压缩研究

High Efficient 3D Panoramic Video Coding is a challenge research problem for the application of virtual reality application. The compression performance is limited, since the visual perception properties are not well utilized for removing the visual redundancy. Besides, the performance of codec is influenced by projection and splicing schemes, thus the rate-distortion optimization and post-processing stages in the codec will become complex. For practical applications, the traditional R-D curves can not be directly employed for bit allocation and rate control optimization. In this project, we will first build the 3D Panoramic video quality database by considering diversity of attributes. Then, we will investigate the visual perception models and perceptual distortion metrics. Second, we will investigate perception based rate distortion optimization and post processing methods . Final, the perception based bit allocation and rate control optimization schemes will be investigated. This project will achieve the theoretical innovations and technological breakthroughs for resource allocation optimization of 3D Panoramic video coding, which can benefit the virtual reality application.

高效3D全景视频编码压缩是虚拟现实应用急需解决的关键和难点问题，是当前国内外研究热点。现有方法未能有效的结合视觉感知特性，挖掘和消除视觉冗余，限制了编码压缩效率的提升。此外，3D全景视频内容的投影方法直接影响到编码压缩效率，率失真优化过程和编码后处理过程更加复杂。在具体应用时，由于视频内容和压缩方式改变，传统的编码特性已不再适用，相应的码率分配与控制优化算法都需要做相应的研究。本项目将1）首先开展针对3D全景视频内容，建立3D全景视频质量数据库。在此基础上，设计视觉感知计算模型和视觉失真度量模型。2）然后，探索基于视觉感知的数据表示和率失真优化方法，以及面向视觉质量的滤波器优化方法，以提升编码器压缩效率。3）最后，面向应用需求，研究基于视觉感知的码率分配与控制优化方法，以实现系统性能与用户体验联合最优。本项目可实现3D全景视频编码的理论创新与技术突破，促进沉浸式媒体系统的广泛应用。

本项目瞄准虚拟现实产业高速发展与广泛应用的契机，针对超高清3D全景视频数据“难度量”、“难编码”、“难优化”的问题，围绕人类视觉和机器视觉感知需求，研究3D全景视频视觉感知计算方法；再研究基于视觉感知的投影格式自适应转换、帧内预测模式、滤波器优化、智能图像压缩技术方案等3D全景视频编码方法，以提升编码器压缩效率。面向应用需求，研究基于视觉感知的资源分配与控制优化方法，以实现高效的3D全景视频编解码系统。在视觉感知、场景理解和全景视频编码优化等方向具有一定的原创性。项目组共发表学术论文26篇，其中包括国际SCI期刊14篇（国际权威期刊IEEE Transactions系列刊物9篇），国际EI会议12篇（CCF推荐的A类会议5篇，B类会议2篇），申请发明专利7项。..项目组负责人王旭博士晋升长聘副教授。项目组成员金枝博士在博士后出站后获聘中山大学“百人计划”副教授。张秋丹、孙圳昊和张乒乒同学在获得深圳大学硕士学位后，赴香港城市大学攻读博士学位。其中张秋丹在博士毕业后已于2022年加入深圳大学计算机与软件学院，任助理教授。总之，项目组按照研究计划如期执行，完成了研究目标。