基于合成视点失真模型的三维视频质量增强研究

Three dimensional video (3DV) can provide viewers immersive vision experience, meanwhile, it also brings huge challenges for the transmission network. Currently, in order to reduce the amount of transmitted data, the most popular solutions are the adoptions of efficient 3DV representations and coding methods. However, the quality of coded video highly depends on the efficiency of coding methods. Therefore, for maintaining the watching quality, not only the coding efficiency needs to be improved, but also the quality of decoded video needs to be enhanced. In previous works, the original video which is not coded, has been used as the reference to evaluate the efficiency of video coding and quality enhancement. However, this did not take the quality of synthesized view into account. Therefore, the synthesis distortion model will be used to improve the coding efficiency and enhance the quality of 3DV in this project, so as to guarantee the minimum video distortion under given transmission bitrate. The research work contains three parts, i.e. the distortion model of the synthesized viewpoint is built by analyzing the synthesis process；the rate-distortion optimization and bit allocation problems are solved by the above distortion model and Lagrange multiplier method；an efficient deep learning network is designed based on the above distortion model and high correlation between each view.

三维视频（3DV）带给用户沉浸式视觉体验的同时也对传输网络提出了巨大的挑战。面对3DV数据量的激增，目前常见的解决办法是通过高效的三维数据表达和压缩编码减少待传输的数据量。但编码后的视频质量在很大程度上受编码性能的影响，因此为了保证观看效果不仅需要提高3DV的编码性能，还需要增强解码端的视频质量。然而现有的针对3DV编码性能和质量增强的研究主要还是以未编码的原始视频为参照，没有考虑后端合成视点的视频质量。因此，本课题拟利用合成视点的失真模型分别对3DV编码的率失真优化和视频质量增强进行深入研究，以保证在给定码率下可以通过编码效率的提升和视频质量的增强实现视频失真的最小化。具体包括三个方面：通过分析3DV虚拟视点的合成过程，建立合成视点的失真模型；利用该模型及拉格朗日乘数法求解多视点3DV编码的最优码率分配问题；利用提出的失真模型和视点间的高度相关性，设计出高效的深度学习网络以增强视频质量。

本项目的研究围绕在有限视频编码资源限制下，根据合成视点质量最优化码率分配和提升压缩后视频质量这一科学问题，研究符合人眼视觉特性的视觉质量提升机制。在此基础上，研究合成视点视频的失真模型、率失真优化方法和基于深度学习网络的视频质量增强方法。进而完成研究目标。同时，项目组还深入研究了设计各类高效的深度神经网络对视频图像质量进行增强。最后，在多视点三维视频编码优化和质量增强方面实现了核心理论与关键方法上的突破，具有一定的原创性。项目组共发表学术论文14篇，其中包括国际SCI期刊7篇（国际权威期刊IEEE Transactions系列刊物5篇），国际会议7篇（CCF推荐A类会议1篇），申请中国发明专利3项，国际PCT专利2项。目前已授权国家发明专利1项，通过PCT检索2项。基于本项目的成果积累，项目组负责人金枝博士在2020年获批国家自然科学基金面上项目1项（62071500，复杂天气及光照下的移动视觉感知增强理论与方法），继续开展视频质量增强的算法研究。项目组中1位同学获得工学博士学位，2位同学获得工学硕士学位。课题组按照研究计划如期执行，完成了预期的研究和人才培养目标。