面向用户体验质量的高效3D视频编码理论与方法

Three-Dimensional(3D) Video Systems have drawn more and more worldwide attention since it can provide novel and impressive visual enjoyments including 3D depth, immersive perception and interactivity. However, big data volume of 3D video is the bottleneck for 3D video applications, thus it requires highly efficient and low complex coding algorithms to compress them.3D video quality measured by peak signal-to-noise ratio in traditional coding system can hardly truly reflect the 3D perception quality of human eyes, and thus, the visual redundancies in 3D video are not effectively removed. In this project, we will investigate the Quality of Experience (QoE) of the 3D video systems, perform subjective quality assessment and create the 3D visual database, and present the prediction model and metrics for QoE; Then, We will investigate the QoE rate-distortion theory, model multi-objective problems in 3D video coding and develop their Pareto optimal solutions. Finally, based on the new rate-distortion model and multi-objective model, we will develop high efficiency 3D video coding algorithm to remove visual redundancies and optimize resources allocation, such as the bit rate, visual quality and computational power. This project will establish a framework of QoE evaluation, optimization theory for 3D video, and achieve the theoretical innovations and technological breakthroughs in 3D video processing, which can essentially promote 3D video industries.

三维（3D）视频系统以其特有的立体感，沉浸感以及交互性视觉体验，应用前景广泛，然而海量3D视频数据的高效压缩和有效计算是其广泛应用急需解决的关键和难点问题，是当前国内外研究热点。传统编码系统以峰值信噪比等指标度量3D视频失真，难以真实反映人眼对3D视频的主观感知，导致冗余消除效果有限，难以将压缩效率和效果最大化。本项目首先将从内容、显示以及人等因素出发，分析3D视频系统的用户体验质量(Quality of Experience, QoE)，开展主观实验并搭建测试库，建立QoE的预测模型和度量方法；然后，构建基于QoE的率失真优化理论，研究面向3D编码的多目标优化问题建模与基础性问题求解；最后，设计基于QoE的率失真优化和多目标优化的3D编码方法，挖掘视觉冗余，优化码率、质量和计算等资源配置，实现3D视频的高效编码。本项目可实现3D视频编码与优化的理论创新与技术突破，促进3D视频广泛应用。

三维（3D）视频系统以其特有的立体感，沉浸感以及交互性视觉体验，应用前景广泛，海量3D视频数据的高效压缩和有效计算是其广泛应用急需解决的关键。传统编码系统以峰值信噪比等指标度量3D视频失真，难以真实反应人眼对3D视频的主观感知，需要进一步消除冗余，将压缩效率和效果最大化。本项目首先将从内容、显示以及人等因素出发，分析了3D视频系统的用户体验质量（Quality of Experience， QoE），开展了主观实验并搭建了测试库，建立了QoE的预测模型和度量方法；然后，构建了基于QoE的率失真优化理论，研究了面向3D编码的多目标优化问题建模与基础性问题求解方面；最后，设计了基于QoE的率失真优化和多目标优化的3D编码方法，挖掘了视觉冗余，优化了码率、质量和计算等资源配置，提高了3D视频的编码效率。本项目实现了3D视频编码与优化的理论创新与技术突破，将促进3D视频广泛应用。..本项目组已在IEEE Transactions on Image Processing (7篇)，IEEE Transactions on Industrial Informatics （1篇）, IEEE Transactions on Broadcasting (7篇), IEEE Transactions on Circuits and System for Video Technology （2篇）， Multimedia Tools and Application （2篇）, Journal of Visual Communication and Image Representation （4篇），Neurocomputing （1篇）， IET Image Processing （2篇），Journal of Electronic Imaging （1篇）， IEEE Access （1篇）等本领域国外代表性学术期刊和会议发表（录用）学术论文33篇，其中SCI期刊论文27篇，IEEE ISCAS、IEEE ICIP、IEEE ICCCS、VCIP等会议论文5篇。申请发明专利14项，软件著作权4项。安排成员参加国际会议5次，参加学术技术交流会4次，交流访问1次，并邀请4位境外专家和4位国内同行进行学术交流。项目组负责人受邀作特邀报告10余次。课题组如期顺利完成研究任务。