基于轻量模型的立体视频转换生成与编码技术研究

The digital video industries are tranferring from 2D to 3D, 3D video technologies have been used in 3D cinema, 3DTV, mobile and internet TV etc. However, compared with 2D video, 3D video content is heavy lacking, and the data quantity of 3D video is multiples of 2D video, which are the two bottleneck problems preventing 3D video from broadly being on the market. Based on our owned techniques on 3D video content generation and 3D video coding, this project is aiming to invernt new object-baased compact 3D video representation model, interactive 2D-to-3D video conversion, and high performance 3D video coding algorithms. Some priliminary experiment results show that, by the proposed object-based compact 3D video represetation model, not only the converted 3D video quality has been greatly improved, but higher compression performance of the converted 3D video can be obtained. Research results of this project will be key techniques for 3D video generation and transimission, and be contributed to the international and domestic 3D video standards.

数字视频技术和应用正在经历从平面到立体的变革，立体视频开始被应用到3D电影、3D电视广播、移动和互联网3D视频点播等各个领域。但是，与平面视频相比，立体视频内容匮乏、内容生成难度大，立体视频的数据量成倍增长、存储和传输的成本急剧增加，成为制约立体视频大规模应用推广的瓶颈问题。本项目在已有的立体视频内容生成和编码技术基础上，研究新型基于对象的轻量级立体视频表示模型，研究基于该表示模型的交互式平面视频到立体视频的内容转换生成技术和高效的立体视频编码技术，将二者融合构造完整的立体视频服务框架。目前的一些实验结果表明：基于对象的轻量级表示模型将立体视频内容生成和编码相融合，不但可以提高立体视频转换生成质量，同时可以大幅度的提高所生成立体视频的编码效率。本项目的研究成果将为立体视频内容的快速生成和网络传输提供关键技术，同时向国内外立体视频标准贡献技术提案。

立体视频逐渐被应用3D 电影、3D 电视广播、虚拟现实等各个领域。但是，与平面视频相比，立体视频内容匮乏、内容生成难度大，立体视频的数据量成倍增长、存储和传输的成本急剧增加，成为制约立体视频大规模应用推广的瓶颈问题。本项目研究新型基于对象的轻量级立体视频表示模型，研究基于该表示模型的交互式平面视频到立体视频的内容转换生成技术和高效的立体视频编码技术，将二者融合构造完整的立体视频服务框架。本项目提出基于轻量模型的3D视频编码算法，该算法基于前景轮廓和背景深度模板的轻量模型来代替传统的深度图表示，进一步降低了3D视频编码的码率，比国际上主流的MVC算法编码效率提升了30-40%。提出基于颜色分块的深度图全局估计方法，在专业视差估计算法评测平台Middlebury的测试中排名第2（共140余算法）。项目负责人领导制订了国际互联网视频编码标准MPEG ISO/IEC 14496-33: Internet Video Coding草案，该标准的编码效率超过了由谷歌公司主导提出的VCB标准和由苹果公司主导提出的WebVC标准，成为目前国际上最先进的免专利费标准。本项目组提出的分像素滤波器、去块效应滤波器和自适应块变换等技术提案被该标准采纳。 项目负责人还领导了国际虚拟现实视频编码标准IEEE 1857.9:Immersive Visual Content Coding 的草案制定，本项目提出的3项专利技术：基于双极方形映射的全景视频映射模型，基于感兴趣区域的全景视频映射模型和基于动态码流切换的全景视频非均匀映射模型被该标准采纳，码率比传统全景视频编码方法节约20%~70%。本项目组提出的运动矢量预测和加权量化2项专利技术被AVS2标准采纳。在视频处理和编码领域公认的高水平国际期刊和会议上发表了论文30篇，包括IEEE Signal Processing Magazine, IEEE Transactions on Image Processing，IEEE Transactions on Circuits and Systems for Video Technology等国际顶级期刊论文6篇，SCI论文11篇。申请发明专利10项、培养博士后、博、硕士研究生20名。研究成果在腾讯获得转化应用。超额完成了项目预期的各项目标。