新一代高效的三维自由多视点高清视频编解码系统研究

The research on 3D free multi-views HD video coding is in the initial stage, and it has a great potential and significance. The main goal of the new generation High Efficiency Video Coding (HEVC) standard is to significantly improve the compression performance with two times relative to the current H.264 standard for equal perceptual visual quality, however it brings huge implementation complexity and long coding time delay. HEVC needs to be revised and optimized to obtain better decoding quality, compression ratio and less coding time delay. This project will break through the conventional concept of the independent key technologies' optimization design in the HD video coding system, and will combine the ideas of fractal, human visual perception characteristics and parallel processing. Based on our ongoing research work, the following subjects will be researched: The new generation of high efficiency 3D multi-views HD videos coding system; The novel high precision stereo matching algorithm and to acquire the high quality depth maps; The novel depth map coding method; The novel real time and high efficiency free multi-views virtual view rendering method, and to solve the problems of occlusion, resampling and hole-filling in DIBR technology, meanwhile, improving the speed of virtual view rendering. The project will apply and obtain a series of invention patents on the major key techniques, and the proposed 3D free multi-views HD video coding system will have better quality of decoding images and virtual rendering views, higher coding efficiency, and real time performance than the state-of-the-art methods.

目前三维自由多视点高清视频的研究处于起步阶段，有巨大的潜力和意义。新一代高效视频编码标准HEVC对高清视频的压缩效率将为H.264的2倍，但同时带来巨大的编码复杂度和时延，HEVC编解码系统需要进一步改进和优化，以实现更优的解码质量、压缩比和更少的编解码时延。项目将突破高清视频压缩系统中关键技术独立优化设计的思路，结合分形与人眼感知特性及并行处理思想，基于申请者前期工作基础，项目将研究：基于分形和HEVC的新一代高效的三维自由多视点高清视频编解码系统；新的高精度立体匹配算法并获得高质量的深度图；新的深度图压缩编码方法；新的实时高效的自由多视点虚拟绘制方法，以期彻底解决DIBR技术中的重叠、重采样和空洞问题，并提高虚拟绘制的速度。项目将在主要关键技术上取得自主知识产权，所提出的三维自由多视点高清视频编解码系统将在解码质量以及虚拟视点绘制质量、压缩效率、实时性等主要性能指标上赶超国际先进水平。

本项目开展了新一代高效的三维自由多视点高清视频编解码系统研究，项目按计划完成了各项既定研究任务，研究目标完成情况主要包括：.1、项目开展了基于分形的三维自由多视点高清视频压缩技术的研究：项目将现有的单目分形视频压缩系统进行了优化，使其适应高清视频的压缩。然后将其改进技术扩展到三维自由多视点高清视频压缩系统中，并针对深度图的特殊特征，研究了深度图序列编码算法，从整体上提高了三维自由多视点高清视频分形编码系统的性能。实验结果表明：与国际视频编码标准HEVC参考软件HM13.0相比，项目所提算法在高码率情况下编码时间平均节省10.17%，低码率情况下编码时间平均节省24.12%，PSNR最多提高0.07dB，编码码率最多减少1.23%；与多视点视频编码标准的参考软件JMVC8.5相比，编码码率平均降低67.90%，峰值信噪比平均提高9.15dB，编码时间平均减少23.35%。.2、项目开展了基于决策树分类和分形的高清视频压缩系统的研究，实验结果表明：项目设计实现的基于决策树分类和三步搜索算法的帧内预测算法与HM15.0编码器相比，编码码率平均提高1.19%，峰值信噪比平均降低0.058dB，编码时间平均减少37.87%；基于分形编码的帧间预测算法与HM15.0编码器相比，编码码率平均提高7.86%，峰值信噪比平均降低0.164dB，编码时间平均减22.37%。.3、项目开展了利用立体匹配获取深度信息的研究，提出了一种新的局部立体匹配算法。采用Middlebury3.0平台测试，加权误匹配率为3.49%，排名为14/54。并对失真图像和实际拍摄图像进行匹配，均可以得到较好的匹配效果。.4、项目开展了基于DIBR方法绘制虚拟视点的研究，设计了一种新的DIBR方法，能够有效改善绘制图像的空洞和伪影问题。实验结果表明：绘制得到的虚拟视点图像质量高于标准VSRS等现有算法，PSNR平均提高0.5-2.37dB，SSIM平均提高0.01-0.02。主观视觉效果能够满足实际应用需求。同时对真实场景进行虚拟视点绘制，绘制出的虚拟视点真实可靠。.项目在研期间发表SCI检索论文20篇（其中Q1和Q2区检索论文10篇），EI检索期刊论文5篇，EI和CPCI-S检索会议论文10篇，获得授权中国发明专利30项（其中已转让专利权7项），建立共享“基于高清无损视频的视觉注意力数据库”一项。