立体视频高效编码算法研究

随着立体视频技术的飞速发展，人们的视听感受将逐步进入"立体化"时代。用于逼真重现立体视觉效果的视频数据量非常庞大，这对存储与传输提出了新的挑战。因此，立体视频的高效编码已成为一个迫切需要解决的核心问题。本项目将研究高效的时-空分辨率非对称立体视频编码，深度辅助的立体视频编码以及深度彩色联合编码率失真优化。具体内容包括：针对立体视频的高视间相关性，设计内容自适应的上下采样环内反馈滤波器，研究时间分辨率、空间分辨率非对称立体视频编码方法，以充分去除立体视频的高空间和时间冗余；结合深度结构信息，分析视点内深度图和彩色图之间的结构一致性，研究高效深度辅助的立体视频编码的理论方法和关键技术；结合率失真和最优化理论，研究虚拟视点绘制失真估计模型，建立面向虚拟视点绘制的立体视频编码率失真模型，并在该模型的指导下对立体视频编码进行率失真优化。项目可取得理论创新与技术突破，促进立体视频的广泛应用。

针对立体视频数据量随视点个数增加而倍增的特点，结合人眼视觉特性，本项目分别研究了率失真最优的双目立体视频拼接编码算法、时间分辨率非对称的立体视频编码、空间分辨率非对称编码。具体内容包括：针对双目立体视频拼接编码同步、与平面视频编码标准兼容、解码端运算资源稀缺等特点，分析了不同下采样滤波系数对编码失真和消耗码字的影响，建立了面向双目立体视频拼接编码的率失真理论，并以该理论为指导设计了率失真最优的拼接编码算法。该算法可在给定上采样方法前提下，得到最优的拼接编码图像，能够大幅度节省编码消耗的比特数，同时显著提升重构视频的信噪比。紧接着，本项目分析了相邻视频图像连续、渐变的特点，提出相邻视频帧内同一物体像素值可由一个多项式拟合表示的模型。利用该模型，任意待插帧内像素可由其前向帧内对应像素的泰勒展开表示出来，此外还可以由其后向帧内对应像素的泰勒展开表示。通过最小化前、后向泰勒展开的近似误差，我们可以搜索出最优的运动矢量，进而显著提升插值帧的质量。该方法可应用于时间分辨率非对称编码方案，提升视频重建质量。最后，针对深度视频和纹理视频非对称编码方案，分别提出深度图超分辨率和纹理图超分辨率算法。深度图超分辨率方面，我们分别提出了概率最大化的渐进式深度图超分辨率算法、三边滤波深度图上采样、双稀疏模型的深度图上采样以及基于纹理合成的深度图超分辨率算法。所提算法既充分考虑了深度图自身平坦、稀疏的特性又同时考虑了其在虚拟视点合成中的几何映射机制，既能提升深度图自身的信噪比，又能显著提升虚拟视点合成的质量。纹理图超分辨率方面，提出了基于字典学习和锚定邻域回归的图像超分辨率、协同表示的图像超分辨率、基于自适应局部非参数回归的图像超分辨率算法。所提方法能够离线训练最优的稀疏表示字典，并从中快速选择与待上采样图像片最为接近的稀疏基，既能显著提升上采样图像的信噪比，又能大幅度提升上采样的速度。该方法可应用于空间分辨率非对称纹理视频压缩，能够有效降低视频压缩码率，提升视频重建质量。