自然三维电视系统中遮挡信息的获取、表达与三维重建方法研究

三维电视技术是下一代数字电视的重要发展方向，也是未来数字电视研究的一个技术制高点，而基于真实自然场景的实时新闻采编将是三维电视时代不可或缺的重要组成部分。在裸视多视点自然三维电视的重建和显示中，遮挡引起的空洞是导致重建图像降质的难点问题。本项目结合自然三维电视原型系统研发，在"2D视频＋深度"基础上，创新性地提出增加传送"遮挡信息"。将在主视点因被遮挡不可见、而在侧视重建视点范围内可见的3D场景信息传送给终端。项目主要研究内容包括：（1）遮挡信息的获取和表达方法；（2）遮挡信息的编码和传输方法；（3）基于遮挡信息的三维重建方法。本项目立足于真实自然场景的立体实拍和多视点自由显示，研究遮挡信息处理的基本理论和创新方法，发展去遮挡处理技术，改善自然三维视频的重建质量，提高多视点环视3D效果，为我国在三维电视领域的研究提供理论基础，为三维电视的标准化、产业化提供技术支撑。

三维电视技术是下一代数字电视的重要发展方向。在裸眼多视点自然三维电视的重建和显示中，遮挡引起的空洞是导致重建图像降质的难点问题。本项目结合自然三维电视原型系统研发，在“2D视频＋深度”基础上，创新性地提出了增加传送“遮挡信息”，将在主视点因被遮挡不可见、而在侧视重建视点范围内可见的3D场景信息传送给终端。项目主要成果包括：（1）在遮挡信息的获取方面，提出了双视点间遮挡信息提取技术和单视点视频遮挡信息提取技术相结合的方法，设计了基于图像滤波的局部立体匹配框架和用于匹配代价滤波的自适应图像滤波器、正交测地距离权重全图像指导滤波器，获得了更充分的三维场景信息。（2）在遮挡信息的表达和编码方面，提出了基于分层深度视频的表达方法及相应的编码框架，有效提高了编码的主观增益和客观的率失真性能；（3）在多视点三维视频重建方面，提出了时空域遮挡信息联合的空洞修复算法，提升了虚拟视点图像质量。本项目立足于真实自然场景的立体实拍和多视点自由显示，研究去遮挡处理方法，改善了自然三维视频的重建质量，为三维电视的标准化、产业化提供了技术支撑。