自由视点多视视频编码及3D立体显示基础理论与关键技术

以自由视点多视视频编解码及3D立体显示为核心的3DTV已成为视频领域的国际研究热点。近几年来，欧、美、日、韩等对该领域的研究发展迅速。我国虽起步较晚，但已取得较大进展。本项目聚焦在当前国内外在此方面研究中未解决的关键问题进行研究。主要研究内容为：针对多视视点数/立体视角/立体显示分辨率之间互为制约的理论问题，探索这三者关系的数学模型；在该模型指导下，全局协同地研究具有高增益、能充分体现多视特征、用户需求的多视点视频编解码和视点快速绘制的理论、方法和关键技术；研究基于上述模型的宽立体视角、高显示分辨率和具有动态跟踪功能的多用户自由视点立体图像显示新方法；构建基于光线空间的自由视点多视视频表示的3DTV实验系统。从而建立较完整的基础理论和获得一批原创性的成果，形成我国在3DTV/MVC国际标准制订中的技术优势，为我国发展3DTV技术、相关应用和产业提供理论依据、技术基础和人才准备。

本项目主要探索基于自由视点多视视频编码（MVC）的新一代3DTV中若干未解决的关键科学问题。获得主要成果如下：1）针对自由视点多视视频数据量过大问题，提出基于运动矢量一致性模型预测理论、结构和高效压缩编码方法，可比JMVM的平均运算量降低63.36%，受到欧、美专家的高度评价。2）针对如何提高MVC的综合性能问题，提出基于分层B帧的多模式MVC理论与方法，可综合提高编码效率、随机访问和可分级等性能。3）针对如何提高合成虚拟视质量和快速绘制问题，提出基于校正区域映射和图像融合的合成新视点的机理和方法，可比Geys方法提高6dB的合成视质量，并提出基于光线空间的插值的任意视点合成方法，可比BMI方法平均提高2.7dB PSNR增益，且使运算时间降低10倍；4）针对如何解决既提高立体图像观看质量又缓解人眼疲劳问题，提出非对称视差显示方法，可在提高观看质量的同时，降低视觉疲劳和适应不同人眼的观看要求，并提出人眼跟踪多用户立体显示方法，可使观看视角扩大至±25度；5）在建立多视视数/立体视角/立体显示分辨率理论模型基础上，设计了实验系统，并应用于世博会中国国家馆。.上述研究成果，对FTV/3DTV的发展和应用提供了基本理论和技术基础。