双目立体视频到多视点立体视频生成及压缩方法研究

Autostereoscopic 3DTV becomes the next generation 3DTV. More and more autostereoscopic 3DTV products appear in the market. However, the lack of autostereoscopic video contents become the bottleneck of the whole autostereoscopic 3DTV industry. First, the multi-camera system can not be adopted to capture the real scenes (e.g. the video shot requriring camera motion). Second, the data amount of the multi-view videos brings burden to the storage and transimission for the system. In this project, we will study the method which generates autostereoscopic videos from the original stereo video. We will use video plus multiple depth cues to represent stereo video and autostereoscopic video. The depth cue includes the binocular depth cues by stereo matching and the monocular depth cues such as motion, occlusion, light, defocus, perspective projection. We study the method which extracts depth maps from depth cues. On the one hand, according to the depth maps and depth cues, stereo video on each virtual views is synthesized for the autostereocopic video. On the other hand, such cues further can be applied for the compression of autostereoscopic video. As a conclusion, in this project, based on the same representation, we proposed and study a closed-loop scheme to study the depth estimation, virtual view video synthesis, autosterescopic video compression.

下一代立体电视正向裸眼立体电视发展。尽管有诸多裸眼立体电视产品已经推向市场，但整个产业的发展依然受到多视点立体视频内容生成技术的制约。第一，直接的多镜头拍摄系统不能用于多数实际场景拍摄（例如要求摄像机运动的拍摄）；第二，多路视频的大数量成为系统实用化的瓶颈之一，给存储、传输上的诸多困难。本项目将研究从立体视频生成多视点立体视频的方法。探讨使用"视频加多种深度线索"这样的形式表示立体视频和多视点视频。深度线索涵盖立体视频中由视点之间匹配获得的视差（或深度）信息，又包括从单路视频中获取的诸如运动、遮挡、光照、聚焦模糊、透视投影等单目深度信息。最终能够从这些信息中提取出能够稳定表示场景空间结构的深度线索，进而为虚拟视点视频生成提供可靠的空间结构依据，同时这些线索也会进一步地应用于多视点立体视频的压缩上来，从而实现在一种公共的表示下，空间结构信息提取、虚拟视点视频合成、多视点视频压缩的一体化方案

本项目针对新兴的视频种类——多视点视频节目源不足的问题，定位于多视点视频生成及压缩问题的研究。具体的，针对视频生成时影响视频生成质量和生成效率的因素进行分析，着重研究其中深度信息传递问题和场景标注信息帧间传递的研究；针对转化生成而来的多视点视频，着重研究转化过程中的附加信息对视频压缩性能的提高。.在项目执行期间，项目团队在上述三方面取得的进展在预期的计划之中，主要的代表成果包括：.•.深度信息帧间传递研究。由于参考了纹理图像，使得在优化得到的深度图中，边缘信息和空间内的平滑信息都能够与其对应的纹理图像相一致。在此基础上，进一步引入在时间域上的连续帧之间的平滑性约束，使得所估计的深度图尽可能稳定。实验结果显示，所提出的深度传递算法在不同的场景中都能够得到较低的错误率。以相关成果撰写的论文被国际图像处理大会ICIP接收发表。.•.场景标注信息帧间传递研究。除了深度信息的传播，把语义标注图从关键帧传递到非关键帧上不仅可以节约一定的计算资源同时也能保证帧间时域的相关性。在实验中，我们使用了NYU的视频数据集作为测试数据对算法进行评估，所提方法要比使用运动信息进行直接的映射得到了更为准确的计算精度，同时在标注图的视觉质量也得到了提升。以相关成果撰写的论文被国际会议ISCAS接收发表。.•.基于紧致表示的多视点视频压缩方法研究。在视频的生成过程中，除了最终的深度图和视频，也会产生一系列的中间结果，而这些中间结果作为“副产品”却包含了大量对重构深度图起到关键作用的信息。基于这样的考虑，我们可以从这些“副产品”中提取一定的“深度线索”来实现恢复深度视频的重要依据。我们与两种现有的视频压缩算法做了比较，对于MVC 和2D-plus-depth t我们分别采用QP值为28, 32, 36和40以生成不同比特率的压缩视频。从这三种方法的率失真性能来看，比起MVC，所提方法使得解码的立体视频的质量在同等的比特率下平均增加0.77dB到3.43dB，，比特率降低14.24%到58.92%；与2D-plus-depth相比质量的提升有1.19dB 到3.99dB或者说可以节约19.25%到55.48的比特率。以相关成果撰写的论发表在IEEE Trans. on Image Processing上