面向二维视频立体化的时空一致性补全技术研究

According to the application requirements for stereo conversion of film and television works, to take the rendering of stereo video as the central task, we explore the computation model, algorithm mechanism, and system application of the spatio-temporal information completion techniques. The overall goal of the program is to build an effective and convenient system framework and some computation models for 2D-to-3D video conversion. Key technologies involve the classification and recognition and expression modeling of stereo video data, spatio-temporal completion of defective static and dynamic scene based on video volume, fine repair strategy for missing area of complex boundary, and video spatio-temporal fusion algorithms. Based on our previous work of camera parameters calibration, scene depth recovery, and optical flow estimation, we propose to construct a prototype system of pipelining processing for stereoscopic video synthesis from 2D videos, and explore its applications in films, television, animation, and advertisement. Our project will promote interdisciplinary collaboration and theory development between computer vision and computer graphics, and provide theoretic and technical support for the future development of three-dimensional film and television industry.

本项目的总体研究目标是面向二维影视作品三维立体化的应用需求，以立体视频绘制为核心，探索时空一致性信息补全技术的计算模型、算法机理及系统应用。力争在立体视频数据的分类识别与表达方式建模，基于视频体的缺损动静态景物时空一致性补全方法，复杂边界处空洞的精细修补策略和视频体上的时空一致性融合算法等几个方面的关键技术研究上取得突破，建立高效便捷的二维视频立体化系统框架与计算模型。结合课题组在相机参数标定、场景深度恢复和运动光流估计等方面的工作基础，研发一个具有自主版权的二维影视作品三维立体化流水线处理原型系统，通过此系统累进研发，探索其在电影、电视、动漫和广告等二维传统影视作品三维立体化中的应用，促进计算机视觉与计算机图形学的学科交叉融合，完善和发展其自身理论与方法，从而为立体影视产业的未来发展提供理论和技术支撑。

本项目的总体研究目标是面向二维影视作品三维立体化的应用需求，针对二维视频三维立体化过程中所涉及的时空一致性空洞补全问题，结合项目组在相机参数标定、场景深度恢复和运动光流估计的研究成果，探索时空一致性信息补全技术的计算模型、算法机理及系统应用。主要研究内容包括：（1）针对输入的二维视频序列及其相机参数、场景深度和运动光流等信息，研究如何构建有效的立体视频数据组织和存储方式，以便于信息补全过程中的高效数据查询和利用；（2）针对立体视图合成过程中存在的缺损静态景物，研究面向不同深度和不同表面形状的静态景物的高清晰度时空一致性信息补全方法；（3）针对立体视图合成过程中存在的缺损动态景物，研究不同深度和不同运动模式下的动态自然景物和一般运动物体的高效时空一致性信息补全方法；（4）为了达到高准确度和高清晰度的立体视图合成效果，研究景物边缘相交的复杂边界处的高精度信息补全方法；为了消除立体视图补全结果中存在的微小闪烁现象，研究立体视频上的时空一致性信息融合算法；（5）无缝集成上述研究成果，研发一个高效便捷的立体视频生成系统原型，并将其应用于二维影视作品的三维立体化生产制作。依托该项目的支持，项目组在四年的研究期限内，严格按照计划安排开展研究，研究发表学术论文25篇，申请中国发明专利12项，国际发明专利4项，获软件著作权3项，项目负责人在研究期限内入选国家百千万人才工程，并获国家有突出贡献的中青年专家称号，超额完成了项目预期研究目标。项目研发的系统有效提高了3D影视作品的制作质量和效率，已应用于二维传统影视作品的三维立体化，促进了我国影视文化产业及相关产业的发展，具有良好的经济与社会效益。