面向视频立体化应用的运动人体三维建模方法研究

For the application demand of three-dimensional reconstruction of video, the main goals of this project are 1) to recover the depth information of dressed athletic human bodies showing in video which do not satisfy the general principle of multi-view epipolar constraint, in order to construct high quality 3D mesh models of athletic human body from monocular video series; 2) to assemble the achievements of our research team in the fields of automatic camera tracking and depth information recovering, interactive scene depth information recovering etc, in order to develop a prototype system of 3d modeling of video series. 3) to explore the application of 3d modeling techniques of movies, TVs, advertisements, and cartoons etc. To fulfill the goals, several problems from different research fields need be solved, such as, video segmentation techniques satisfying spatio-temporal information completion, interactive 3D human gesture and shape modeling and cloth modeling based on 3D scanning data, the human body movement recovering and geometric shape reconstruction based on video series, the spatio-temporal completion of defective dynamic scene based on video volume, etc.. The program can expected to promote the interdisciplinary fusion and theory development of computer vision and computer graphics, and provide the theoretic and technical support for the future development of three-dimensional film and television industry.

本项目的总体目标是面向单目视频立体化的应用需求，研究解决视频场景中多视图几何原理不适用的运动人体的深度恢复问题，以期在高效时空一致性视频分割技术、基于三维扫描的交互式人体三维形状和姿态建模以及服装建模、基于视频的人体三维运动恢复与几何模型重建、缺损或遮挡动态目标的时空一致性信息修复方法等几个方面的研究取得突破，获得视频序列中运动人体的精确深度信息，创建视频中着装运动人体的高质量三维模型，并集成课题组在自动摄像机跟踪与深度恢复、场景交互深度恢复等方面的研究成果，研发一个高效便捷的单目视频立体化原型系统，并探索其在电影、电视、广告、动漫等二维视频的立体化产业中的应用，促进计算机视觉与图形学的学科交叉与理论完善，为三维影视产业及相关产业的发展提供理论和技术支撑。

本课题围绕单目视频立体化的运动人体交互式三维重建开展研究与关键技术攻关，达到了课题既定目标，完成了各项指标，取得了多项具有自主知识产权的原创性成果。本课题的主要研究成果如下：在面向立体视频生成的视频分割和运动人体特征表达方面，提出了一种基于摄像机参数和深度信息的时空一致性视频分割方法，能很好的保持目标边界，不会出现闪烁。提出了一种基于融合特征和改进的聚合决策森林算法的视频语义分割方法，适用于多种不同场景，具有较强的鲁棒性。提出了一种基于多层次深度特征融合的人体特征表达，可以提高人体目标的识别率。提出了一种非监督的多视角的特征降维算法，使在不同视角子空间构建的k近邻相似度图能够最大兼容。提出了一种基于空间位置和局部特征融合的特征构造方法。在基于单帧图像的交互式人体三维形状和姿态建模研究方面，提出了一种基于卷积神经网络的单帧图像深度恢复方法，能够提高深度预测准确度，可应用于三维建模或者二维视频的三维立体化。提出了一种基于轮廓的姿态迁移方法，优于以前提出的基于部位检测的算法。提出了一种级联的混合深度学习结构，用于人体的姿态建模，可适用于小目标，并且具有较好的实时性。在基于视频的人体三维运动恢复与几何模型重建方面，提出了一种基于多视图采样方法的三维几何重建方法，能提取完整的场景几何模型。提出了一种基于场景样本库的视频图像深度提取方法，可将已有的深度图片中的深度值迁移到目标图片，减少人工交互，准确率高，速度快。提出了一种基于多尺度卷积网络的单目图像深度估计方法，估计得到的深度具有较高的分辨率，能保留场景中所有对象的深度细节信息，具有更好的视觉效果。在动态目标的时空一致性信息修复方面，提出了一种系统化的虚拟视图合成和补全算法，可对目标视频合成过程中产生的空洞自动进行填充，大大降低了立体视频的制作成本。基于以上研究创新，研制了一个立体化视频生成原型系统。