面向通用视频编辑的一致视频合成

This proposal studies general video composite for mobile internet videos. Our goal is to extend the video composite techniques that used only in traditional professional areas, to every internet user so that they can use it for advanced video editing. Since videos from internet or captured using mobile devices are usually very different in object’s motion, geometry and illumination, video composite not only need to handle the efficient extraction of video objects, but also need to deal with the inconsistency between materials. So far the problem of consistent video composite has not been systematically studied, especially for motion and geometry consistency. This proposal is based on our previous works on video foreground extraction, and will focus on the handling of motion, geometry and illumination consistency. Because the materials of general video editing may be from everywhere, and have very different properties, we will try to reduce the use of 3D information, while mainly based on 2D image analysis, with the constraints of user interactions and priors learned from data. For this purpose we have to solve several key problems, including global space-time optimization for motion consistency, the editing of motion and pose of video objects, data-driven analysis of the correlation between foreground and background. The achievements can promote the generalization of professional video editing techniques, as well as the development of innovation 2.0 for the area of mobile internet media.

本项目旨在研究面向移动互联网视频的通用视频合成方法，目标是将传统专业领域才使用的视频前、背景合成技术，推广为普通互联网用户也容易掌握的通用技术。由于来自互联网或者移动设备拍摄的视频素材在对象的运动、几何和光照等属性上往往很不相同，因此除了能对视频对象进行高效提取，还需要能处理素材之间的不一致性。目前国内外尚未有针对一致视频合成的系统性研究，尤其缺乏对运动与几何一致性的考虑。本项目将基于申请人在前景提取方面的工作基础展开，并重点研究对运动、几何和光照的一致性处理。考虑到通用视频编辑素材来源广泛且多样化的特点，将尽量减少对三维信息的依赖，而主要研究基于二维图像分析，并结合用户交互和数据先验的方法。为此需解决运动一致的时空全局优化、视频对象的运动与姿态编辑、数据驱动的前背景光照关联性分析等关键科学问题。研究成果对专业视频编辑技术通用化、推动移动媒体领域的创新2.0发展具有重要的作用。

本项目主要研究通用视频编辑中前景和背景之间的一致合成问题，包括前景和背景之间的运动一致性、几何一致性和光照一致性处理。在项目执行过程中，基本按照项目原定计划，对上述几方面的关键问题展开了研究。运动一致性方面，针对合成过程中背景运动不一致的情况，主要基于项目组前期工作积累，对相关方法进行了完善和扩展，并进一步对视频运动分析展开了研究。在面向运动一致性的前景迁移方面，主要采用了深度学习方法对前景对象的外观进行编辑合成，借助深度网络中学习到的图像先验，实现了对迁移过程中缺失信息的有效补充。几何一致性方面，按照项目计划，对基于模型先验的几何一致性方法展开了研究，重点解决了三维模型与视频对象进行注册配准这一核心关键问题，并基于模型先验，对视频中动态物体的运动序列进行分析。光照一致性方面，按照原定计划，研究了基于数据先验的前景和背景光照一致性处理方法，并分别针对训练数据有前景分割和没有前景分割两种情况展开了研究，构建了测试数据集对相关方法进行了量化评估。因此，本项目基本按照项目计划，对视频一致合成中所涉及的三方面关键问题展开了研究。研究成果已发表SCI/EI论文8篇，其中3篇发表在CCF-A类会议和期刊，达到了项目预期指标。在执行过程中，根据实际情况，部分调整了所采用的技术路线和研究重心，保证了项目计划的顺利实施。项目形成了包括视频前景提取与融合完整功能在内的通用视频合成原型系统，相关技术已经得到一定的应用。