基于对象分析的图像/视频内容编辑

Intelligent and personalized image / video content production is the core competitiveness and important technology trends of the digital content industry. Image / video is a three-dimensional scene on a two-dimensional mapping with the intrinsic characteristics of the temporal and spatial correlation of the three-dimensional scene in the pixel domain. The project takes advantage of the time and space correlation; analyze scene objects in the pixel domain of the image / video, to extract feature and scene objects, reconstructed scene required by the editing operation; and proposes image / video cropping, content enhancement, seamless visual transition, and artistic style editing algorithms, which automatically or only rely on the simple interaction to achieve the high-quality editing. The research results of the project can be directly applied to the field of personality image video editing, animation, digital art creation, advertising, or to provide a convenient image / video content editing tools for ordinary users.

图像/视频的智能化、个性化内容制作已成为数字内容产业的核心竞争力和重要的技术发展趋势。图像/视频是三维场景在二维上的映射，具有内在的三维场景特性，因而图像/视频数据在像素域上具有典型的时空相关性。本项目充分利用这种时空相关性，对图像/视频在像素域进行场景对象分析，提取与编辑内容相关的特征和场景对象，重构编辑所需的场景信息，进一步研究基于场景对象空间结构的图像/视频裁剪、图像/视频内容增强、无缝视觉过渡、艺术风格变换等多种编辑算法，从而实现自动地或仅依靠简单交互下的场景内容高质量编辑。本项目的研究成果可以直接应用于图像视频个性化编辑、动画制作、数字艺术创作、广告传媒等领域，或为普通用户提供便捷的图像/视频内容编辑工具。

图像/视频的智能化、个性化内容制作已成为数字内容产业的核心竞争力和重要的技术发展趋势。本项目针对图像/视频特征提取与对象分析，以及面向用户需求的图像/视频内容编辑方面开展研究，提出了一系列基于深度学习的图像目标检测与识别方法、基于场景对象空间结构的图像/视频裁剪、数据驱动的图像色彩编辑、基于场景特征匹配的图像无缝视觉融合、图像/视频艺术风格变换等方法，构建了PhotoRecomposer交互图像构图优化平台、视频实时人像分割与背景处理系统以及全景视频实时拼接系统三个图像/视频内容编辑平台。项目共发表/录用论文13篇，其中包括IEEE TVCG、CGF期刊和IEEE CVPR、ICIP会议论文共4 篇，培养博士2名，硕士4名。项目团队应用基于深度学习的目标检测技术获得了国家自然科学基金委“空间信息网络”重大研究计划“眼神杯”遥感影像稀疏表征与智能处理算法大赛一等奖。项目成果舒适度驱动的双目视频视差编辑方法获得Computational Visual Media杂志2016年度高引用论文奖。项目团队通过与腾讯、思科等公司进行多种形式的合作研发，积极进行项目成果转化，已有多项成果实现落地应用，避免瑕疵的图像拼接方法成功应用于清华-腾讯互联网创新技术联合实验室“全景视频拼接与融合”项目中，并应用在腾讯公司炫镜全景视频产品中，该项目因此获得清华-腾讯联合实验室应用创新奖；实时人像视频分割与背景处理成功应用于思科远程会议系统中。