基于视频编码的计算摄像学研究

Video coding aims to compress videos with minimal data sizes and low distortions. Video coding contains rich coding information, such as block segmentations, coding bits of blocks, and motion vectors. Nearly all captured videos have been compressed. As such, the video decoding becomes the first task for subsequent computations. On the other hand, in the low level vision of computational imaging, there are several questions, such as camera motion estimation, optical flow calculation and patch match, are heavily relies on the image features and motion estimations. Video coding contains such information which can be utilized with a very low cost. This project studies how to combine video coding and computational imaging, facilitating the recycling of video coding. In particular, the research includes, (1) a method of video stabilization which based on novel video coding motion models; (2) a hybrid synthesis approach that based on newly proposed coding flow and coding patch match for multi-exposure image fusion; (3) and methods for combining of video coding and video restoration with respect to several problems, including video denoising, deblurring and super resolution. In summary, video coding has been implemented in hardware with efficient solutions for years. Through the research of several important problems, we will explore the potentials of video coding beyond the video compression.

视频编码旨在用尽量少的数据和低的失真表达相对完整的视频内容，视频编码时产生了丰富的编码信息，比如视频帧的编码分割图、编码小块所耗的比特数、视频帧间的运动矢量等。现实中几乎所有存储或传输的视频都经过了编码，针对编码后的视频完成任何一项计算摄像学任务需做的第一件事即是解码。另一方面，计算摄像学中的一些基础问题，如相机运动估计、光流计算以及块匹配等高度依赖图像特征点和复杂的运动计算，而视频编码产生的信息通过解码可几乎毫无代价的加以利用。本课题将研究视频编码与计算摄像学的结合，对编码信息进行再利用。具体研究内容包括：（1）研究基于编码信息的运动模型并用于视频防抖；（2）研究基于编码光流和编码块匹配混合对齐方案的多曝光高动态范围图像融合；以及（3）研究编码信息在视频降噪、去模糊、超分辨率等视频重构问题中的运用。本课题通过对上述几个问题的研究，将发掘视频编码中蕴含的巨大潜能，并赋予其崭新的意义。

视频编码能有效减少视频的存储体积。在压缩编码过程中，会产生丰富的编码信息，比如视频帧的编码分割图、编码小块所耗的比特数、视频帧间的运动矢量等。实际中几乎所有存储或传输的视频都经过了编码，针对编码后的视频完成任何一项计算摄像学任务需做的第一件事即是解码。另一方面，计算摄像学中的一些基础问题，如相机运动估计、光流计算以及块匹配等高度依赖图像特征点和复杂的运动计算，而视频编码产生的信息通过解码可几乎毫无代价的加以利用。本课题研究了如何利用视频编码结合计算摄像学任务。具体研究内容包括：基于视频编码的视频重构增强方法；全局图像配准和局部光流配准方法；高动态范围图像融合方法，以及围绕编码展开了多个基础画质类任务探索，研究内容均取得了各自任务上SOTA的结果。研究成果发表期刊和会议论文共 45 篇，其中期刊20篇（一区15篇），会议25篇（CCF-A类 21 篇），申请专利12项。本课题通过对上述多个问题的研究，发掘了视频编码对计算摄影学的潜能。