帧率提升与压缩编码的联合优化方法研究

High frame rate (HFR) can bring clearer and smoother visual quality, and is becoming a new key feature for high quality video application. However it is in urgent need of HFR content with high compression efficiency. Therefore, it is important to produce HFR content in high quality and with low rate by the technology of video processing and coding. In this research, we will first investigate the relationship between FRUC and HEVC coding, and analyze the unified models of frame interpolation and bi-predication. Thus, a novel joint optimization framework of FRUC and HEVC is proposed, which can directly convert low frame rate video into HFR video bit-stream. With this framework, we aim to jointly optimize the quality and rate for the interpolated frames, and present a series of methods by making full use of tools and information in the coding loop: motion vector fields are robustly estimated and interpolated frames are rate-distortion optimized using multi-level and spatial-temporal coding information; interpolated frames are improved with residual compensation in the coding loop using deep learning method; the joint system is further adaptively optimized based on frame rate perceptual models. Through this research, the principle, model and optimization methods for the joint system are fully analyzed and proposed. And, it is also useful and applicable for high frame video application.

高帧率可大幅提升画面清晰度和运动流畅性，已成为视频应用的迫切需求，但面临“内容少、带宽高”问题。因此，如何用视频处理和编码方法直接生成“质量好、码率低”的高帧率视频成为一个关键科技问题。本项目拟通过分析帧率提升与压缩编码的内在联系，建立帧间插值与双向预测的统一模型，通过共享运动矢量场等信息，创新性地构建帧率提升与压缩编码的联合系统框架，从而在编码环路内把低帧率视频直接转换成高帧率视频码流。在该联合系统框架下，围绕内插帧质量和码率的联合优化目标，提出一套充分利用编码环路信息的联合优化方法：利用编码多层次时空域信息，实现内插帧的运动矢量场鲁棒估计和率失真建模优化；利用深度学习方法和编码残差补偿，实现内插帧失真补偿复原以进一步提升内插帧质量；利用编码率失真优化方法，结合帧率视觉感知模型，实现帧率感知的系统自适应优化。通过本项目研究，解决联合系统原理、模型和优化等关键问题，促进高帧率视频应用发展。

多媒体、通信网络和显示设备的快速发展，使得视频往高分辨率高帧率的超高清方向发展，从而对视频处理技术提出了更高要求。一方面，要把源视频进行帧率提升来改善视频的运动流畅度，但数据量也相应成倍增长；另一方面，需要对高帧率视频进行高效压缩编码，来降低传输码率的消耗，但会引入压缩失真。因此，超高清视频发展对视频压缩和帧率提升处理提出了“质量好、码率低”的挑战。本项目围绕该挑战，开展压缩编码和帧率提升以及两者联合的优化方法研究。通过分析帧率提升与压缩编码的内在联系，建立了帧间插值与双向预测的统一模型，通过共享运动矢量场等信息，创新性地构建了帧率提升与压缩编码的联合系统框架，从而在编码环路内把低帧率视频直接转换成高帧率视频码流。针对帧率提升的内插帧质量问题，研究了内插帧的失真建模和优化，提出了基于高阶建模和动态滤波的帧率提升算法，该模型超越了传统视频插帧模型的亮度时间不变性和物体运动线性性两个基本限制，实现了更高质量的插值。针对视频压缩编码和帧率提升的运动矢量场鲁棒估计问题，提出了上下文感知的Kalman滤波视频光流估计，取得了业界领先的性能。针对视频压缩及失真，结合人眼视觉特性，提出了一种基于闭环感知模型的率失真优化算法以提高感知编码性能，并提出一个基于深度Kalman模型的视频压缩后处理方案提升压缩视频质量。结合深度学习最新发展技术，进一步研究提出了端到端优化的视频压缩编码网络与系统，充分利用当前视频压缩编码的混合编码框架和深度学习的强大表达能力，实现了一个基于混合编码架构的深度压缩编码系统；提出了基于多尺度分解网络的变码率压缩编码，以及基于人眼视觉特性的ROI感兴趣图像编码；提出了MEMC 模型驱动的深度学习视频帧率提升方法，在此基础上进一步提出融合场景深度的视频插帧，以及基于金字塔递归框架的视频插帧，都取得了领先性能。通过本项目实施，取得了系列学术创新研究成果并具有一定应用前景，促进了视频处理技术发展。