视频编码的码率-计算复杂度协同分配和联合控制方法研究

With the rapid growing application of video coding technology on "mobile internet + mobile devices", computational complexity becomes a critical factor in encoder design in addition to bandwidth and video reconstruction quality. To maximize the utilization of bandwidth and computational resource is a necessity to improve the video quality and thus better user experience. To satisfy the requirement, this project aims at developing a rate-complexity co-allocation and joint control method. First, we build an analytical rate-complexity-distortion model to perform the joint analysis. Based on the first step, we will research on rate-complexity co-allocation method and key parameter selection and adjustment method in the rate-complexity joint control model. Then we will develop a optimized inter-coding algorithms under the control scheme to form an resource allocation, utilization and control mechanism. Finally, we will validate the performance of the designed resource allocation and control scheme, also the optimized inter-coding algorithm. The realization of the project will expand the traditional rate-distortion theory and build an accurate and optimized control scheme, providing theoretical and technical support for low-delay and low-power scenario of video coding application.

随着视频编码技术面向更大规模的“移动互联网+移动终端”应用，在低延时、低功耗的场景下，计算复杂度成为码率和失真之外编码器设计的又一重要因素。最大化利用有限的带宽和计算资源以达到最优的视频质量，是提升编码器性能、优化用户体验的必要手段。本项目围绕这一关键需求，研究视频编码的码率-计算复杂度协同分配和联合控制方法。首先，构建码率-复杂度-失真的解析模型，提出协同分析方法，以探究计算复杂度与率失真性能的内在联系；进而研究码率-复杂度协同分配策略以及联合参数控制模型，从而达到带宽和计算资源的最优分配和精确控制；然后设计码率-复杂度协同控制框架下的预测编码算法，使得编码器对于带宽和计算资源的分配、控制和利用形成整体；最后基于集成电路仿真设计，对控制框架和编码算法进行验证。本项目的实现，将拓展率失真编码理论，构建完备可靠的编码器控制框架，为视频编码的广泛应用提供理论积累和技术驱动

视频编码的率失真表现和计算复杂度的协同优化是低时延、低功耗视频应用中的关键技术，具有重要的研究意义和应用前景。在本项目支持下，我们围绕视频编码的率失真性能和低复杂度优化开展了研究，取得了一系列进展。在码率-失真模型和编码控制参数优化方面，我们提出了融合预测编码的全新的率失真解析模型，进而实现了视频内容和编码结构自适应的控制参数优化算法，在有效降低编码复杂度的前提下，有效提升了HEVC分级编码的中的级联量化参数的编码效率达到4%，同时节省编码复杂度60%。在率失真优化的低复杂度前处理算法研究中，我们探索并设计了由编码器参数控制的前处理滤波算法，实现了前处理滤波置于率失真优化控制的编码环路中的新思路，算法适用于H.264/AVC和H.265/HEVC的标准参考编码器和商用编码器，平均节省HEVC四叉树划分复杂度45%，在满足低复杂度实时编码需求的同时，在相同质量下降低码率2.9%。在场景化的低复杂度视频编码优化研究中，我们针对实时视频通信场景提出了低时延的帧内刷新算法，在降低延迟的同时提升编码效率；针对云存储场景提出了基于频域系数稀疏表征的全新编码架构，在相近主观质量下，降低码率60%以上。本项目的研究成果在视频通信、视频监控和视频云存储领域可以得到实际利用。