计算资源约束条件下的视频编码优化技术研究

多媒体终端设备在处理器功耗和计算性能方面的限制成为制约新一代网络视频通信业务发展的极大障碍，如何实现计算资源约束条件下的"计算耗费－码率－失真"联合优化是视频编码中亟待解决的瓶颈问题。本项目以此为研究目标，为从根本上解决设备功耗和计算性能变化时、如何在计算耗费调整与率失真性能间取得动态平衡的问题，探索相应的理论及技术支持：以建立"计算耗费－码率－失真"三者均衡关系模型作为研究的核心点，以计算耗费的定量度量和计算资源的动态分配与调度作为研究的切入点，以计算耗费定量可调的率失真性能联合优化的视频编码器设计作为研究的重点，深入分析其中的关键技术和解决方案，最终搭建编码计算耗费、码率、失真多维性能指标可自适应调控的视频编码系统，对上述模型、方法和技术进行测试验证。本项目预期的研究成果将对推进视频编码优化控制领域的基础理论研究及其实用化，推动新一代网络通信中多媒体业务的发展具有实际意义。

课题组围绕“计算资源约束条件下的视频编码优化”这一核心问题，依照年度计划开展了积极有效的研究，主要涉及低复杂度的高效视频编码优化相关基础理论与方法的探讨，在视觉失真评价模型、基于视觉感知特性的视频编码率失真优化模型、计算量-码率-失真联合优化等方面取得了相应的研究进展，概况如下：.（1）端到端视觉失真预测模型：.在网络多媒体传输框架中，通过研究视频内容、编码参数和网络环境对于用户体验质量的影响，建立与主观感觉相近的视频质量客观评价模型，可有助于对承载网络各个环节进行相应的优化，对端到端的业务质量进行监控,因此我们提出一种基于SSIM的宏块级端到端视频质量预测模型，通过研究编码器设置、信道环境和解码端错误隐藏方法等模块对接收端视频重建质量的影响，实现端到端的质量估计并建立相应的质量评价模型，旨在实现基于人眼视觉特性的视频质量度量方法，以更好实现通信系统中视频质量优化与控制。.（2）基于视觉感知特性的视频编码率失真优化模型：.传统的失真度量方法未充分利用人眼的视觉感知特性，因此在同等视觉失真的条件下，编码压缩性能还存在进一步提升的潜力，近年研究表明人眼感知视频信号的模式与频率域上的滤波过程相似，因此我们设计了一种结合运动信息的频域上的失真度量准则MFVD，并将其运用于视频编码的率失真优化系统中的模式选择环节，对拉格朗日乘子进行动态调整，从而实现基于视觉感知的率失真优化,实验表明，我们的方法在同等视觉质量下可有效降低码率。.（3）无线环境中复杂度受限的视频编码优化：.在无线视频通信中，如何在便携式设备计算能力受限且信道环境恶劣的情况下达到较优的视频传输质量是亟待解决的问题，我们通过分析编码器复杂度、端到端失真和码率之间的相互影响关系，提出一种新颖的计算量-码率-端到端失真联合优化算法，首先基于虚拟计算资源缓冲区VCB提出一种计算资源分配模型，基于Inter、Intra和Skip模式的端到端率失真性能分析，提出一种快速模式分类方法对每帧不同模式的编码进行预估计，并以此完成编码该帧时的计算资源分配，其次，基于端到端的率失真代价分析制定运动估计的复杂度级别和帧间模式判定的候选模式集合以满足分配的计算资源，实验表明，提出的算法在计算资源和码率受限时可改善视频传输的质量。.研究成果发表学术论文17篇（含SCI索引6篇，EI索引11篇），申请发明专利5项（已授权1项）。