计算资源受限情况下视频编码新标准HEVC的关键优化问题研究

本项目将在以往研究工作的基础上，针对视频编码最新标准HEVC，在计算资源受限特别是动态受限情况下对帧间技术的率失真优化关键问题，进行理论与算法的研究。研究如何动态剪裁和优化新标准中的庞大编码选项组合，并从新的角度扩展传统快速算法的内涵，构造基于"性价比优先"的计算能力可伸缩快速编码算法，使其自适应地满足计算资源受限的环境，并使得对应编码性能达到率失真最优。特别在任意计算中断时都能达到最好的编码效率。本项目将弥补目前计算资源受限情况下视频编码新标准在优化研究方面的不足，为新一代编码标准HEVC应用在计算资源动态受限环境中提供理论和工程上的指导。

本项目的一个重要背景就是新的视频标准HEVC在2011年正式发布。该标准在终极压缩效率方面较上一标准H.264提高了近50%，但要达到终极压缩效率所要使用的计算资源也呈指数状上升，在很多计算资源受限的设备上（如移动设备）甚至无法完成。本项目正是针对这一问题，基于性价比优先的原则对HEVC中大量的压缩选项进行排序，从而构造一类计算复杂度可伸缩的视频编码算法，自动适应有限和即时变化的计算资源，并在任何条件下都达到近似最优的压缩效率。该项研究的关键问题和难点是如何在和HEVC编码标准兼容的前提下，在编码开始之前快速建立率失真收益和计算消耗的（性价比）关系模型，为各种压缩选项排序。这也是本项目的主要研究内容。我们在整个研究过程中取得了重要的结果，顺利完成了预定目标，并有一些新的发现，可进一步形成新的研究方向。首先，为解决压缩选项性价比优先级建模和预测问题，我们针对HEVC的标准提出了基于序列（sequence）、帧（frame）和块（block）三个层次的视频编码选项排序的框架，将难点问题分解到各个层次，并用实例验证了这一算法框架的正确性。在帧层次和块层次提出了压缩域表示的各种运动和物体边缘特征，有重要的创新，解决了本项研究的关键问题。实验结果显示，在这一算法框架之下，我们构造的计算复杂度可伸缩算法能自动适应计算资源的限制，并在任何计算资源的限制下达到目前最优的压缩效率。此项研究成果可以为新标准HEVC提供一个新的文档（profile）和算法种类。值得一提的是，压缩域信提取的特征以及提取特征的研究方法，经过扩展可以延伸用于在视频压缩域进行数据分析和理解（在异常事件检测中已取得重要成果），将开拓一个新的视频数据分析方向，解决视频分析大数据中计算资源的负重问题。除此之外，一些专有类别（如卡通、半色调等）的图像视频压缩引导出的相关研究，如预处理、分割、识别、矢量化等，不仅可以为提高压缩效率服务，还可以自成体系，成为新的研究方向。项目组成员共完成了19篇学术论文（其中CCF 推荐A类4篇、B类9篇、C类3篇、电子学报和软件学报各一篇、其他会议一篇）；获得1项软件著作版权，申请了4项技术发明专利， 1个软件系统原型，1个软件产品，培养了博士3名，硕士13名。超额完成了原定的指标。