基于全局视觉冗余分析的高效视频编码研究

With the establishment of the new video coding standard, High Efficiency Video Coding (HEVC/H.265), how to exploit new technologies to further improve the video coding efficiency becomes challenging. In our earlier work, we found that based on the space-variant characteristics of the human visual attention, the video coding efficiency can be significantly improved by biased bit allocation. This project will conduct in-depth research based on this observation, including: (1) the theoreotical just-noticeable difference (JND) model based on foveal vision and space-variant visual sensitivity; (2) the visual attention model based on low-level and high-level features and its application in the JND model; (3) the perceptual HEVC/H.265 video coding based on the foveal vision based JND analysis. The results of this research project are expected to make important contributions to the high efficiency video coding, and advance our understanding in perceptual optimization for HEVC/H.265.

随着最新一代的视频编解码国际标准HEVC/H.265的制定，如何通过探索新的编码技术进一步提高视频压缩的效率受到了极大的关注。我们的前期工作发现，在研究人的视觉注意空间分布不均匀的特性上，能够在视频编码上通过空间非均匀码率分配在同等视觉质量的情况下较大程度的减少编码码率以提高编码效率。本项目将对此问题进行系统的研究，内容包括：(1) 基于视网膜中央凹视觉导致的视觉敏感度的空间分布不均匀的特性建立中央凹视觉的最小可觉察差异理论模型以量化全局视觉冗余；(2)基于低层次和高层次信息混合的视觉注意模型与中央凹视觉的最小可觉察差异理论模型的有机结合建立视觉感知模型；(3)基于视觉感知模型的HEVC/H.265编码算法的研究。本项目的研究将为高效视频编码理论做出重要的补充，同时为HEVC/H.265视频压缩的视觉优化提供更深入的认识。

随着移动互联网的发展以及视频服务的普及，如何通过新的编码技术进一步提高视频压缩的效率受到了极大的关注。本项目的目标是：（1）基于视网膜中央凹视觉导致的视觉敏感度的空间分布不均匀的特性建立中央凹视觉的最小可觉察差异理论模型以量化全局视觉冗余；（2）基于低层次和高层次信息混合的视觉注意模型与中央凹视觉的最小可觉察差异理论模型的有机结合建立视觉感知模型；（3）基于视觉感知模型的HEVC/H.265 编码优化方法的研究。本项目旨在为高效视频编码视觉优化提供新思路和新方法。.在项目中，主要研究内容包括：（1）中央凹视觉的最小可觉察差异理论模型的研究建模及其编码优化应用；（2）图像视频视觉注意模型研究；（3）基于视觉优化的高效视频编码HEVC/H.265算法研究；（4）360度视频编码优化以及质量评价的拓展研究。.本项目取得的主要成果包括：（1）针对视觉注意建模分析、高效编码视觉优化、全景视频应用优化等核心问题，在理论与技术方法等方面取得一定突破，代表性工作获得国际同行的认可；（2）在相关领域国际期刊上发表论文15篇，其中包括图像视频领域顶级期刊IEEE TIP/TMM/TCSVT等。在图像视频处理以及人工智能领域发表包括ICME/ICIP/CVPR/IJCAI在内的会议论文22篇；（3）申请并获批专利4项、软件著作权1项；（4）课题组2015年至2018年提交中国标准AVS提案27项，其中12项被采纳；提交国际标准VVC提案7项，其中2项被采纳；向VQEG提交报告4份；（5）此外，依托本项目的成果，课题组在2017年ICME salient360!挑战赛上获得Best Head Movement Prediction Student Prize，在2018年CVPR图像压缩挑战赛(CLIC)获得峰值信噪比(PSNR)第一名，在2018 ICME salient360!挑战赛上获得图像任务大奖(Grand Winner Prize on Images)以及两项单项任务第一名。（6）项目共培养博士研究生5名，硕士研究生4名，另有3名本科生参与了本项目的科研工作并取得了一定成绩。