基于视觉感知的多视点视频编码研究

本项目将结合申请人在基于视频编码研究的前期工作和相关学科的最新成果，针对目前多视点视频编码往往利用统计、空间、时间、视间相关性来提高编码效率，而较少考虑人眼的视觉特点的现状，探索一种基于视觉感知的多视点视频编码的方法。该方法首先提出一种视觉关注度调制的恰可觉察失真模型，以适应多视点视频编码特点和增强编码的可靠性。然后在该模型的指导下，研究高增益、能充分体现人眼视觉特征、用户需求的多视点编码理论和方法，提出基于视觉感知的准确的颜色校正算法、快速的视差估计方法以及高效的自适应量化策略。预期本项目可取得具有自主知识产权核心技术的研究成果，可用于自由视点视频、自由视点电视、立体电视以及沉浸式视频会议等领域。

本项目主要探索基于视觉感知的多视点视频编码（MVC）的方法。获得主要成果如下：1）针对恰可觉察失真（JND）模型的精确性及复杂性问题，提出面向多视点视频的优化的DCT域及像素域的JND模型，使JND模型更加符合人眼的视觉特性，相比于现有的JND模型，在复杂度不高的情况下，可容忍更多的失真。2）针对如何应用人眼感知特性来提高多视点视频编码问题，提出了基于JND模型的编码残差滤波预处理方法，该方法能有效去除多视点视频编码中的视觉冗余数据，编码的码率最大节省26.7%；提出了基于JND的多视点视频量化编码算法，在保证主观质量不变的情况下，可使MVC的码率降低14.68%；提出了感知的多视点视频快速去块滤波方法，相比于JMVC，在不影响主观质量下，可节省21.6%的滤波时间；提出了感知的多视点视频编码帧间模式判决与优化方法，相对于JMVC，平均编码时间可节省61-67%的运算量，同时优于存在的算法；3）针对如何提高MVC的综合性能问题，提出一种利用视间相关性的低复杂去块滤波方法，相比于JMVC，在主观质量一样时，可降低约37%的滤波处理时间；提出一种利用多视视差的绘制方法，与相关的方法相比，平均可有2.3dB 的PSNR增益；提出一种二项式RD模型的多视点视频码率控制算法，相比于JMVC方法，不仅获得0.2dB PSNR增益，而且能有效地控制视间码率；提出了一种基于直方图分割的多视点颜色校正方法，其校正效果从主观质量到客观视差平均值均优于全局颜色校正方法。. 上述研究成果，获得了具有自主知识产权的成果，并对我国在自由视点视频、自由视点电视、立体电视以及沉浸式视频会议等多视点视频方面的应用提供技术支撑。