基于纹理建模的预测编码技术研究

基于纹理分析与合成的视频编码利用人眼的掩蔽效应，用易于压缩但人眼察觉不到区别的合成图像来替换图像中难于压缩的纹理区域，成为视频编码领域技术发展趋势之一。但是由于目前还无法自动的提取出人眼不关注的纹理区域，导致该方法并不具备通用性。本课题基于该领域中发展相对成熟的纹理合成技术，将其无缝引入到传统视频编码框架中的预测编码环节，提出基于纹理建模的预测编码技术。针对帧内预测，提出基于图像摘要的帧内预测技术，提高当前的帧内预测效率；针对帧间预测，采用基于动态纹理的虚拟帧技术弥补当前多参考帧技术对包含不规则运动、光照变化内容图像在帧间预测效率不高的缺陷；基于局部时空纹理模型提出改进的帧间预测技术，减少码流中运动矢量等边信息的编码比特数。预期本研究能形成与传统混合视频编码框架兼容的增强编码工具集，在同等主/客观质量下，编码效率提升10%。

基于纹理分析与合成的视频编码成为视频编码领域技术发展趋势之一。本课题基于纹理合成技术，将其无缝引入到传统视频编码框架中的预测编码环节，对基于纹理建模的预测编码技术展开研究。.（1）基于图像摘要的帧内预测编码技术.针对当前方向帧内预测编码模式有限、预测来源单一的问题，本项目将计算机图形学领域的反向纹理合成模型引入混合视频编码技术中，首次提出了基于图像摘要的帧内预测编码框架，分析了压缩导向的图像摘要生成方式，在给定的图像摘要情况下，编码块的预测可由图像摘要生成，编码传输原始图像与图像摘要之间的映射关系以及提取出来的图像摘要。为了实现该种编码思想，本项目设计了两种新的帧内预测模式，并应用于实际的H.264/AVC编码中。.（2）基于动态纹理模型的虚拟帧技术.基于传统动态纹理模型合成的图像虽然主观效果较好，但是由于合成图像与当前待预测帧的相关性较低，降低了帧间预测效率。虽然有学者提出了改进的求解方法，但是为了保证编/解码端的数据匹配而省略噪声项，使得动态纹理模型没有了噪声驱动项，理论上导致模型无法驱动。针对这一问题，本项目提出一种改进的动态纹理模型求解方法，通过引入伪随机函数作为模型驱动项，采用逐帧更新迭代的方法使得合成的虚拟帧具有更小的图像合成误差值。在此基础上，在编码端提出一种虚拟帧算法，改善了现有多参考帧预测技术对于非线性运动、背景光照变化时预测效率不高的影响。.（3）基于STALL模型的帧间预测算法.原始STALL纹理模型以像素点为基本处理单元、形成逐点合成的处理框架，而现有视频编码标准采用基于块的处理框架（如H.264标准以4×4块为最小处理单元）。将STALL模型用在基于块为最小处理单元的视频标准有损压缩时，由于空域邻居点无法实时获取到，只能利用时域邻居点信息来建模，降低了模型预测精度。针对这一问题，本项目提出以4×4块为处理单元的时空邻居点自适应选择方法，建立适合视频有损压缩的改进STALL模型，提出了一种新的帧间预测模式，提高了帧间预测精度。.完成上述研究的过程中，本项目团队发表论文14篇，申请国家发明专利6项。相关编码技术在国家科技重大专项中应用。