基于对抗深度学习的下一代视频编码方法研究

Video coding is an effective solution for the video storage and transmission, and it is also a hot research topic. However, brute force search for the optimal coding parameter and manually designed prediction functions are utilized in the traditional video coding, which greatly limits the improvement of video coding performance. From the perspective of computer vision and artificial intelligence, the key modules in video coding, including predictive coding, mode decision and motion compensation can be modeled as image inpainting, classification and super-resolution respectively, where the deep learning tool will be adopted. In addition, the attack and defense of neural network with coding distortion will be exploited to design and train the adversarial neural networks for versatile video coding, aims to achieve the theoretical innovation and technical breakthroughs of intelligent video coding.

视频编码是解决视频数据存储和传输的有效手段，也是当前国内外研究的热点问题。然而，传统的视频编码技术大都采用全遍历暴力搜索最优编码参数和凭统计经验以手工设计预测函数的编码方案，这在很大程度上限制了视频编码性能的提升。本项目拟从计算机视觉和人工智能的角度出发，将信号处理领域问题模型化为人工智能领域问题，即将视频编码中的关键模块，预测编码、模式决策和运动补偿建模为图像修复、分类和超分辨率重建问题，利用神经网络为工具进行求解，同时探索编码失真环境下神经网络的攻击与防御，进而设计与训练对抗神经网络以应用于下一代视频编码标准，实现快速决策、自适应、智能化的高效编码，最终取得智能视频编码优化理论与方法的创新。

目前，以视频为载体的多媒体数据成为了信息时代发展的关键，并开始占据主导地位、呈现爆炸式增长的趋势，给存储和传输带来了前所未有的挑战。为了缓解视频数据的爆炸式增长，下一代视频编码标准已经制定，但凭统计经验手工设计的方案限制了编码性能的提升。因此，如何利用学习工具在有限带宽条件下最大化视频重建质量成为了视频编码优化的关键。本项目针对亮度、色度以及模式预测模块，实现从信号处理到人工智能的问题建模，解决现有方法遇到的瓶颈。.针对亮度预测，提出了基于生成对抗网络的图像修复方法，以有效消除空间冗余并生成灵活的预测模式。亮度预测被建模为图像修复任务，通过周围邻域的重构像素填充缺失部分，学习好的神经网络被集成到视频编解码器，并执行率失真优化以获得更好的编码性能。.针对色度预测，提出了基于深度学习的帧内色度预测方法，以充分利用亮度和色度分量之间的高度相关性提升性能。色度预测问题被模型化为上色任务，包括亮度下采样和色度预测两个子网络，它们被联合优化以充分利用空间和交叉域信息。此外，线性预测结果被用作色度初始化以提高性能，并将量化参数作为特征输入网络，消除压缩失真带来的负面影响。.针对模式预测，提出了智能化的帧内模式预测方法，以跳过帧内模式编码模块减少编码比特。全遍历候选帧内模式获取最佳模式的过程被建模为多分类任务，并设计了神经网络框架以适应不同的量化参数和可变编码块（包括非对称编码块）。特别地，手工特征和学习特征相结合的方式被用来弥补它们各自的局限性。.综上所述，本项目以多媒体视频快速发展及广泛应用为契机，针对现有视频编码模块的局限性问题，从人工智能的角度出发，以海量视频/图像为数据基础，研究结合对抗神经网络的视频编码方法，最终实现智能视频编码优化理论与方法的创新。预期成果能应用于下一代视频编码标准及视频压缩的各个相关领域，提高我国在视频信号处理领域的国际竞争力。