基于变换域特征的图像/视频深度编解码

Recently, deep learning techniques have been applied in various areas and have achieved a number of breakthroughs on performance optimization and representation learning. However, with regard to image/video compression, the development of deep learning based technique is still relatively slow. On one hand, the complexity of the optimization issue on image/video compression is one of the reasons; on the other hand, most of the existing compression algorithms based on deep learning are limited in the framework of traditional image/video compression. The architecture with deep learning as the core has been not constructed. In order to improve the Rate-Distortion (R-D) performance of image/video compression, we will try to explore the deep coding framework for image/video compression. We will focus on the following three issues: 1) to effectively mining the related information in image/video, we will discuss the image/video deep compression representation learning in the transform domain; 2) aiming to optimize the deep representation, the R-D optimization strategy is designed in the field of deep learning; 3) we will investigate the image/video reconstruction methods to increase the visual quality of the reconstructed image/video. Finally, oriented to the practical application, this proposal will provide new theoretical supports and realization methods, exploring for next generation image/video coding standard.

近年来，深度学习技术得到广泛应用并且在性能优化和表示学习方面取得重大突破。然而，深度学习技术在图像/视频压缩领域的应用仍相对发展较慢。究其原因，一方面在于图像/视频压缩的优化问题具有一定复杂性；另一方面也在于现在有的基于深度学习的压缩方法大多仍局限在传统的图像/视频编码框架内，而没有建立以深度学习技术为核心的压缩表示体系。本课题将以深度学习技术作为核心，探索适用于图像/视频压缩的深度编解码框架，提高图像/视频压缩的率失真性能。研究重点从三个方面展开：1）研究基于变换域的图像/视频的深度压缩表示，有效地挖掘图像/视频数据的相关性信息；2）研究基于深度学习技术的率失真优化策略，优化深度压缩表示；3）研究图像/视频的深度解码重建方法，提高图像/视频重建的视觉质量。最终本课题将以实际应用为导向，为深度学习在图像/视频压缩领域应用提供新的理论依据与实现方法，为下一代图像/视频编码标准做技术探索。

本项目重点开展了适用于图像/视频压缩的特征表示学习的研究，研究并设计了基于深度特征的图像/视频压缩框架，提出了基于特征变换学习的图像压缩深度网络模型，优化了面向图像压缩任务的全局与局部深度特征表示，所提图像压缩框架对比VVC帧内编码模型在Kodak数据集可取得BD-PSNR增益0.28dB，节省编码码率6.57%。以深度特征驱动图像质量增强，项目提出了一系列深度特征学习方法包括纹理一致性变换的深度特征表示、分级特征反馈融合的图像质量增强方法以及多阶段渐进式特征融合策略，综合考虑不同空间尺度下丰富的特征表示，通过引入常微分方程动态地对多种分布的质量衰减因子进行多阶段的仿真拟合，最终达到图像质量增强的目的。与图像压缩与质量增强问题不同，视频编解码与质量增强面临的优化问题更加复杂，本项目基于视频的时域连续性特点，重点挖掘视频帧间冗余和帧间运动连续性提升重建视频的时域连续性质量，并提出面向人-机感知协同的视频编码优化策略，在视频内容理解和视频质量增强方面实现面向人-机感知的共同提升。