基于内容的智能视频编码优化研究

This project focuses on video coding optimization from the two aspects of coding components and coding parameters. A content-based intelligent video coding optimization scheme is proposed for balancing between performance and efficiency, meanwhile resolving the complexity. Considering the requirement of coding optimization and deep learning, the program focus on scene detection based on graph convolution, which results in end-end scene detection. Loop filtering relying on deep learning and neural network compression based on principal component analysis (PCA) are presented to compromise the efficiency and property during the component optimization process. While in the stage of parameters optimization, we use Harmonic algorithm to select coding parameters and set up a rate-distortion optimization model including distortion drift, aiming to reduce complexity and enhance accuracy. To design a objective evaluator reflecting subjective perception, we employ deep neural network to construct a video quality evaluation model. Our research can provide new thinking and method for video optimization and extend to other research area.

项目主要研究视频编码模块优化和编码参数优化，针对前者的性能效率平衡问题和后者的编码参数复杂问题，提出基于内容的智能视频编码优化方案。在分析视频编码优化问题的需求和深度学习优势的基础上，项目将重点研究基于图卷积的视频场景检测模型，解决端到端的场景分类问题；研究基于深度学习的环路滤波和基于主成分分析方法的深度神经网络压缩，解决视频编码模块优化的效率性能平衡问题；研究基于Harmonic方法的视频编码参数选择和基于失真漂移的率失真优化模型，解决编码参数复杂和编码优化准确性问题；研究基于深度神经网络的视频质量评价模型，解决反映视觉感知的客观评价指标问题。研究成果将为视频编码优化提供新的思路，并可拓展到其它研究领域。

在视频数据越来越丰富的应用背景下，如何解决有限资源、高效访问和用户体验之间的矛盾问题尤为关键。本项目围绕基于内容的智能视频编码优化开展研究，在视频内容分析与理解的基础上，进行基于深度学习的视频编码优化，并通过视频质量评价验证视频编码优化技术的有效性，实现视频编码技术在视频播出质量和编码效率之间的平衡。本项目分别对视频场景检测、编码模块优化、编码参数优化和视频质量评价四个方面开展深入探索，提出了用于数据增广的样本融合网络来提高视频场景检测算法的鲁棒性和准确性；提出了视频编码优化方法，能够有效兼顾编码性能与编码复杂度，包括基于信号调制的变换编码方法、基于稀疏剪枝和加法网络的编码模型压缩方法、基于PCA的鲁棒特征选择方法以及矩阵低秩表示的编码参数优化方法；并构建了基于PCA方法的深度神经网络模型压缩理论来增强其可解释性；提出了多种视觉注意力模块以及引入感知度量的率失真损失改进方案，实现了更好主观视觉感受的图像重建，提升视频播出质量。项目期间发表及已接受的期刊论文12篇、发表会议论文9篇、申请国家发明专利6项、共培养博士生6名、硕士生12名。本项目的实施促进了视频编码优化技术的发展，为高质量视频编码的需求提供了技术支持。