基于深度学习的帧内预测编码及其网络的加速方法研究

The existing intra prediction encoding cannot meet the compression performance requirement for higher resolution video. The deep learning based intra prediction encoding is an effective way to improve compression performance. However, deep learning has the drawbacks of complex network and long computation time, which is the main obstacle for its application to the compression coding algorithm. Therefore, this project plans to research on the deep learning based intra-prediction encoding algorithm, model compression and VLSI acceleration of deep neural networks. The details are as follows: 1) An efficient deep learning based intra prediction encoding algorithm is designed, which can improve the prediction efficiency of complex structure and compression efficiency. 2) An efficient quantization and data coding methods of deep neural network parameters is studied, which can reduce the network complexity while ensuring the performance and benefiting to the hardware implementation; 3) Based on the quantized network, public operations in convolution are extracted and achieved in efficient basic units to accelerate the deep neural network and reduce computing time. This project can be the technical foundation for 8K television technology and the next generation coding standards, and it is conducive to the application of deep learning.

现有帧内预测编码难以满足更高分辨率视频压缩的性能需求，基于深度学习的帧内预测编码是提升压缩性能的有效途径。但深度学习中存在着网络结构过于复杂、计算时间过长的问题，该问题是将其应用于压缩编码的主要障碍。因此，本项目拟从基于深度学习的帧内预测编码、深度学习网络的模型压缩以及网络结构的VLSI加速三个方面展开研究。具体内容如下：1)研究基于深度学习的帧内预测编码算法，以提升对复杂纹理待编码块的预测效率，从而提高帧内预测编码的压缩性能；2)研究深度学习网络参数的高效量化及数据编码方法，在保证网络性能且有利于硬件实现的前提下，降低网络复杂度；3)在量化网络的基础上，分析并提取出卷积运算中的公共操作，设计高效的基本运算单元并合理布局，以实现网络结构的VLSI加速。本项目可以为8K电视技术的普及与下一代压缩编码标准的制定提供技术基础，同时有利于深度学习技术的应用推广。

现有帧内预测编码难以满足更高分辨率视频压缩的性能需求，基于深度学习的帧内预测编码是提升压缩性能的有效途径。但深度学习中存在着网络结构过于复杂、计算时间过长的问题，该问题是将其应用于压缩编码的主要障碍。针对以上问题，本项目分别从帧内预测编码算法、深度学习网络的模型压缩以及VLSI加速三个方面进行了研究。具体包括：1）深入分析遥感图像及人脸深度图像的数据特征，有针对性地设计出高效的帧内预测编码方法，用于提升图像的压缩编码效率；2）基于知识蒸馏及预量化技术，设计并提出高效的网络结构剪枝及权重参数量化方法，用于在尽量不损失网络性能的前提下，降低网络结构的运算复杂度及存储数据量；3）针对深度神经网络中最为常用的卷积运算部分，设计并提出一种高效的卷积运算VLSI加速电路，用于完成卷积运算的加速电路设计。本项目可以为下一代压缩编码标准的制定提供技术基础，并为深度学习技术的应用推广提供理论基础和关键技术支持。