基于深度学习的自然图像先验模型及高效视频编码研究

Natural image and video data contain rich hierarchical and structured information. Human brain provides basic guarantee for understanding and cognition by effectively mining and modeling the general rule of natural images. Based on the understanding of the mechanism of human vision in the pathway of vision information transmission and human vision characters, our project tries to give summarization the general laws of the nature images corresponding to the human vision perception process, especially the deep learning based prior model as well as the corresponding key techniques in the video coding. The dominant contents include: exploring the general rule of the temporal and spatial context information of natural image and its optimal expression, developing effective deep learning based prior and the image prior models fusion strategy. Accordingly, we will focus on the problems in the video coding frameworks, and propose the method of deep learning based high quality images reconstruction and reliable quality for analysis and classification in the condition of low ration; these measures can be applied to break through the independence of video coding and video analysis, which are expected to make contribution to the future applications.

自然图像和视频数据中蕴含着丰富的层次化、结构化关联信息，人类大脑通过有效挖掘和建模自然图像的一般规律，为理解和认知提供根本保障。该项研究在理解与总结人类视觉系统的机理基础上，研究视觉先验深度模型及基于深度学习的视频编码理论与方法，完成以下目标：以深度学习为手段，兼顾计算视觉层面的识别与理解，挖掘自然图像时空上下文信息一般规律及其优化表达，实现融合图像先验深度模型的图像高效增强，建立并完善、普适的自然图像先验深度模型学习策略；进而研究视觉信息感知、语义层面上失真度量方法，以此为基础构建基于视觉特性的率失真模型，以及基于深度学习的快速帧内帧间预测，适用于深度网络编码的熵编码方法；最终综合以上，选择合理的视觉先验深度模型介入的途径与方式，研究基于深度学习的图像和视频数据的压缩编码框架，为视频智能应用奠定理论和技术基础。

自然图像和视频数据中蕴含着丰富的层次化、结构化关联信息，人类大脑通过挖掘和建模自然图像的一般规律，为理解和认知提供根本保障。本项目主要研究视觉先验深度模型及基于深度学习的视频编码理论与方法。具体而言，以深度学习为手段，兼顾计算视觉层面的识别与理解，挖掘自然图像时空上下文信息一般规律及其优化表达，实现融合图像先验深度模型的图像高效增强，建立并完善普适的自然图像先验深度模型学习策略；研究视觉信息感知、语义层面上失真度量方法，以此为基础构建基于视觉特性的率失真模型，以及基于深度学习的快速帧内帧间预测方法。.通过上述研究，本项目在以下几个方面取得重要成果：1. 在基于深度网络的压缩感知研究中，我们首先提出了图像压缩感知方法CSNet，CSNet首次利用深度网络联合优化采样矩阵和重建，大幅度提高了重建质量并极大地减少了计算复杂度。在此基础上，提出了可伸缩压缩感知方法SCSNet，SCSNet只需要训练一个模型就可以实现任意采样率下的可伸缩图像采样和重建。最后，将上述方法扩展到视频压缩感知，提出了视频压缩感知方法VCSNet。2. 在基于深度学习的视频编码研究中，分别针对帧内预测和帧间预测，提出了使用深度网络的MSCNN和NNIP方法，较大地提升了视频编码的编码效率。3. 在3D Mesh和点云数据的建模及增强研究中，我们首先提出了基于图的特征保持的法向量滤波方法：GGNF。其次，我们首次将深度网络引入到3D Mesh去噪任务，提出了基于学习的Mesh法向量滤波方法：NormalNet。最后，针对3D点云，我们提出了点云滤波网络PointFilterNet，通过将滤波与深度学习相结合完成点云去噪。上述方法较好地提升了3D数据的质量。.以上成果的取得推动了压缩感知技术的发展，为基于深度学习的视频编码应用提供了技术基础，并为3D数据建模与增强提供了高效解决方案。