面向光场图像的紧框架多维变换与可分离重建

The light field image has the characteristics of high dimension, strong structure and different dimensional distribution characteristics. The traditional multi-dimensional signal representation method is difficult to effectively maintain the high-dimensional intrinsic structure of the light field image, and consumes a large amount of computing and storage resources. Based on the analysis of the distribution characteristics of light field image signals and the structural characteristics of light field images, this paper intends to explore the multi-dimensional transform and reconstruction methods for light field images, and study the compression methods applied to light field images, including the following: 1. According to the tensor expression and compact frame theory, the light field image signal is studied based on the data-driven multi-dimensional tight frame transform method to achieve compact representation of high-dimensional light field image signals. 2. The light field image based on deep convolutional neural network is established. Separable reconstruction framework, using the multi-dimensional tight frame of the light field image to reconstruct in different dimensions, using the prior knowledge of the structural characteristics of the light field image to guide the deep convolutional network reconstruction, and achieve efficient and robust reconstruction of the light field image. 3. Applying the above mentioned multi-dimensional transform and reconstruction method for light field image to the light field image compression, a light field image compression solution based on multi-dimensional transform and reconstruction is proposed. It is studied how to integrate the above multi-dimensional transform and reconstruction methods into the existing hybrid coding framework to maximize the efficiency of light field image compression.

光场图像具有维度高、结构性强、不同维度分布特性不同的特点，传统多维信号表示方法难以有效保持光场图像的高维内在结构，并且需要消耗大量计算与存储资源。本课题拟在分析光场图像信号在不同维度分布特性和光场图像结构特性的基础上，探索面向光场图像的多维变换与重建方法，并研究将其应用在光场图像的压缩方法，具体包括：1、根据张量表达与紧框架理论，研究光场图像信号基于数据驱动多维紧框架的变换方法，实现高维光场图像信号的紧致表达；2、建立基于深度卷积神经网络的光场图像可分离重建框架，利用光场图像多维紧框架在不同维度上依次进行重建，利用光场图像的结构特性等先验知识指导深度卷积网络重建，实现光场图像的高效、鲁棒重建；3、将上述面向光场图像的多维变换与重建方法应用到光场图像压缩，提出基于多维变换与重建的光场图像压缩解决方案。研究如何将上述多维变换与重建方法融入现有混合编码框架，最大限度地提高光场图像压缩效率。

光场图像具有维度高、结构性强、不同维度分布特性不同的特点，传统多维信号表示方法难以有效保持光场图像的高维内在结构，并且需要消耗大量计算与存储资源。本课题在分析光场图像信号在不同维度分布特性和光场图像结构特性的基础上，探索了面向光场图像的多维变换与重建方法，并研究将其应用在光场图像的压缩方法，具体包括：1、研究了光场图像信号基于数据驱动多维紧框架的变换方法，实现高维光场图像信号的紧致表达；2、建立了基于深度卷积神经网络的光场图像可分离重建框架，实现光场图像的高效、鲁棒重建；3、将上述面向光场图像的多维变换与重建方法应用到光场图像压缩，提出了基于多维变换与重建的光场图像压缩解决方案。我们的工作包括如下三个方面：1、在基于数据驱动多维紧框架的光场图像变换方面，提出了多方向字典稀疏表示，将图像按照相同的几何方向划分为分类块，并在每个类中训练一个紧凑的字典。对于要重建的图像块，可以根据其几何方向选择最相关的字典。具有几何方向的边缘图像块由预训练的多方向字典精确表示。与通用字典相比，从不同方向图像块中训练的多个字典可以更好地表示带方向的图像块；2、在基于深度卷积神经网络的可分离光场图像重建方面，提出了一种轻量级的可分离卷积神经网络来处理高维图像，通过使用一维卷积核在整个网络中引入了一个可分离结构来处理高维图像信号。提出了多频概率推理模型（MPI模型）来预测缺失区域的多频信息从而指导图像重建，提出了基于小波变换注意力模型和结构保持生成对抗网络的图像重建；3、在基于多维紧框架变换与可分离重建的光场图像压缩方面，提出了一种使用基于视图合成多分支空间变换器网络的新颖光场图像压缩方案，利用生成对抗网络生成舍弃的视图，最大限度地提高光场图像压缩效率。提出了一种基于分布式信源编码(DSC)和多尺度图像融合的深度相关图像集压缩方案。提出了基于边信息补偿和R-λ模型码率控制的可变码率图像压缩方案。