面向全景图像/视频的多维稀疏变换编码

Panoramic image/video is a new type of interactive and immersive image/video, which includes two characteristic of the collaborative correlations between the spatial domain and the multi-views and the sparsity in the transformation domain. The Image/Video Coding Standard generally removes the correlation and redundancy in the spatiotemporal domain. The two dimensional (2D) transform matrix in the horizontal and vertical direction are always the same. After the horizontal transform, the distribution of the transformed data in the vertical direction will be changed. Thus, the 2D transform cannot efficiently remove the spatial redundancy, and cannot further capture the collaborative correlation of multi-dimensional signal in the spatial and multi-view domain. Thus, this issue aims at studying the compressibility constrained multi-dimensional sparse representation and multi-dimensional sparse-based transform coding. Specifically, this issue will study from the following aspects: 1. exploring the effective representation of the panoramic images and video to satisfy the users’ requirement of switching views to interactively watch the panoramic images/video, and efficiently exploiting the correlation of the video data; 2. proposing a compressively constrained multi-dimensional sparse representation and the corresponding the multi-dimensional dictionary learning algorithms to compactly represent the panoramic pictures in the transformation domain and to further facilitate the entropy coding; 3. utilizing the rate distortion optimization (RDO) technique to propose the tree-structured multi-dimensional sparse-based codec.

全景图像/视频是一类具有交互性和沉浸感的新型图像/视频。全景图像/视频数据有两个特点：1、存在空域和不同视点间的联合相关性，2、在某个变换域是稀疏的。图像视频编码标准中通常采用二维变换去除空域相关性。二维变换的水平和垂直方向采用相同的变换矩阵，由于水平方向变换后, 数据在垂直方向分布发生了改变，因此这类变换不能高效地去除空域冗余，更无法挖掘全景图像/视频这种多维信号的空域和不同视点间的联合相关性。为此本课题拟针对全景图像/视频数据的相关性和稀疏特性，研究可压缩的多维稀疏变换及其多维稀疏变换编码方法。具体包括：1、探索编码输入的全景图像/视频的高效表示，既满足用户切换视点需求又有利于挖掘数据的相关性。2、研究具有压缩特性的多维稀疏表示模型及多维稀疏变换的训练方法，使全景视频信号在变换域不仅紧致而且更便于熵编码处理。3、应用率失真优化技术，提出了树形多维稀疏编码方案。

全景图像/视频是一类具有交互性和沉浸感的新型图像/视频。全景图像/视频数据有两个特点：1、存在空域和不同视点间的联合相关性，2、在某个变换域是稀疏的。图像视频编码标准中通常采用二维变换去除空域相关性。二维变换的水平和垂直方向采用相同的变换矩阵，由于水平方向变换后，数据在垂直方向分布发生了改变，因此这类变换不能高效地去除空域冗余，更无法挖掘全景图像/视频这种多维信号的空域和不同视点间的联合相关性。为此本课题针对全景图像/视频数据的相关性和稀疏特性，研究了可压缩的多维稀疏变换及其多维稀疏变换编码方法。我们的工作包括如下三个方面：.1、在全景图像/视频信号的高效表示方面，提出了一种新的二进制球面图像索引方案，用三维整数坐标体系来对球面三角像元进行索引，获得了全景图像/视频的高效表示。该表达在反映球面测度的基础上，能够像平面图像的索引方式一样，支持全局随机访问，且不需要预先计算并存储球面三角像元间的拓扑结构。基于该二进索引体系，推导出了基于球面测度的球面图像重采样方法，并提出了一种球面图像的SLIC（Simple linear iterative clustering）算法。.2、在多维稀疏表示模型方面，提出了基于张量的多维稀疏表示模型。该模型能够保持多维信号原始结构，通过字典序列刻画各个维度的特性，高效地表达多维信号。随之提出了基于Kronecker product运算的多维稀疏变换的训练方法，使全景视频信号在变换域不仅紧致而且更便于熵编码处理。提出了一种基于非紧框架的稳定稀疏表示模型以及对应的稀疏编码算法和框架学习算法，分别建立了基于Parseval框架和基于等角框架的冗余变换方法。.3、在面向全景图像/视频的多维稀疏变换编码方面，提出了一种基于协同预测的多流自动编码器来压缩相关图像。该方法使用多流自动编码器通过对多流特征实施共参考约束来对多个高度相关的图像进行协同编码。此外，提出了基于多分支空间变换网络视图合成的图像压缩方法，分别提出了一种基于双背景和渐进背景更新的监控视频编码方案。提出了基于分类的全景视频自适应插值和变换以提高编码效率。为了进一步提高解压缩后的图像质量，分别提出了基于多频概率推理模型和基于小波变换注意力模型的压缩图像修复方法。