面向集成成像的联合高斯分布函数族表示视频编解码

Integral imaging can reproduce a continuous parallax, real color and large-scale of real 3D scene. It has wide applications in the fields of military, medicine, biology, and entertainment. It is also the most potential technology to implement real 3DTV and has become an international hot research topic. However, integral imaging faces the problem of storage and transmission large amount of video data. Therefore, it is vital for smooth developing integral imaging related applications to study on high efficient video coding and decoding method. The project will break the idea of traditional video coding which achieves compression by removing the correlation based on pixel values of a video. The project will represent an element image using the family of joint Gaussian distribution functions according to the feature of the element image which is very different from that of traditional image and study on high efficient coding and decoding method based on the representation model. The project will study mainly on: 1) construction of the representation model of joint Gaussian distribution functional family for the elemental image; 2) the correlation between model parameters and features of the area; 3) the coding and decoding methods for the elemental image based on sparse representation of model parameters; 4) the coding and decoding methods of inter-elemental image array based on parameter variance vector and motion vector. The outcomes of the project will form the high performance integral-imaging-oriented video coding and decoding scheme and it has great value for theoretical research and promotion of the related industry.

集成成像技术能够再现具有连续视差、色彩真实以及大规模的真实立体场景，在军事、医学、生物学和娱乐等领域具有广泛应用，是最有潜力实现真三维电视的技术，已成为目前国际上的研究热点。然而，集成成像技术面临着大量视频数据如何存储和传输的问题。因此，面向集成成像的视频高效编解码对集成成像相关应用的发展是至关重要的。本项目打破传统视频编码方法以视频图像像素值为本去除相关性的思路，针对集成成像视频中立体元图像区别于传统图像的特点，用联合高斯分布函数族表示立体元图像，并研究基于该表示模型的高效视频编解码方法。项目主要研究：1) 立体元图像联合高斯分布函数族表示模型构建；2) 模型参数与各区域特征的关联性；3) 基于模型参数稀疏表示的立体元图像阵列编码算法；4) 立体元图像阵列间基于参数变化矢量和运动失量的编解码方法。研究成果将形成面向集成成像的高性能视频编解码方案，具有重大理论研究价值和产业促进作用。

集成成像技术在军事、医学和生活娱乐等领域中具有广泛应用，是最有潜力实现真三维电视的技术。然而，集成成像技术面临着大量视频数据流如何存储和传输的问题。因此，面向集成成像的视频更高效率的编解码对相关应用的顺利发展至关重要。本项目针对集成成像中立体元图像阵列（EIA）的高效编解码问题，首先从立体元图像（EI）的联合高斯分布函数族模型构建、模型参数与各区域特征的关联性分析及模型参数的高效编码、基于模型参数表示的EIA编码算法和EIA间基于参数变化矢量和运动失量的编解码方法四个方面开展研究，提出了高斯混合模型建模优化方法；提出了基于高斯混合模型和马尔科夫随机场的全新混合模型；提出了基于K-中值算法的混合模型建模优化方法；利用高斯分布所蕴含的几何特性和相邻EI间的区域相似性，提出了基于回归平面分析的三维协方差矩阵分解算法、基于向量空间关系的分布特征计算方法和基于相似分布匹配的分布特征字典构建方法，实现了高效的基于高斯混合模型的EIA编码方法；提出了基于联合高斯分布函数族表示模型参数稀疏表示的EIA视频编码算法。高斯混合模型对具有边缘细节和复杂纹理的图像建模能力不足，因此，本项目研究扩展了EI的建模方法，首次提出了矩阵形式的三维二次核（伊番科尼可夫核）函数以及三维二次核混合回归理论，推导了其边缘概率分布、条件概率分布和条件均值分布，在具备了这些数理统计量基础上提出了基于三维二次核混合模型和高斯核混合模型的EIA编码方法；并进一步推广到四维二次核和五维二次核混合回归理论，分别提出了基于四维二次核混合回归的EIA编码方法和基于五维二次核混合回归的EIA编码方法。在IEEE TMM、IEEE TCSVT、IEEE TVCG、Signal Processing和光学精密工程等国内外期刊发表论文18篇，在国内外学术会议发表论文7篇；授权发明专利4项，申请发明专利7项；培养毕业博士研究生3人，硕士研究生6人，在读博士研究生1人。研究成果发展了图像建模理论，为基于模型的图像编码提供了新的理论和思路。