基于内容特性与感知质量的光场图像编码研究

Light field (LF) imaging can capture both spatial and angular information of the light，which allows several new applications, starting from low-level image processing, mid-level visual analysis to high-level user interface. Thanks to such wide use of the LF imaging, the LF technology promotes the evolution of computational photography and is considered to be a prospective development direction of 3D display system. However, the large amount of light field image data limits the development of light field imaging. Therefore, effective coding methods become of paramount importance. In this project, we try to discuss the content-driven light field image coding method and full-reference objective image assessment method. Based on the content distribution characteristics and characteristics of extracted views and corresponding depth maps, this project aims to design the content distribution based light field image coding method and light field compression scheme using depth image-based view synthesis technique. Based on the analysis on content visual feature of light field image，the project tries to derive a full-reference objective image assessment method using support vector machines. The project results are expected to rich the light field image coding theory, which can promote the development and application of light field imaging.

光场成像技术可以获取三维场景光线的位置及角度信息，使其在底层图像处理、中层视觉分析以及高层用户交互等方面均得到了广泛的应用，不仅推动了计算摄像学的发展，也成为了下一代3D系统发展的方向之一。然而，巨大的数据量阻碍了光场成像技术的发展，亟需适应光场图像内容特性的高效编码方法。本项目拟以光场图像的内容特性及压缩光场图像感知质量评价模型为切入点，探讨基于内容特性与感知质量的高效光场图像编码方法。通过对光场图像内容特性的分析，提出基于内容特性分析的光场图像分层编码算法以及基于深度图视点合成的光场图像高效编码算法。并通过研究光场图像针对视觉特性的内容特征对压缩光场图像感知质量的影响，构建基于支持向量机学习的压缩光场图像全参考客观质量评价模型。在评价编码算法优劣的同时，进一步指导光场图像编码算法的设计与优化。项目研究成果将丰富光场图像编码理论，推进光场成像技术的发展。

光场成像技术可以获取三维场景光线的位置及角度信息，不仅推动了计算摄像学的发展，也成为了下一代3D系统发展的方向之一。然而，巨大的数据量阻碍了光场成像技术的发展，亟需适应光场图像内容特性的高效编码方法。本项目围绕基于内容特性与感知质量的高效光场图像压缩编码展开，主要研究内容及成果如下：（1）分析了光场图像内容特性，提出基于内容分布的光场图像分层编码算法，相比于HEVC帧内编码，平均 BD-PSNR 编码增益提升1.64 dB；（2）基于光场子孔径图像之间的相关性，提出基于视点相关性的光场图像压缩算法，相比于HEVC，可以获得平均2.55dB 的BD-PSNR增益；（3）将光场图像重建思想引入到编码过程中，借助光场子孔径图像强相关性和生成对抗网络，提出基于视点合成的光场图像压缩算法；考虑光场图像结构一致性，立足重建思想，提出基于几何与内容的一致性的低码率光场图像压缩算法；提出基于多平面表征的光场图像压缩算法，在解码端，利用多角度平面来建模光场中的光线关系，重建高质量光场数据；提出基于深度估计的光场图像压缩算法，通过优化估计的深度图质量，来提升编码效率；（4）构建光场质量评价数据集，设计失真光场图像主观质量评价方法，客观评价了8种常用图像质量评价标准；充分利用光场的角度特征，提出基于人眼视觉系统及光场空间-角度特征的光场全参考质量评价模型；（5）开展光场图像角度重建研究，构建光场多角度极几何结构，提出了基于多角度极几何结构的光场角度重建网络；充分挖掘光场图像空间角度相关性，构建光场EPI-Volume栈表征形式，提出基于方向性 EPI volume 的双层光场角度重建网络以及基于EPI-Volume栈的光场角度超分辨率网络，重建光场子孔径图像的平均PSNR达40.0 dB以上。发表SCI检索期刊论文10篇、EI检索会议论文5篇；申请发明专利3项。研究成果丰富了光场数据编码理论，促进了光场技术的应用发展。