基于压缩感知融合深度的三维视频编码关键技术的研究

In order to achieve the Free- Viewpoint Video system,multiple viewpoint video data and its corresponding depth map are the need of transmission,and the virtual viewpoint synthesis should be adopted at the end of system. Facing the large quantity of data, the high complexity of three-dimensional video encoding as well as the poor quality of virtual viewpoint synthesis after coding,a novel three-dimensional video coding system which have some characteristices of simple acquisition,low encoding complexity and good robustness must be designed. Analysising deeply the theories of distributed compressive sensing, distributed video coding, multi-view video coding, virtual view rendering, and human visual system, the aims of this study is that a novel compression system of 3D video with depth map should be construction which have low encoding complexity and good robustness.The studies of project include: Distributed compressive sensing based on depth map, A system of 3D video coding with depth map based on compressing sensing and optimization, Distributed video analysis. This project aims to explore the new 3D video coding technology, and solve the problems acquisition, compression and transmission in the application of free viewpoint system. The research results of intellectual property rights obtained in this project will bring a great impact in the future of the development of 3DTV in China.

为了实现自由视点的立体视频系统，需要传输多个视点数据及其对应的深度信号，并在接收端进行虚拟视点的合成。面对数据量庞大、编码后视点合成质量不高以及实时性较差等问题，需要探索兼具采集简单、复杂度低、鲁棒性较好且利于视点合成的三维视频编解码方法。本课题在深入分析分布式压缩感知、分布式视频编码、多视点视频编码、虚拟视点绘制以及人眼视觉特性等理论的基础上,研究一种全新基于压缩感知融合深度的三维视频编码系统方法，探索低复杂度、鲁棒性较好融合深度的三维视频编解码理论。项目的研究内容包括：基于分布式压缩感知的深度编码模型研究、基于压缩感知融合深度的三维视频编码系统及优化、基于虚拟合成视点质量的视觉压缩感知分析模型。本项目旨在探索新的三维视频编码理论，解决目前自由式立体视频在采集、压缩和传输中存在的问题。预计本项目所获得的具有知识产权的研究成果，将有助于推进我国3DTV的发展。

自由视点视频编码是3DTV中重要的组成部分，如何找到一种高效、 低复杂、高采样率的理论及方法有重要的理论和实际意义。本项目充分考虑3DTV系统特点提出了一种基于压缩感知融合深度的三维视频编码系统，系统研究主要分为三维系统平台及优化、基于压缩感知的深度图像理论及方法、面向虚拟视点视觉压缩感知以及分布式深度序列压缩感知编码系统。主要研究内容及成果如下：.研究三维编码系统平台及优化。平台的优化主要涉及深度获取、虚拟视点绘制、三维编码、纹理视频编码以及码率控制等方面。该部分的研究获得了大量的研究成果也为后续项目的开展奠定了理论及应用基础.研究基于深压缩感知理论度图像理论及方法。提出了一种面向深度图像自适应多级分块压缩感知采样及重构方法。该方法深入研究了深度图像特点，并构建了一种面向深度的采样及重构模型，为项目进一步开展提供了理论依据与方向。.研究面向虚拟视点绘制视觉压缩感知。根据三维视频特点，提出了一种面向虚拟视点绘制的自适应分块压缩感知算法及压缩感知编码量化设计，为系统进一步的完善提供了新的方法与技术支撑.研究分布式压缩感知深度序列编码系统研究。根据上述研究内容的成果，进一步深入研究基于压缩感知深度序列编码系统。提出了一种联合空间和时间稀疏度的深度序列压缩感知方法，并建立了分布式压缩感知系统，并对系统中边信息的获取及优化进行了探讨，建立了适合深度序列的理论模型。.发表论文26篇，其中SCI收录3篇，EI收录9篇；提交国家标准提案5项，采纳1项，国际标准5项，采纳1项；申请发明专利4项，授权1项；培养研究生12人，3名博士，9名硕士，已全面完成计划任务，该研究为三维视频编码提供了新的方向与思路，研究成果也为其应用提供了理论和技术支撑。