面向沉浸式3D远程呈现的动态3D点云高效压缩与自适应传输

Immersive 3D telepresence allows users to communicate and interact with remote people or environments from any perspective as if they were co-located, although they may be geographically. Such emerging media can improve user experience significantly to change our lifestyles. With the aim of improving the performance of immersive 3D telepresence, we will first study high efficiency compression of dynamic 3D point clouds with colors, including advanced sparse representation models tailored to signals with irregular structures, fast algorithms for point-to-point correspondences between two 3D point clouds, and perceptual quality-based joint bit allocation algorithms among colors, geometry data, and voxelization. Then, we will investigate DASH-based streaming approaches between servers and clients, including adaptive bandwidth allocation algorithms for a single-server to multi-clients system, rate adaptation algorithms for a multi-servers to multi-clients system, etc. The novel compression and transmission methods by this project will promote the deployment of immersive 3D telepresence, and contribute to the standardization of the compression of dynamic 3D point clouds.

沉浸式3D远程呈现系统可以为通信双方提供真实场景的互动体验，使双方用户都体验到“临场”感觉。它可以极大的提高用户的通信体验质量从而改变人们的生活方式。本项目将以提高沉浸式3D远程呈现系统性能为目的，一方面，研究动态3D点云的高效压缩方法，包括适用于空间结构不规则信号的稀疏变换模型、动态3D点云帧间数据点快速配准算法、基于视觉感知的几何信息、色度信息和体素化联合码率分配方法；另一方面，研究服务器与客户端之间基于DASH的媒体内容自适应传输方法，包括单服务器-多用户系统中带宽分配方法、多服务器-多用户系统中的客户端码率自适应请求算法等。本项目所提出的新颖的压缩和传输方法将推动沉浸式3D远程呈现系统的发展，并促进动态3D点云数据压缩标准的制定。

沉浸式三维远程呈现系统可以为通信双方提供真实场景的互动体验，使双方用户都体验到“临场”感觉。它可以极大的提高用户的通信体验质量从而改变人们的生活方式。本项目以提高沉浸式三维远程呈现系统性能为目的，一方面，研究三维点云的高效压缩方法；另一方面，研究服务器与客户端之间基于DASH的媒体内容自适应传输方法。.项目团队在完成申请书中预定的任务的基础上进一步扩大研究内容，并取得了一系列成果，包括三维点云颜色和几何信息压缩框架、三维点云质量评价模型、自适应的传输方法和三维点云空间上采样方法。成果以28篇论文的形式发表在国际顶级期刊和会议上，例如，IEEE TPAMI, TIP, IEEE TCSVT, IJCV, CVPR 等。本项目取得的成果不仅可以给三维不规则点云信号的表示和分析提供了理论依据 而且可以促进三维点云数据压缩标准的制定从而推动沉浸式3D远程呈现系统的进一步发展。