考虑合成失真的3D视频混合数字模拟编码与传输

Efficient compression and communication technologies of 3D video will be indispensable for the interactive and immersive FVV (Free viewpoint video) on mobile devices. Therefore, a hybrid digital-analog coding-transmission system for 3D video over mobile networks is proposed in this project, based on uncoded transmission, virtual view synthesis, and distributed compressed sensing theories, which aim to achieve smooth synthesis quality, fine granularity scalability and optimal hybrid digital-analog transmission for 3D video. The topics to be researched in the project are as follows: 1) improved hybrid digital-analog scalable 3D video coding; 2) optimal superposition strategy for the hybrid digital-analog transmission of 3D video in different network environments, including multi-relay network and cognitive radio; 3) virtual view distortion estimation model for hybrid digital-analog transmission of 3D video. These topics will optimize the different aspects of the hybrid transmission system , including coding, superposition, as well as distortion estimation model, driven by the synthesis quality of 3D video. Therefore, this project will have a profound impact on the development of technology for 2D/3D video coding and transmission, virtual view synthesis, 3D-TV, FVV, and other relevant applications.

为了在移动设备上实现自由视点视频（Free viewpoint video，FVV）的实时交互、强沉浸感3D视频享受，必须研究高效的3D视频编码与传输方案。本项目基于无编码传输、虚拟视点合成、分布式压缩感知等理论，提出研究考虑合成失真的3D视频混合数字模拟编码与传输系统，以实现合成质量平滑变化、连续可伸缩的3D视频编码及最佳数模混合传输。研究内容包括：1）3D视频混数模可伸缩编码；2）混数模传输在不同网络中的最佳叠加（包括多中继协作和认知无线网）；3）混数模传输的3D视频合成失真估计模型；这三个内容基于用户的合成质量需求，分别从3D视频传输系统的编码方式、混合传输方式、失真模型三个方面考虑优化的传输方案，对促进2D/3D视频编码、传输技术、虚拟视点合成、3D电视、FVV等技术的发展都有重要的理论意义和应用价值。

为了在移动设备上实现自由视点视频的实时交互、强沉浸感3D视频享受，必须研究高效的3D视频编码与传输方案。本项目在国家自然科学基金（No.61672373）的支持下，提出研究考虑合成失真的3D视频混合数字模拟编码与传输系统技术。研究内容包括：1）3D视频混数模可伸缩编码；2）混数模传输在不同网络中的最佳叠加；3）混数模传输的3D视频合成失真估计模型。项目研究内容进展顺利，共发表论文30余篇，包括IEEE TCSVT、Patter Recognition等高水平论文16篇，ICASSP、ICIP、ICME等国际会议论文8篇，申请发明专利16项，登记软件著作权5项。主要创新性成果及意义包括：. ① 提出一系列视频类模拟编码、混合数字模拟HDA编码传输方案：BM3D-AMP-cast、TV-AMP-cast、DCSRN-Cast、DCSFCN-Cast、MISO-ASTBC、MIMO-ASTBC、MDC-NOMA和混合数模传输的合成失真估计模型 RDE-HDA、ARDE-HDA、RSDE-3D-HAD，验证了混合数字模拟编码、压缩感知类模拟编码在鲁棒视频无线传输中相比于数字传输的优势；研究基于深度学习来提升压缩感知的恢复性能，同时可以应用在视频传输系统中以增强由于压缩、传输所造成的视频恢复质量下降。研究表明: 结合视频传输的物理层特性，利用一些优化的物理层技术，寻找从编码、传输、恢复到视点合成的联合优化方案，是提升视频编码乃至视频传输性能的重要方法。. ② 对不同的无线传输环境，包括瑞利信道、多天线传输环境、带中继的无线传输，提出基于HDA的2D/3D视频从编码、传输，到解码端的合成视点失真估计模型，并利用失真模型进行HDA方案的功率分配，实现视频优化传输，验证了利用端到端失真模型、接收端质量反馈优化编码、传输参数方案的优点。 . ③ 研究3D视频自由视点合成的优化方案。研究视点绘制失真估计算法，精细优化视点合成的各个环节，包括量化、映射；将参考视点的纹理图划分为不同区域，根据合成视点的需要，选择性地从参考视点的不同区域进行映射，避免了重复映射和无效用区域的映射，在保持合成质量基本不变的前提下，比 VSRS3.5 与 VSRS-1D取得明显时间节省。