联合信源信道的全浸式多描述视频编码

传统二维视频编码已经在图像清晰度和质量等方面均已有显著提高，但无法提供用户全浸式观感。为人们提供全浸感和交互式功能，以获取更加逼真的、身临其境的观感，成为下一代视频编码新的挑战。本课题将研究多视点可伸缩和多描述编码的基础理论和核心算法，在复杂动态网络环境下进行联合信源信道的多视点多描述编码，实现全浸式视频编码和自适应传输。主要突破点包括高效视差估计、自适应码率控制和高质量虚拟视点绘制等算法和关键技术；基于网络特性优化的多视点多描述生成方法；联合信源信道自适应的多视点编码与传输；复杂网络拓扑下的多视点多描述方法；以及其在P2P，Multicast和Broadcast等网络拓扑下的实际应用。预期研究成果包括高水平学术论文，具有自主知识产权的发明专利和专有技术，进而为我国在视频媒体综合服务相关标准的制定中提供核心算法。

随着信息技术的迅速发展，二维视频越来越不能满足人们的需求。人们希望下一代视频系统能够为人们提供观看视频的全浸感和交互式功能，以获取更加逼真的、身临其境的观感。在此背景下，多视点视频编码成为国内外研究机构和工业界的关注热点。根据课题的研究内容，我们主要研究了复杂网络环境下联合信源信道的多视点多描述编码理论、技术和应用，提高了了复杂拓扑动态网络环境下全浸式视频编码与自适应传输性能。为进一步提高视频编码的效率和质量，我们首先研究了视频分析算法，包括显著性提取、视频内容分割和姿态检测等关键技术，以提取视频关键内容。在此基础上分别研究了多视点多描述编码、传输和重构等问题，特别是对关键内容的编码与传输，以提高多视点多描述视频编码质量。对于多视点多描述编码和可伸缩编码，根据不同数据类型和编码环境，提出了多描述视频编码、压缩感知及分形编码等算法。在解码端实现三维视点合成与重构算法，包括括高效视差估计、自适应码率控制和高质量虚拟视点绘制等算法和关键技术。最后根据信源信道的特点，研究了传输过程中的容错技术，提出多视点多描述视频流码率分配，以及针对动态丢包率和误码率的动态网络自适应多描述编码等方法。最终实现在动态网络中对全浸式视频高效编码以及自适应传输。主要研究成果已发表在IEEE Trans.Multimeida和Trans. Broadcasting等11篇国际期刊和11篇国际会议论文上。申请国家发明专利2项。与美国西北大学（NU）进行学术交流，与美国加州大学圣地亚哥分校（UCSD）联合培养博士生1名，共培养博士生3名，培养硕士研究生11名。