基于稀疏低秩分解的高效视频传输技术研究

This research mainly addresses feature extraction, coding and transmission, and quality assessment for video signals using the technique of sparse and low-rank matrix decomposition and saliency-map detection. Specifically, the main contributions and innovations of this research include (1) Foreground and background decomposition of video signals based on visual saliency extraction; (2) Video coding scheme based on sparse & low-rank matrix decomposition and multi-way compressed sensing; (3) Content-oriented scalable video transmission scheme, and (4) Video quality assessment and feedback mechanism via human visual system (HVS) characteristics. Compared with resolution-oriented and SNR-oriented scalable coding methods, the remarkable highlight of our approach lies in the context-oriented scalable video coding and transmission scheme. In this diagram, the base layer (foreground moving objects) and enhancement layers (background), are independently compressed and delivered, resulting in low complexity coding and transmission system. The research aims at developing a novel video encoding and efficient transmission scheme (including sparse and low-rank matrix decomposition, multi-way compressed sensing and video quality assessment), in the scenario with limited communication resources to meet the QoE requirement. We hope to provide the theoretical and technical supports for the application of multimedia communications.

本项目以视频信号稀疏低秩分解为基础，以显著性信息提取为主线，紧紧围绕视频信号的“特征提取、编码传输、质量评价”进行研究。主要研究内容和创新点包括：研究基于显著性信息的视频稀疏低秩分解；基于稀疏低秩分解和多方压缩感知的视频编解码方案；基于内容的可分级传输方法；以及反映人类视觉特性(HVS)的视频质量评价模型与质量反馈机制。有别于按分辨率或信噪比分级的传统编解码传输方案，其最大亮点是采用基于内容的可分级编码传输方案，该方案基本层(前景运动目标)和增强层(背景区域)可独立编码和传输，因此大大简化了编码与传输系统结构，降低了计算和处理复杂度。旨在通过上述研究，在有限通信资源和满足QoE要求的前提下，构建一种集稀疏低秩分解、多方压缩感知、视频质量评价于一体的新型视频编码和高效传输技术架构，为多媒体信息通信面向更宽更广的实际应用提供理论和技术支持，具有重要的学术意义和应用价值。

数字视频图像作为一种独立的信息载体，与其他信号相比，更为直观逼真、形象生动，但同时也具有形式复杂，数据量大的特点，为其更进一步深化应用带来了各种技术挑战。本项目通过对视频和图像信号进行结构化稀疏低秩分解，提取图像中显著性信息（感兴趣区域），紧紧围绕“特征提取、编码传输、质量评价”的研究主线开展工作。主要完成了基于显著性信息的视频信号稀疏低秩分解、面向内容的可分级视频编码与传输和基于稀疏表示的视频质量评价的三个方面的研究。围绕上述三方面研究，项目在受限的通信资源环境下构建了集稀疏低秩分解、多方压缩感知、视频质量评价为一体的高效视频编码传输机制，同时也尽可能满足观看者对视频质量评价的要求。4年内在本项目的支持下，共发表90余篇国内外高水论文，申请15项发明专利，支持3名博士生和23名硕士生攻读学位，在视频低秩稀疏处理领域建立起了国内较有影响力的科研平台和团队，为后续的科学研究的深入和技术落地奠定了扎实的理论基础。