基于结构化集学习的视频稀疏编码理论与技术

To match the increasingly development of interactive high-definition video dissemination over promising mobile platform and multimedia sensor network, we aim to investigate advanced video approximation with stochastic constraints. With the asymmetric analysis-synthesis structure, it is dedicated to fulfilling sparse coding by structural set model and high-dimension correlation. To benefit the fundamental description and robust transmission over ubiquitous network-oriented application, the optimal solution of video coding is made possible in a high probability from uncertain conditions. To be concrete, it is achived by sparse representation and correlated prediction within high-dimension feature space, the multi-dimension and -scale dictionary learning, the structured set prediction model, and the regularized matrix completion. The overall rate-distortion characteristics of video coding is expected to be close to the theoretical bound of nonlinear approximation by the fusion of multi-dimension side-information. It is founded on the combinatorial area of information theory and signal processing, and the achievements could favor the ongoing high-performance video coding standard and multiview video.

本申请项目为适应日益推广的移动信息平台、多媒体传感网对高清视频信源的交互内容服务，探索在非稳态系统约束中的视频信号逼近性能，确定其非对称的分解（映射编码器的信源构造和描述）、重构（映射解码器的信息合成）框架，分析随机信源（如视频）在信息空间内的高维相关性描述，通过结构化模型的统计学习进行信号集合的稀疏编码，由非确定的输入信号状态构造一定概率区间的最优输出，以利于视频在广义网络化应用中的基本描述和鲁棒传输。提出基于高维特征空间描述和预测的稀疏编码方法，建立基于多维尺度字典学习的低码率视频编码理论与算法，实现基于结构化集学习的编码预测模型，进行基于矩阵填充的正则化视频重建。研究广义多维信息融合的视频通信，使总体的失真特性可以实现最优逼近的模型化描述。本项目从实际应用中抽象出科学问题，涉及信息论、信号处理的基础，预期的理论和技术成果可有助于高性能视频编码和多视信源的发展。

本面上项目“基于结构化集学习的视频稀疏编码理论与技术 （61271218）”，4年共发表重要学术论文44篇，其中：SCI期刊论文16篇，IEEE Trans汇刊12篇，11篇顶级国际会议论文，15篇著名国际会议论文，7项授权国家发明专利，申请17项；参加了27次国际学术会议，作16次专题演讲报告；2016年8月，成功主办国内重要学术会议HHME’2016；共培养博士后2名，博士3名，硕士9名；人才队伍建设培养了：国家杰出青年科学基金1人（2014）、教育部长江学者特聘教授1人（2016）、科技部中青年创新领军人才（2016）、上海市优秀学术带头人（2016）、上海市曙光学者（2013）、上海市青年科技英才（2014）；2次国际会议最佳论文奖：2014年IEEE VCIP最佳学生论文奖、2013年IEEE BMSB最佳论文奖；.（1）视频稀疏编码与正则性重建.建立基于数据驱动子空间集模型的视频压缩采样方法，利用线性子空间学习确定各个子空间的最优拓扑结构；拓展子空间集模型，利用结构化稀疏性的先验知识作约束，进行正则化学习，提升稀疏表示性能。同时松弛传统上下文约束条件，在多维方向上构造广义上下文模型树。.（2）多尺度字典的自适应构造.提出空时一致性在线字典学习（STOL）算法，根据视频采样信号的真实分布优化期望代价函数，形成优化的三维时空字典；提出基于渐进学习的可伸缩视频编码，引入可分级B帧，建立分层预测结构，利用已重构层在线学习，渐进更新字典，保持空时一致性，逐层进行高效率重构。 .（3）结构化集的学习预测.提出基于结构核函数和多尺度部件模型的物体识别算法与基于树结构模型的直推式视频分割算法，利用时间一致性约束的时域树聚类，进行直推式学习；提出基于多任务语义码本学习和上下文感知表示的场景分类方法，进而学习文本、物体和场景之间跨域关系，以条件随机场描述文本、物体和场景的联合概率。 .（4）视频信源的交互鲁棒传输.提出结构化传输优化的效用模型，扩展传统率失真优化模型，进一步提出端到端的延迟-率-失真模型，考虑了整个端到端延迟在不同延迟分量之间的分配。