基于内容分析的高效视频编码理论与方法

As the "bigger in bigger" of the big data, how to do efficient video coding and analysis becomes more and more important. Compared to the high efficient human visual processing, the traditional pixel block based video coding methods have two kinds of drawbacks: on one hand, the sparse structural information is not fully explored, and there exists great potential to improve coding efficiency; on the other hand, the content identification information is not coded, which is very useful to the following content analysis. This project proposes to research coantent based high efficiency video coding. The target is to break through the traditional equally processing on the uneven image content, e.g. the unified prediction, transform and filtering process for all kinds of coding blocks. In the research, content based visual recognition model, structural model, and motion model will be built, and based on these models more efficient coding tools will be proposed, including sparse/low rank based background/foreground image generation, deep learning baed dictionary construction and recognition features coding, structural similarity based transform/filtering, complex motion model based adaptive motion compensation prediction etc. We will organize the standardization of a new generation video coding standard, and the new standard will achieve more than 50% bit rate saving compared to the previous video coding standards.

视频数据作为大数据中的“大中之大”，如何实现对视频数据的高效压缩及分析利用成为大数据时代的突出问题之一。传统基于像素块的预测变换编码方法与人类高效的视觉信息编码处理机理有着很大差异，一方面对视频内容的稀疏结构特性利用不足，编码效率还有很大提升潜力；另一方面没有编码标识视频内容属性的特征信息，不利于后续视频内容的分析处理。本项目提出研究基于内容分析的高效视频编码，借鉴视觉信息处理机理，突破传统基于像素块的编码方法，建立面向视频内容分析编码的认知模型、结构模型和运动模型，提出基于低秩稀疏特性的前背景图像生成方法，基于深度学习的字典生成和认知特征编码方法，基于结构相似性的变换、滤波方法，和基于复杂运动模型的自适应运动补偿预测方法等，形成融合数字信号处理和视觉信息处理模型的高效视频编码框架，组织制定新一代视频编码标准，实现编码效率比前一代标准提升一倍。

视频数据近年来数据总量呈指数上升趋势，如何实现对视频数据的高效压缩及分析利用成为大数据时代的突出问题之一。本项目围绕基于内容分析的高效视频编码开展研究，融合传统编码与深度学习编码方法，紧密结合新一代视频编码标准制定过程。主要研究内容包括三个方面，在运动分析及建模方面，提出了自适应运动补偿方法，研究自适应预测块划分和全局/局部联合运动模型的运动预测；在结构分析及建模方面，研究了基于结构相似性的变换和滤波等；在认知分析及建模方面，研究了基于深度学习的认知模型及特征编码方法，还构建了与视觉认知一致的压缩视频质量评价方法。本项目累计发表/录用国际期刊55篇，其中本领域顶级国际期刊IEEE Transactions on Image Processing (TIP) 16篇，IEEE Transactions on Circuits and Systems for Video Technology (TCSVT) 15篇，IEEE Transactions on Multimedia (TMM) 2篇，人工智能领域顶级国际期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 1篇；发表国际会议论文85篇，其中CCF A类会议17篇，申请发明专利39项，授权发明专利5项。组织制定了AVS3编码标准，编码效率比前一代标准提升一倍。项目期间共培养博士后2人，培养博士生17名，硕士生21名。所有指标均超额完成项目预期。