基于结构信息特征的监控视频编码

Video surveillance applications are facing the great challenges from the video data storage and analysis, which requires more efficient representation and coding method for the surveillance video. The current block based coding is not efficient for video retrieval and analysis. And the further improve of the coding efficiency is also a bottleneck problem. However, a lot of priori knowledge are still not fully extracted, e.g. the structure information for the foreground and the background, and the object information in the scene, which can further remove the background and the knowledge redundancy in the surveillance video. So this project proposes to research the structure feature based surveillance video coding. By extracting the structure information in the surveillance video, including the foreground and background structure information and the features of the video objects, e.g. SIFT features, background picture modelling and the object features based surveillance video coding will be researched. The proposed research will improve the coding efficiency of the surveillance video significantly, e.g. more than 50% bitrate saving. And it will also improve the the surveillance video analysis efficiency. The techniques proposed in this project will be proposed to the MPEG or AVS video coding standards, and hope to be adopted or advance the the standardisation of the new surveillance video coding technology, and we will publish more than 30 papers and file 5 more patent applications.

监控视频行业面临着数据存储和分析处理的巨大挑战，亟需针对监控视频的高效表示和编码处理方法。目前基于块的预测/变换编码框架不利于监控视频的检索分析处理，同时也面临着效率瓶颈问题，而实际上监控视频的很多先验知识特性还没有充分挖掘，比如前背景结构信息、场景对象特征信息等，利用这些信息能够进一步消除监控视频内部存在的背景冗余、知识冗余，提高编码效率。为此本项目提出研究基于结构信息特征的监控视频编码，即提取监控视频场景中的结构信息，包括前背景信息、对象特征信息如SIFT特征等，研究基于背景建模和对象特征的监控视频编码方法，通过分离前背景区域提高背景帧预测精度，编码对象特征提高对监控视频的检索分析支持，突破监控视频编码效率瓶颈，显著提高监控视频编码效率（一倍以上）和处理效率，争取研究成果被下一代国际MPEG标准或国内AVS视频编码标准采纳。在成果产出方面，发表论文30篇以上，申请专利5项以上。

监控视频行业面临着数据存储和分析处理的巨大挑战，亟需针对监控视频的高效表示和编码处理方法。目前基于块的预测/变换编码框架不利于监控视频的检索分析处理，同时也面临着效率瓶颈问题，而实际上监控视频的很多先验知识特性还没有充分挖掘，比如前背景结构信息、场景对象特征信息等，利用这些信息能够进一步消除监控视频内部存在的背景冗余、知识冗余，提高编码效率。为此本项目提出研究基于结构信息特征的监控视频编码，即提取监控视频场景中的结构信息，包括前背景信息、对象特征信息如SIFT特征等，研究基于背景建模和对象特征的监控视频编码方法，通过分离前背景区域提高背景帧预测精度，编码对象特征提高对监控视频的检索分析支持，突破监控视频编码效率瓶颈，显著提高监控视频编码效率和处理效率。.项目围绕基于结构特征的视频编码技术与原理开展研究，主要成果包括：针对监控视频内容的前背景结构特征、对象特征，提出了基于码率-准确率的优化编码方法，建立了一种面向行人检测的监控视频编码框架；针对视频内容的结构特性，提出非局部结构相似滤波、自适应预测划分和自适应运动矢量精度预测等编码技术，显著提升了编码效率；针对监控视频智能处理，提出一种视频纹理/特征联合编码方法，提高了视觉特征的编码效率以及视频检索分析效率。项目部分研究成果被AVS2国家标准采纳，与前一代AVS1标准相比，AVS2编码效率提升一倍，已广泛应用于数字电视广播、安防监控等领域。项目共发表论文39篇，其中IEEE Transactions on Image Processing, IEEE Transactions on Multimedia, IEEE Multimedia等重要国际期刊论文12篇，申请发明专利21项。项目获得IEEE VCIP 2016 前10%最佳论文奖、ICIP2018最佳学生论文奖。