基于压缩域的视频特征提取与视频内容分析关键问题研究

Based on our preliminary researches, this project studies the problems of intelligent video analysis applications in terms of the following three aspects:.(1) To overcome the computational bottleneck of traditional approaches in video analysis, features extraction and related video analysis in compressed domain will be thoroughly studied without fully decoding the video streams;.(2) Improving the video quality at the decoding end to insure the accuracy of video analysis is the second task of this project. The compressive sensing and deep learning related techniques will be utilized to build prior knowledge model of video coding and to exploit redundant information in video stream as well;.(3) Most classic features in the pixel domain will be studied to evaluate their impact on improving the coding efficiency. This research aims at boosting both video analysis and coding efficiency by providing richer storable features in compressed domain..This project is devoted to solving the key problems related to the above issues, e.g. how to formulate the nonlinear relation between features in pixel domain and features in compressed domain, and how to model priors for the mechanism in video coding. The efficient methods for video analysis will be proposed to save computational resources as well as further improve the image/video quality only at the decoding end, which can meet the requirements of intelligent video analysis applications such as high-definition surveillance.

本项目将在以往研究的基础上，针对目前视频内容智能分析应用中的问题，从三个方面进行研究：(1)研究不完全解码的情况下，在压缩域提取相关信息和特征，完成相应的视频分析任务，克服传统方法计算量的瓶颈；(2)基于压缩感知和深度学习相关方法，研究进一步利用压缩码流中的冗余信息和视频压缩的先验约束条件，在解码端提高视频质量（即提高压缩效率），从而提高视频分析的准确性；(3)研究现有的像素域视频特征和提高压缩效率之间的关系及相关算法，为压缩域提供更多可存储的特征，构建视频内容分析与视频压缩之间的桥梁，在帮助视频分析的同时提高视频压缩效率。本项目将致力于解决上述研究内容的若干关键科学问题，如像素域视觉特征和压缩域特征非线性映射关系的建立、视频压缩机理先验约束的刻画等。项目的目标是构造更高效的视频分析方法，节省计算资源；同时进一步从解码端大幅度提升压缩图像质量，以满足各种视频内容分析的应用需求。

本项目主要针对目前视频压缩效率和内容智能分析应用中的问题，从三个方面进行研究：(1)研究不完全解码的情况下，在压缩域提取相关信息和特征，完成相应的视频压缩和分析任务，克服传统方法计算量的瓶颈；(2)基于压缩感知和深度学习相关方法，研究进一步利用压缩码流中的冗余信息和视频压缩的先验约束条件，在解码端提高视频质量（间接提高压缩效率），为提高视频分析的准确性奠定基础；(3)研究现有的像素域视频特征和提高压缩效率之间的关系及相关算法，在帮助视频分析的同时提高视频压缩效率。本项目已经完成，解决了上述研究内容的若干关键科学问题。我们首先提出了在解码端充分利用编码端未曾使用的冗余信息（包括外部数据库），结合相应的深度学习框架，依据不同类型的冗余信息，分层次构建从压缩解码视频图像到原图的近似映射。从而解决了在解码端构造增强图像质量映射时，所需附加信息来源的关键问题。其次我们提出了基于压缩域信息，构造计算复杂度可伸缩编码算法框架，以及快速转码的优化算法；并研究了相关的视频目标检测分类、去噪等算法框架，等等。共发表高水平学术论文29篇，其中CCF-A类会议11篇、CCF-B类会议9篇、SCI期刊论文9篇（其中包括CCF-B类期刊3篇、CCF-C类期刊4篇、中科院2区期刊论文2篇）；获得软件著作版权4项，申请发明专利8项。同时开发了基于深度学习和冗余信息的解码图像重建系统（增强图像质量的解码器），并集成进“千路高清视频编码处理引擎”，在天河二号超级计算机上完成了技术验证。研究内容和成果对构造更高效的视频压缩和分析方法并节省计算资源提供了研究基础；同时可以进一步从解码端大幅度提升压缩图像质量，以满足各种视频内容分析的应用需求。