面向视频直播的编码优化技术研究

With the popularity of broadband Internet and the development of multimedia technology, large-scale video streaming media services, especially live broadcast services, are becoming more and more popular. In this project, we will give insight into a kind of optimized video coding method based on live streaming content with the limit of the encoding performance of heterogeneous terminals and network bandwidth, which may reduce the encoding complexity and improve the encoding efficiency. Now, most of the mainstream live videos are classified into anchor class, games, sports, etc. in which the main objects of these videos are very clear. Therefore, we will propose a method to introduce the video object information and background information into the coding optimization, including more precise inter prediction and faster coding unit splitting, to improve the compression ratio and coding speed of the live video. And the object information often used for large-scale live video surveillance system can be quickly obtained from the decoding process.

宽带互联网的普及以及多媒体技术的发展，大规模的视频流媒体服务尤其是直播服务也越来越流行。在本项目中，考虑到异质终端的编码性能及网络带宽的限制，拟研究一种针对直播视频内容特征进行优化的编码方法，在降低编码复杂度的同时，提高编码压缩效率。目前，主流的直播视频中大多分为主播类、游戏类、体育等。这些视频中的主体对象都非常明确。因此，本项目拟将视频中的对象信息及背景信息引入到编码优化中来。从更精准的预测及更快的编码单元划分两个方面出发，提升直播视频编码的压缩率及编码速度。同时，在解码过程中能够快速获取视频中的对象信息，辅助大规模的视频直播监测任务。

为了满足直播视频的实时性要求，现有编码系统通常采用低延迟，低复杂度的策略来编码直播视频。而在有限的网络带宽资源下，这些策略往往带来明显的视频质量的下降。在直播视频中，一些特定的对象如人脸和场景文字作为重要的组成部分常常能够得到较高的关注度。在视频编码中，对关注较高的部分分配较多的码率，能够有效地提升编码视频的视觉质量。本项目针对直播视频的特点进行编码优化。研究内容包括：1）设计了一种改进的人脸优化的视频编码系统。不同于基于块和基于分割的方法，我们的系统将人脸作为一个完整的对象处理，并计算出该脸部对象的一个全局的精确的仿射变换运动向量。不管人脸的表情和光照姿态如何变化，我们的方法都能很好的适应，并动态的生成一个和当前帧脸部对齐的参考帧，有效地降低了直播视频编码的码率。2）将这些关注度高的特定对象检测出来，是对其进行编码优化的前置步骤。考虑到直播视频的实时要求，我们针对视频中的场景文字提出一种基于语义分割的快速检测方法。3）为了更好的研究视频帧中相邻区域之间的关系，深入的考察了相邻区域对当前块的特征表示的影响。提出了基于自关注的图像局部特征表示方法。课题组的研究成果发表在相关的国际期刊和会议上，已发表和录用学术论文5篇，培养研究生4名。课题组的研究成果发表在相关的国际期刊和会议上，已发表和录用学术论文5篇，培养研究生4名。