面向超高清视频的HEVC编码器的快速算法和VLSI结构设计研究

Ultra-High Definition(UHD) which will be used in next-generation video applications can provide remarkable vision experience. However, its huge video data also bring challenges to the transmission and storage. This project has been focus on the development of the VLSI architecture for a real-time UHD HEVC video encoder. The optimization comes from both the algorithm and hardware design. (1) For the algorithm research, the fast algorithms will be proposed to reduce the high computational complexity of an encoder with negligible coding performance loss. Meanwhile, they need to be friendly to hardware design. (2) For the VLSI design, the data dependency from the algorithms should be analyzed and the high efficiency pipeline can be designed. Considering the different speed of processing modules, the dedicated parallelism and processing schedule should be arranged. The target of this research is to realize the VLSI architecture for UHD 8K 60fps real-time encoding, with a good coding performance and a high hardware utilization. The successful research of this project could solve the problems of the transmission bandwidth and storage for UHD video application. In the meanwhile, it could also benefits for the developing of the video compression techniques.

面向下一代视频应用的超高清格式视频，能够带来卓越的视觉效果，但其极大的数据量对传输带宽和存储造成巨大压力。本课题面向超高清视频应用，开发基于当前最高效视频压缩标准H.265/HEVC的实时编码VLSI硬件电路结构。研究内容从软件算法和VLSI硬件结构两方面共同优化。在算法上优化，研究以硬件结构设计为出发点，提出大幅降低计算复杂度且不明显降低压缩性能的快速算法。在VLSI硬件结构优化，分析算法中的数据依赖性影响，建立高效流水线作业。在系统级上根据不同模块的处理能力，选择合适并行度并规划处理时序安排。设计最终目标将在处理速度上满足超高清视频8K 60fps的实时编码，在压缩性能上接近参考软件，在硬件开销上最大化降低所占资源。本课题的成功研究，在应用方面上可降低视频传输带宽和存储，推进超高清时代到来，具有重大产业价值；在学术方面上研究内容具有研究通用性和可扩展性，可推动视频编码技术的发展和实现。

当前，备受用户喜爱的超高清视频，三维多视角视频，以及虚拟现实视频等能够展现出丰富的视觉细节和给观赏者带来卓越的视觉感受，但是其高分辨率和高帧率所产生的极大数据量对传输和存储造成巨大压力。.首先，应运而生的针对超高清编码的视频压缩标准HEVC/H.265和针对三维多视角视频编码的视频压缩标准3D-HEVC，均取得了较高效压缩率同时也带来了极高的计算复杂度。因此，有必要针对HEVC和3D-HEVC研发有效快速算法，使其能够大幅降低计算复杂度。其次，要得到超高清效果的虚拟现实，利用当前编码技术和带宽能力，难以实现实时视频传输，有必要解决此需要问题。.本研究分别做了三个工作，分别针对以上超高清视频，三维多视角视频，以及虚拟现实视频的编码问题，共发表SCI论文三篇。具体如下：（1）利用编码块CU的单层测量和多层比较，同时进行建模的方法将CU分类，首先进行快速编码层选择，其次还对帧内预测模式进行删减。该方法降低了HEVC帧内编码53.32%计算时间，只引起了1.47%的压缩效率降低。（2）针对3D-HEVC深度图特有的编码方式，提出了DMM模式的快速跳过方法，以及基于黄金搜索的快速搜索方法，使得深度图帧内编码整体计算量降低63.00%，带来的编码损失仅1.0%。（3）针对全景视频，提出建立用户观测点反馈机制，在编码前的映射阶段仅提取关注区域进行高质量编码。该方案可有效降低87%的所需带宽，也具备一定的抗延时性。.需要说明的是，以上研究根据产业发展需求，和项目初始课题有少量变动性和扩展性，在解决了原课题主要矛盾后，转而去解决业界最新的问题。本次研究中的HEVC快速算法研究就是解决原课题的主要矛盾，大幅降低计算量后可降低硬件资源量，算法还针对硬件设计进行友好设计。而后，针对3D-HEVC和虚拟现实的全景视频都分别提出了优化方法，紧跟视频编码关键核心型需求。