高通量众核处理器访存数据通路优化研究

The high-throughput application, such as new Internet services, has characteristics of high concurrency, hard real-time and high throughput. This type of application is inefficient on existing common multi-core/many-core processors.It is an effective way to solve this problem by designing new high-throughput multicore structure to match the application feature. This paper is aimed at the key technology in the most important data access path of the high-throughput multi-core processor. The main research contents including: (1) At the data processing end, to research data penetration mechanism under global control. To ensure high concurrency by reducing mutual interference of tasks; (2) At the data transmission end, to research reasonable routing resources allocation. To make sure hard real-time by screening invalid requests and allocating routing resources reasonably. (3) At the data storage end, the processing in memory mechanism is studied. Reducing the amount of data to the processing end by preprocessing data with a large amount of data and fixed mode to make sure high throughput. In this paper, the new data path structure is proposed by optimizing the holistic structure at the data processing end, the transmission end and the storage end to improve the processing abilities in high concurrency, hard real-time and high throughput. And the new idea is provided for the design of the many-core architecture of high-throughput applications.

以新兴互联网服务为代表的高通量应用具有高并发、强实时以及高吞吐的新特点，这类应用在现有的通用多核/众核处理器上执行效率不高。通过设计和应用特征匹配的新型高通量众核结构是解决该问题的有效方法。本课题针对高通量众核处理器中最为核心的访存数据通路关键技术开展研究，主要研究内容包括：（1）在数据处理端，研究全局统筹控制预期数据渗透机制，通过可控渗透减少任务之间的数据预取相互干扰，确保任务的高并发；（2）在数据传输端，研究路由资源的合理分配机制，通过甄别无效请求及路由资源的合理分配，确保请求的强实时；（3）在数据存储端，研究内存计算机制，通过对具有固定计算模式的数据进行内存计算，减少向数据处理端的数据搬运量，确保数据的高吞吐。通过以上三方面对访存数据通路的系统性研究，本课题旨在提高处理器在高并发、强实时以及高吞吐方面的处理能力，为面向高通量应用的众核处理器结构设计提供新思路。

以新兴互联网服务为代表的高通量应用具有高并发、强实时以及高吞吐的新特点，这类应用在现有的通用多核/众核处理器上执行效率不高。通过设计和应用特征匹配的新型高通量众核结构是解决该问题的有效方法。本课题针对高通量众核处理器中最为核心的访存数据通路关键技术开展研究，旨在提高众核处理器在高并发、强实时、高吞吐及高能效方面的处理能力，主要研究内容包括：（1）在众核存储访问结构优化方面，研究面向非规则图处理的软硬协同数据预取渗透及预处理机制，通过编程优化、减少非规则访存及解耦合访存和计算。同时研究面向高并发数据访问的近存储计算技术和数据访问冲突解决机制，确保数据处理的并发性和吞吐量；（2）在众核片上网络优化结构方面，研究路由资源的合理分配机制，通过分析众核路由数据包传输特征，实现多播包和多组包的实时合并拆分机制，并结合数据流任务映射机制，进一步优化片上网络数据传输控制机制，合理甄别和分配路由资源，确保请求的吞吐量和强实时；（3）在特殊字符操作和数据运算处理方面，研究基于近存储计算机制，减少向数据处理端的数据搬运量，确保数据的高吞吐。同时，甄别无效计算，实现数据预处理，提高了执行部件的有效计算效率，进而提升计算能效。研究成果在大规模FPGA验证平台得到了充分的验证。研究期间，关键技术研发成果发表期刊论文8篇，会议论文9篇，共计17篇。其中SCI期刊2篇，EI期刊/论文13篇，包括MICRO及HPCA等体系结构顶会论文。申请/授权发明专利7项。本课题的关键研究成果，在已流片的高通量众核数据流处理器芯片得到了充分的验证，有效的支撑了科技部及中科院重大项目的实施和关键核心芯片的研发，为面向高通量应用的众核处理器结构设计提供新思路，具有重要的科学价值和实用价值。