面向不规则GPU应用的分析与优化技术研究

Recently, GPUs have been widely adopted for high performance computing. This rapid adoption has led to the fact that more and more irregular and general-purpose applications are ported onto GPUs. However, these irregular applications can not effectively utilize the hardware computing resources and incur extra performance overhead due to the control and memory divergence, input variation, unbalanced workload, etc. This proposal will investigate the performance acceleration of irregular applications on GPUs. The goals of this project are: 1) develop characterization and program profiling techniques; 2) build accurate performance model to predict the performance and identify bottlenecks; 3) develop program transformation and compiler optimization techniques to improve performance; 4) propose architectural optimization techniques to improve performance; 5) develop efficient libraries, for irregular applications onto GPUs. Collectively, the proposed analysis and optimization techniques can obtain by one or two orders of magnitude speedup for irregular applications on GPUs.

近年来，GPU 架构已经被广泛的使用在高性能计算领域。GPU计算的兴起，则为GPU带来了数量繁多的通用应用，而且这些应用很多都是不规则的应用。由于控制和访存方面的多样性，输入依赖和不均衡负载等特点，不规则应用不能有效地利用硬件资源而且需要付出更多的额外开销，这就抵消了GPU架构的优势。在这样的背景下，本项目面向不规则GPU应用，开展分析和优化技术的研究。研究目标如下：针对不规则GPU应用，1) 提出统一的表征分析和提取技术，刻画其不规则性；2) 建立准确的性能预测模型并发现性能瓶颈；3) 提出程序改造和编译优化技术以提升性能； 4) 提出体系结构优化技术以提升性能；5) 建立适应高性能计算和GPU体系结构的通用函数库。本项目提出的技术可以剖析不规则应用的特点，并根据不同特点，利用程序改造、编译、体系结构的优化技术提升性能。本项目的解决方案预期可达到性能1~2个数量级的提升。

随着GPU计算的普及，如何使用GPU加速不规则的复杂应用变得越来越重要。GPU架构的特点是核心数目多、访存带宽高。然而，不规则应用在计算和访存方面的不规则性导致其在GPU芯片上的效率低下。为了解决这些问题，本项目提出了一套跨层次的软硬件适配的技术路线。1) 在算法和函数库层面，针对SpMV, LDA, GEMM等算子，我们提出支持稠密和稀疏的并行方案，同时提出性能模型指导优化参数的选择； 2) 在体系结构层面，我们提出协同式的缓存管理技术, 多任务并发执行技术, 寄存器分配和线程并行度的协同管理技术; 3) 在编译层面，我们提出针对张量算子的自动优化和生成工作, 动态和静态结合的缓存旁路技术, 基于OpenCL的系统优化框架；4) 在软件编程模型方面，我们提出基于OpenCL的性能评估模型和软件优化技术。