全球数值天气预报谱模式的高效可扩展并行计算技术研究

With the improvement of the resolution, the computation complexity of the global spectral numerical weather prediction model increases rapidly. At the same time, the communication overhead increases rapidly too. Especially, with more and more processors used, the influence of the communication overhead is more and more serious, which prohibits the highly efficient execution on large-scale parallel computers and becomes a serious challenge to real-time requirement. Thus, it has become one of the hot researches in the world.. In this project, we will investigate from three levels, including memory access, communication hiding, and algorithm improvement, based on the available global spectral model and the known advanced high-performance computational techniques in this area over the world. Four topics will be focused on, that is, the highly scalable one-sided communication for spectral transforms, the highly efficient overlapping of computation and communication and its optimization, the self-adaptive communication in the parallel computation of semi-Lagrange scheme, and the migration of horizontal derivatives from spectral space to grid point space. The objective is to reduce the influence of the communication overhead as largely as possible and improve the computation efficiency and the scalability of the global spectral model, which is the basis to run spectral numerical weather prediction with very high resolution on future exascale computer systems, and to improve the accuracy of the global numerical weather prediction.

全球数值天气预报谱模式随分辨率的提高，计算复杂性大幅增长，同时通信开销也大幅增长，特别是随处理器的不断增加，通信开销的影响越来越大，导致无法在大规模并行计算机上进行高效执行，对数值天气预报的实时性要求形成严峻挑战，从而成为当前国际上的研究热点之一。本项目从存储访问、通信隐藏、算法改进等三个层面，以现有全球数值天气预报谱模式为依托，在国际上全球谱模式已有高性能并行计算技术的基础上，重点研究谱变换的高效可扩展单边通信、计算与通信的高效重叠优化、半Lagrange方案并行计算的自适应通信、水平导数从谱空间到格点空间的迁移等技术，以最大程度减少通信开销的影响，提高全球谱模式的计算效率与可扩展性，为我国未来在E级计算机系统上采用超高分辨率谱模式进行数值天气预报，从而进一步提高预报准确性奠定并行计算技术基础。

在超大规模高性能并行计算系统上进行数值天气预报时，影响数值预报计算效率与可扩展性的因素主要是通信开销的大幅增长。本项目针对全球谱模式，主要从高效可扩展单边通信、计算与通信的高效重叠优化、半Lagrange方案并行计算的自适应通信、水平导数从谱空间到格点空间的迁移等方面进行了研究。1）在高效可扩展单边通信方面，将单边通信技术引入到半拉格朗日插值阶段中并进行了高效实现。实验结果表明，该技术不仅有效减少了通信次数和通信量，也有效减少了全球谱模式的并行执行时间。2）在计算与通信的高效重叠优化技术方面，进行了多项研究。其一是对采用三维数据重分布的全球谱模式，从整体框架上进行了计算通信重叠优化方案的设计，在此基础上，针对结构网格下Fourier变换前后的计算通信重叠进行了具体设计实现，并通过数值实验进行了有效性验证。其二是针对半拉格朗日插值，进行了基于物理量分组的计算通信重叠方案设计与实现，实验结果表明，该技术有效隐藏了通信开销，进而提高了并行计算可扩展性。其三是针对按物理量分组时存在分组数受限的问题，设计实现了基于垂直层分组的计算通信重叠方案，通过寻求最优组数与计算通信重叠相结合的方式最大程度缩减并行执行时间，并通过数值实验进行了测试验证。3）在半Lagrange方案并行计算的自适应通信方面，利用再分析数据对逐月最大风进行了统计分析，之后以逐月最大风代替原全局最大风，设计实现了基于逐月自适应最大风的半拉格朗日并行计算方案。实验结果表明，其能在几乎不改动程序代码的情况下，有效减少YHGSM的并行执行时间。4）在水平导数从谱空间到格点空间的迁移方面，对全球静力谱模式进行了水平导数计算从谱空间转换到格点空间时的推导与重整，并基于有限体积法进行了高效实现，通过数值实验验证了该方法能显著减少执行时间。之后，将该方法推广应用到全球非静力谱模式，实验结果表明，其对执行时间的减少更为显著。