高分辨率全球大气环流模式的通信优化研究

The global atmospheric general circulation model (AGCM) is an important tool for the atmospheric evolution simulation using high performance computers, and is usually applied in the research and forecast of the climate change. The parallel optimization of AGCM has always been an important topic in the high performance community. With the development of high resolution AGCMs, the time integration strategy is not able to achieve the requirements of large scale and high precision computation, due to both collective and local communications being used frequently. Hence, the parallelization suffers from high communication overhead. In this research, the communication optimization of AGCM will be studied. Firstly, we will develop a new analysis method for the communication complexity of a numerical simulation program based on the operator form of its calculation flow, and further derive the communication lower bound of AGCM. Secondly, we will develop a communication-avoiding algorithm to reduce the communication overhead in AGCM. Finally, we will implement the proposed algorithm in IAP AGCM-4.1 which is developed by Institute of Atmospheric Physics, Chinese Academy of Sciences. Through the investigation above, this project would realize the high resolution simulation of the global atmospheric general circulation in domestic supercomputers.

全球大气环流模式是一个基于高性能计算机系统来模拟大气演化的重要工具，被应用于气候变化的研究与预报。大气模式的性能优化一直是高性能计算领域的一个重要研究方向，受到科学界的广泛关注。近年来随着大气模式分辨率的不断提高，频繁通信对程序可扩展性的制约变得日益突出，也使模式已无法满足大规模、高精度的应用需求。因此，通信优化具有重要的研究意义，并已成为提升大气模式计算性能的关键。本项目拟从以下三个方面来开展大气模式的通信优化研究：(1)对大气模拟的复杂计算流程，从算子作用的视角发展一种新的通信复杂度分析方法，从而确定大气环流模式在分布式体系架构下的通信复杂度下界；(2)针对大气模式中的集合通信与局部通信，分别设计相应的优化策略，从而提出一套通信避免算法，使得整个计算过程的通信复杂度尽量接近所确定的下界；(3)基于分布式体系架构，实现所提出的通信避免算法，以期能够高效地完成全球大气环流的高精度模拟。

全球大气环流模式是一个基于高性能计算机系统来模拟大气演化的重要工具，被应用于气候变化的研究与预报。大气环流模式的性能优化一直是高性能计算领域的重要研究方向，受到科学界的广泛关注。近年来随着大气模式分辨率的不断提高，计算过程中频繁通信对程序可扩展性的制约变得日益突出，也使现有模式无法满足大规模、高精度的应用需求。因此，通信优化具有重要的研究意义，并已成为提升大气模式计算性能的关键。本项目从以下三个方面开展了对大气环流模式的通信优化研究：(1)对大气模拟的复杂计算流程，从算子作用的视角发展了一种新的算法复杂度分析方法，从而确定大气环流模式的时间积分方法在分布式体系架构下的计算量下界、通信量下界、通信同步次数下界，以及大气模式中访存密集型操作——卷积的访存复杂度下界；(2)针对大气模式中的集合通信、局部通信，以及同化过程涉及的数据分发通信，分别设计了相应的优化策略，从而提出了一套通信避免算法，使整个计算过程的通信与访存复杂度更加接近理论最优值；(3)基于分布式体系架构，实现了所提出的通信避免算法，完成了全球大气环流的高分辨率模拟。最终，“天河二号”超算集群上的测试结果表明，通信避免算法平均加速集合通信效率1.4倍，平均加速stencil计算涉及的局部通信效率3.9倍，平均加速数据同化过程涉及的数据分发通信效率3.2倍，并且在512核测试中成功提升整个模拟过程计算效率2.2倍。新方法利用1024核在13天以内就能完成100个模式年的50 km水平分辨率气候模拟。之前这一模拟过程通常需要29天左右的时间才能完成，新方法充分满足了应用的实时性需求。该研究成果促进了我国自主研发的全球大气环流模式IAP AGCM从版本4.1到版本5.0的成功升级，实现了大气科学与计算机科学的深度融合。