四维变分同化CPU/GPU协同并行计算研究

四维变分同化是当前数值天气预报领域极有价值的资料同化方法，对于提高中期数值天气预报效果起到了关键作用，但是其巨大的计算量是制约技术发展和业务化的重要因素，开展四维变分同化并行算法研究具有重大学术价值和实际应用需求。当前基于CPU和GPU相结合的新型混合异构体系结构是构建千万亿次高性能计算机的有效途径，同时也对四维变分同化并行算法研究提出了新的挑战。本项目在已有工作的基础上，面向千万亿次异构混合体系结构计算平台研究四维变分同化并行计算关键技术。在四维变分同化核心算法的细粒度并行、CPU与GPU协同并行计算、海量观测资料GPU加速处理算法、GPGPU程序优化和面向千万亿次系统的大规模无约束最优化算法等方面开展研究，实现四维变分同化CPU/GPU异构协同高效并行计算，从而满足业务预报时效性要求，推动数值天气预报水平不断提高。

本项目面向千万亿次高性能计算机系统，针对新型异构混合体系结构特点，开展数值天气预报领域四维变分同化CPU/GPU协同并行算法关键技术研究，在以下几个方面取得进展：（1）在国家超级计算天津中心的业务主机“天河一号”上构建了支持多种编程模型的YH4DVAR-GPU原型系统；（2）深入研究了WRF-GPU项目，将其移植到原型系统上进行了试验和性能分析，掌握了数值天气预报领域面向大规模CPU/GPU异构系统的并行计算技术和并行程序开发优化方法；（3）在原型系统上设计并实现了面向GPU的模式算子（包括切线性模式、伴随模式）中的核心算法（包括Fourier变换和Legendre变换）的并行优化；（4）对物理过程参数化方案（长波辐射方案RRTM_LW）进行GPU加速；（5）实现了海量观测资料的并行处理；（6）在L-BFGS方法基础上设计了GC-LBFGS方法，在每若干个迭代步之前插入共轭梯度迭代步，调整下一个迭代步的初始值的迭代时预条件，加快了目标函数值的下降速度从而提高了整个计算过程的收敛速度，针对迭代计算模块进行了GPU实现和优化，通过提高硬件利用率、访存优化和通信优化等方法缩短了每个迭代步的计算时间。项目研究表明，通过CPU和GPU协同计算，可以完成更复杂物理模型计算，提高空间精度和时间尺度，最终得到更高质量的分析场，从而提高预报准确率和整体预报水平。