面向气动CFD非线性求解的GPU/CPU混合并行JFNK算法研究

Nonlinear fluid is common in aerodynamical engineering, and nonlinear solver is essentially important. Jacobian-Free Newton-Krylov is a newly developed nonlinear method with the advantage of small storage and loose data coupling. It is potential for GPU computing. With the background of CFD application in aviation and aerospace engineering, this project is aimed to research efficient JFNK method on GPU/CPU hybrid platform ，and develop suitable parallell preconditioners for it. Based on preconditioned JFNK method, load balancing algorithm for typical multiblock CFD will also be designed . Hybrid parallel load-balanced preconditioned JFNK will find application in large-scale aerodynamical CFD problem. The total goal of this project can concluded as to design hybrid preconditioned JFNK algorithm for typical aerodynamical CFD applicitions and achieve more than petascale performance on demostic-made hetergenerous high performance computer.

气动CFD在工程应用中经常遇到非线性流动问题，在本质上需要采用非线性求解方法。JFNK(Jacobian-Free Newton-Krylov)方法是近几年发展起来的非线性求解方法，该方法具有存储量小、数据依赖关系小等特点，非常适合在GPU平台上应用。本项目拟以航空航天CFD典型应用为背景，研究基于GPU/CPU混合体系结构高性能计算机的JFNK并行方法，设计该方法的高效并行预条件子，并针对并行预条件JFNK方法，发展多区结构网格CFD混合并行负载平衡算法。通过本项目研究，设计出适用于气动CFD应用的预条件JFNK方法大规模混合并行算法，并在我国典型的混合异构高性能计算机平台上实现千万亿次以上计算性能的大规模并行实际应用。

气动CFD在工程应用中经常遇到非线性流动问题，在本质上需要采用非线性求解方法。JFNK(Jacobian-Free Newton-Krylov)方法是近几年发展起来的非线性求解方法，该方法具有存储量小、数据依赖关系小等特点。本项目研究了基于GPU/CPU混合体系结构高性能计算机的JFNK并行方法，设计了该方法的高效并行预条件子，发展了多区结构网格CFD混合并行负载平衡算法，在我国天河-1A超级计算机上进行了CPU/GPU异构混合大规模并行测试。本项目按照预定研究计划完成了四个年度的研究，已完成整个研究计划的内容，达到了预期目标。本项目建立了三维可压缩湍流的JFNK数值模型，包括Newton非线性迭代法、GMRES线性方程组求解法、非线性函数差分代替Jacobian矩阵与矢量积、非线性预条件子等完整的JFNK数值模型，整体迭代性能优于传统LU-SGS方法。JFNK方法的效率在很大程度上依赖于Newton迭代中Krylov子空间方法的预条件子，本项目对多种预条件子进行了研究，包括传统求解器LU-SGS、Jacobi、点松弛PRSGS以及加性Schwarz区域分解预条件子。提出了两层GPU并行算法，区块内基于CUDA编程模型的细粒度数据并行算法以及区块间基于GPU流处理的粗粒度任务并行算法。针对复杂外形多区网格模拟的特点，提出了kernel分解、分组多流等多种GPU性能优化方法。提出了基于嵌套OpenMP的多核CPU与GPU协同并行计算模型以及基于异步GPU执行的多核CPU与GPU协同并行计算模型。提出了与高性能计算机体系结构相适应的层次式负载均衡网格剖分方案，该方案分为两个层次，即基于多维剖分的结点间负载均衡和基于伪剖分的结点内（可支持异构的）负载均衡。本项目取得的学术成果主要包括出版专著1部，发表SCI论文12篇、EI论文9篇、中文核心期刊6篇，培养博士研究生3名、硕士研究生7名，超额完成了发表7篇论文、培养5名研究生的预期研究成果指标。