多GPU环境下基于格子-Boltzmann法的平板间湍流模拟

Turbulent channel flow is a very important and classic problem to study various turbulence models in CFD area. So far, the numerical works were verified by comparison with the experimental data provided by Kim J. et al in 1987. Another way to verify the numerical results is to compare with the DNS data. However, DNS requires a grid system with a very fine resolution. Limited by the ability of computers, the DNS data is very rare so far. Nowadays, the emergence of CUDA brings the application of GPU on engineering, and makes it possible for DNS in CFD area. In this research, lattice Boltzmann method (LBM) solver based on multiple GPUs, which was developed independently, will be used to make DNS for the turbulent channel flow. On the other hand, We will also simulate turbulent channel flow with LBM-LES (Large eddy simulation) and local grid refinement technique based on multi-GPUs. The ability and validity of LBM-LES will be verified by comparison with our DNS results.

平行平板间的湍流模拟常被用来验证湍流模型的正确性，是一项极其重要的基础研究。迄今为止，被用来作为数值模拟结果准确性验证基准的是Kim J.等人在1987年发表的实验结果。另一种验证湍流模型正确性方法是将其结果与直接模拟（DNS）结果进行比较。然而，由于DNS对网格数目要求极高，且流动达到充分发展的时间极长，目前，有关平板间湍流DNS的结果极为少见。如今，CUDA的出现使得图形显示卡（GPU）在工程计算上得到应用，亦使得DNS 成为可能。本研究之一是将自行开发的格子-Boltzmann 方法（LBM）的多GPU 并行求解器用于平行平板间湍流的DNS。另外，采用基于多GPU并行的LBM-大涡模拟（LES）及局部加密网格技术来模拟平行板间湍流，并以DNS结果为基准，以此验证LBM-LES 模拟湍流的能力及有效性。

本项目利用多显卡GPU加速技术及格子-Boltzmann方法（LBM）对槽道湍流进行了直接模拟与大涡模拟，不仅解决了湍流模拟耗时长的问题，也同时验证了格子-Boltzmann方法模拟湍流的能力及有效性。项目进展顺利，按计划完成研究内容。首先，依项目支持，搭建了两节点小型GPU机群，含有4颗K20M型GPU；其次，开发了跨节点多GPU-LBM并行程序（CUDA-MPI），并直接模拟了Re_τ=180下的槽道湍流（DNS），网格数为6700万，模拟300万LBM时间步长，用时仅24小时，性能达到每秒处理10^9量级LBM网格，这在公开发表的文献上并不多见。这其中，还比较了基于NS方程的GPU加速性能与LBM-GPU的加速性能。除了获得高性能外，还验证了LBM-DNS的有效性。再次，开展了LBM网格加密技术的研究，该研究是用LBM进行湍流大涡模拟（LES）的前提。期间，成功开发了二维及三维网格加密的多GPU并行程序，并通过顶盖驱动流问题进行了程序验证。最后，结合Smagorinsky亚格子模型对槽道湍流进行LBM-LES，并与DNS结果比较。结果显示，采用网格加密技术，用176万网格的大涡模拟结果与6700万网格的DNS结果在平均量上吻合的很好，并由此确定出对于LBM，Smagorinsky常数取0.13。然而，湍流统计量，如雷诺应力等，在壁面处仍略有偏差。湍流模型有待进一步改善，壁面网格需进一步加密。该研究证实了LBM大涡模拟的有效性。本项目一年执行期中，有关该研究DNS和LES，发表中文核心期刊两篇，英文一篇在投。参加国内会议一次，国际会议一次。此外，受本项目支持，还发表英文SCI两篇。