大规模数值模拟的可扩展原位可视分析

In order to take good use of Supercomputer, In-situ Visual Analysis is a key technology, which can help domain scientists to watch the whole running process of large-scale simulations. However, the scalability is still the neckbottle fot in-situ visual analysis of large-scale simulations. Here, the scalability of the parallel rendering cannot be achieved because it will take a large communication cost to sort the rendering result among different nodes, and the loading balance will be broken in the process of gathering all images into the master node. The limitation of memory is becoming worse due to the development of multi-core/many-core. In this project, we will start from the research of “a feature extraction method with the combination of domain scientist knowledge and deep learning method” . Then, the features are used to develop a non-uniform data division method. This method can help to reduce the communication cost, it can also help to achieve a load balance in the gather process. For the limitation of memory, an importance-driven data reduction method will be studied. Finally, the effectiveness of the proposed in-situ visual analysis method will be demonstrated through carrying it on in supercomputer.

原位可视分析是帮助领域专家对大规模数值模拟的中间结果进行观察，从而充分利用超级计算机硬件资源的关键技术。但其可扩展性问题却仍然是一个非常大的瓶颈，难以满足大规模数值模拟的要求。首先，对并行绘制结果进行排序和收集时，节点数的增加会导致数据通信量大增和负载平衡被破环，使原位可视分析难以实现。同时，多核众核结构的发展使得原本就有限的内存资源愈加不足。本项目通过提出一个将领域专家知识和深度学习相结合的特征提取算法，作为解决可扩展性问题的起点。然后，通过研究基于不规则分块的并发式并行绘制算法，来减少节点间排序引起的大量数据通信，并达到负载平衡。对内存导致的瓶颈问题，将通过对重要性驱动的数据约减算法的研究来解决。最后，在超级计算机上对提出的原位可视分析方法进行评估测试。

超级计算机的快速发展为领域科学家执行大规模仿真提供了可能的同时，也提出了挑战。因为这些大规模仿真的执行是一个黑盒过程，其庞大的规模让领域专家无法分析，也就无法有效的利用超级计算机。原位可视化是解决上述问题的有效途径，但是其可扩展性是最大的瓶颈问题。本项目通过4个方面的研究，形成了可扩展的原位可视化系统，并在天河1号和天河2号进行了验证。1）通过结合领域专家知识和深度学习，构建了有效的特征提取方法。我们通过与多个领域专家的合作，提高我们方法的鲁棒性，包括地震仿真、洋流仿真、人口移动轨迹仿真、智能用电仿真等领域的大规模仿真。2）基于得到的特征，对数据进行了不规则分块，提高并行效率；同时，3）进一步提出了基于DMD的数据约简方案，对数据进行深度约简，提高原位可视化的效率。3）对约简后的数据进行高效的并行绘制。这是通过减少并行节点间的排序和提高图像收集效率来实现的。最后，我们将我们的算法在天河1号和天河2号上进行了实验，成功地对50万核的大规模仿真进行了原位可视化。