面向大规模并行应用通信优化的多目标细粒度拓扑映射方法研究

The topological mapping optimization method can be used for solving the problem of the parallel application communication mode adapting to network topology. The method is one of the import technical means for improving communication performance of large-scale parallel applications. It is also the research hotspot and aporia in high performance computer field. However, the topological mapping optimization method facing with a lot of new challenges along with the scale of high performance computer system and applications increasing, mixed complex communication modes, node architecture becoming multi-core and many-core. Such as, the efficiency problem of identifying the communication characteristics in large-scale complex parallel applications, the accuracy and efficiency problem of multi-objective constraint topological mapping, the accuracy problem of evaluating communication performance in mix communication modes. The project objective is improving communication performance of large-scale parallel applications. The thread of the project is the key steps of topological mapping optimization method: identifying the communication characteristics, topological mapping, evaluating communication performance. The project focuses on studying a new topological mapping optimization method: the efficient identifying the communication characteristics method based on similar graph and matching locality, the efficient multi-objective constraint fine-grained topological mapping method，multidimensional quantized evaluating communication performance for topological mapping method. The research efforts of this project have import theory meanings and application values on the aspects of improving the performance of large-scale parallel applications and stimulating technology innovates in high performance computer research field.

拓扑映射优化方法可用于解决应用通信模式与网络结构之间的适配性问题，是提升大规模并行应用通信性能的重要技术手段之一，也是当前高性能计算领域研究的热点和难点。然而，随着高性能计算系统和应用规模增大、复杂通信模式混合、节点结构多核化、众核化，拓扑映射优化正面临诸多新的挑战：大规模复杂通信模式混合中通信特征识别效率问题、多目标约束下拓扑映射效率和准确性问题、多通信特征混合下通信性能评价准确性问题。本项目以提高大规模并行应用通信性能为目标，以拓扑映射优化方法中通信特征识别、拓扑映射、通信性能评价等关键步骤为主线，研究并建立一套拓扑映射优化新方法：基于图相似和局部性匹配的通信特征高效识别方法、面向多目标优化的细粒度高效拓扑映射方法、面向拓扑映射的通信性能多维量化评价方法。项目研究工作对提升大规模并行应用性能、促进高性能计算领域技术创新有重要的理论意义和应用价值。

拓扑映射优化方法可用于解决应用通信模式与网络结构之间的适配性问题，是提升大规模并行应用通信性能的重要技术手段之一，也是高性能计算领域研究的热点和难点。本项目分别从通信特征识别、拓扑映射、通信性能评价等方面，研究了大规模并行应用通信拓扑映射优化方法，以提高大规模并行应用的通信性能。.项目主要的研究内容及取得的成果如下：.（1）基于图相似和局部性匹配的通信特征高效识别方法。针对大规模复杂通信模式中通信特征识别效率问题，提出了一种基于图相似的并行应用通信特征快速匹配方法以及一种基于标签传播思想的通信局部性特征识别方法，可减少冗余计算，并快速识别应用通信局部性关系，通信特征识别效率提升约39.76%。.（2）面向多目标优化的细粒度高效拓扑映射方法。针对多目标约束下通信逻辑拓扑与网络物理拓扑映射效率和准确性问题，提出了一种基于布谷鸟搜索的多指标高效映射方法以及一种基于RCM算法的节点内细粒度映射方法，可增加目标函数优化维度，并细化映射粒度，可降低95%拓扑映射算法执行开销，且映射方案性能提升约15.1%。.（3）面向拓扑映射的通信性能多维量化评价方法。针对多通信特征混合下通信性能评价准确性问题，提出了一种面向MPI函数的应用通信过程离线解析方法，可快速获取并行应用的通信行为；提出了一种LogGPSC通信性能评价模型，可细粒度评价点对点通信性能，平均误差率降至8.72%；提出了一种基于Q-Learning的优化方向指导方法，可指导多维度优化指标的细粒度高效拓扑映射方法优化方向，性能提升5%以上。.（4）在原型系统中验证了项目所提出的拓扑映射优化方法。研发了一个支持上述拓扑映射优化方法的原型系统，设计和实现了通信特征识别模块、拓扑映射模块、通信性能评价模块，并通过web服务框架提供统一访问接口。以经典基准测试和真实应用程序的通信日志以及物理网络拓扑结构为输入，利用所提出的技术方法给出优化的拓扑映射方案。.基于项目的研究成果，项目组在JPDC、PARCO、FGCS、CLUSTER等高水平期刊和国际会议中，共发表了22篇学术论文，其中，SCI检索12篇、EI检索10篇；申请了发明专利6项，其中1项已获得授权；培养了2名博士和6名硕士。项目成果已应用于北京应用物理与计算数学研究所的并行编程框架下一代系统以及国家重点研发计划项目大规模并行计算的工具库和领域相关基础软件包中。