数据驱动的高性能计算机上并行程序性能预测研究

Performance modeling and execution time predicting of parallel programs on high performance computers is important for many practical applications, involving wide focus of researches. However, accurate prediction is a fairly challenging problem due to that the performance is affected by a plenty of factors. In recent years, the data processing and mining technologies are under consistent development, which afford a possible approach to reveal implicit patterns of data and solve the problem. When the parallel programs executing, they can generate a large quantity of data from hardware performance counter and the instrumented program code, which reflect the features of behaviors of these programs. In this project, we will research automatically collecting and analyzing the run-time data of a parallel program using data mining technology. The analysis will generate a performance model of the program and a prediction of the execution time. This project aims for establishing a systematic modeling method for the parallel programs driven by data processing technologies. A practical and general purpose tool will be implemented to instrumenting and modeling parallel programs. The performance model then will be used for practical problems including program parameters tuning and jobs scheduler optimizing.

对高性能计算机上并行程序的性能进行分析建模，并在建模基础上进行执行时间预测具有重要的研究意义和应用价值，长期受到研究者的关注。并行应用程序的性能受到相当多的因素影响，通常难以达到较为准确的预测。近年来，数据挖掘技术得到快速发展，为发掘数据中潜在的规律提供了有效的方法和工具。并行应用程序在运行过程中可以产生大量可以反映程序的行为特征的数据，包括硬件资源使用情况的数据，以及通过插入特征检测代码所获得的程序运行逻辑数据等。本项目开展利用数据挖掘技术进行程序性能建模和执行时间预测的研究工作，对并行程序运行时的行为特征数据进行自动化收集、分析与筛选，对程序性能进行建模。本项目的目标是建立起系统的数据驱动的并行程序行为特征建模的方法，利用并行程序插桩分析与建模工具，对高性能计算机上并行应用程序的执行时间做出较为准确的预测，并将预测应用于任务调度、程序参数优化选择等实际问题。

对高性能计算机上的并行程序性能进行分析建模，并在建模基础上进行执行时间预测具有重要的研究意义和应用价值，长期受到研究者的关注，具有广泛的应用价值。本项目开展通过数据驱动方法进行并行程序性能建模和执行时间预测的研究工作，对并行程序运行时的行为特征数据进行自动化收集、分析与筛选，对程序性能进行建模。本项目的目标是建立起系统的数据驱动的并行程序行为特征建模的方法，利用并行程序插桩分析与建模工具，对高性能计算机上并行应用程序的执行时间做出较为准确的预测，并将预测应用于任务调度、程序参数优化选择等实际问题。.围绕研究目标，按照研究方案，主要开展了三个方面的研究工作：高效数据收集、数据建模分析、性能模型应用。高效数据收集包括硬件性能计数收集、基于代码插入的特征数据收集、对数据采集方法的评估等。数据建模分析包括数据相关性分析、特征计算开销评估、程序性能模型建立等。性能模型应用包括任务调度系统优化、程序参数配置优化、程序优化指导等。在五个方面取得了主要研究进展：基于骨架程序的并行程序运行时间预测；基于主动学习的高性能计算程序经验性能建模；基于性能模型的高性能计算程序参数优化；基于小规模数据的高性能计算程序性能建模方法；神经网络推理性能模型及其在神经网络剪枝中的应用。.通过四年的研究工作，完成了项目既定的研究目标，在方法理论和关键技术上取得系列成果。公开发布并行程序性能建模与预测研究所使用的实验数据。开源发布研究中所开发使用的程序代码。相关研究结果，已发表学术论文 10篇，包括CCF A类期刊IEEE Transactions on Parallel and Distributed Systems (TPDS)、IEEE Transactions on Computers (TC)和CCF A类会议USENIX Annual Technical Conference (ATC) 2019等。申请国家发明专利6项，其中已授权3项。培养参加项目的博士毕业生2名、硕士毕业生3 名。