面向大数据分析系统的配置参数在线调优方法研究

Performance and power consumption optimization are critical to the sustainable operation of big data analysis. In order to be adapted to kinds of scenarios, applications in big data analytics usually expose a large number of configuration parameters. This project intends to study the configuration parameters online tuning methods for big data analytics, in order to optimize the performance and power consumption of the applications. The main challenges to solve this problem are as follows: Performance optimization needs to consider the full-stack performance configuration parameters; User experience optimization needs to collaborative tune the performance configuration parameters of all the related applications; Power consumption cost optimization needs to consider the performance interference between colocated tasks; The actual production environment needs to address the multi-objective configuration parameters tuning problem. To address above challenges, this project studies: (1) A full-stack performance configuration parameters tuning method based on high-dimensional Bayesian optimization; (2) A collaborative tuning method of multi-application performance configuration parameters for user experience optimization; (3) A colocated task scheduling and power consumption configuration parameters tuning method for power consumption cost optimization; (4) A configuration parameters tuning method based on multi-objective high-dimensional Bayesian optimization; (5) Verification methods based on local clusters and the Tianhe-2 supercomputer system. Through the above research, this project is able to improve the performance of applications in big data analytics, and reduce the power consumption as well as the cost, which is of great significance to the sustainable operation of big data analytics.

性能和能耗优化对大数据分析系统的可持续运营至关重要。为了提高通用性，大数据分析系统中的应用软件通常对外提供了大量的配置参数。本项目拟研究面向大数据分析系统的配置参数在线调优方法，以优化应用软件的性能和能耗。解决该问题主要面临以下挑战：性能优化需要考虑全栈化性能配置参数；用户体验优化需要进行多应用的性能配置参数协同调优；能耗成本优化需要考虑混部任务的性能干扰；实际生产环境需要进行多目标配置参数调优。针对以上挑战，本项目研究：（1）基于高维贝叶斯优化的全栈化性能配置参数调优方法；（2）面向用户体验的多应用性能配置参数协同调优方法；（3）面向能耗成本的混部任务调度和能耗配置参数调优方法；（4）基于多目标高维贝叶斯优化的配置参数调优方法；（5）基于本地集群和天河平台的验证方法。通过以上研究内容，本项目能够提高大数据分析系统中应用软件的性能，降低能耗及成本，对大数据分析系统的可持续运营具有重要意义。

为了提高通用性，大数据分析系统中的应用软件通常对外提供了大量的配置参数，通过调节配置参数的取值可以优化软件性能和能耗。然而，传统的配置参数调优方法主要面临以下挑战：没有考虑全栈化性能配置参数；没有进行多应用的性能配置参数协同调优；不支持多目标配置参数调优。针对以上挑战，本项目在国家自然科学基金委的支持下，围绕面向大数据分析系统的配置参数在线调优问题，从高维、多目标、混部任务调度与参数配置协同、低代价等几个角度进行了深入的研究。主要研究内容包括：基于高维贝叶斯优化的全栈化性能配置参数调优方法；面向用户体验的多应用性能配置参数协同调优方法；面向能耗成本的混部任务调度和能耗配置参数调优方法；基于多目标高维贝叶斯优化的配置参数调优方法；基于本地集群和天河平台的验证方法；低代价的配置参数调优方法等6个方面的内容，从而达到提高软件性能、减少软件运行能耗和资源成本的目的。. 项目产生了一系列具有创新性的研究成果，在高维配置参数调优方面，研究基于随机嵌入的高维贝叶斯优化方法，实现了全栈化性能配置参数调优；研究基于dropout策略的高维贝叶斯优化方法，实现了多软件的性能配置参数协同调优。在多目标配置参数调优方面，研究了基于自适应不确定性度量指标的多目标贝叶斯优化算法，实现了高维多目标配置参数调优。在混部任务调度与参数配置协同方面，面向批处理任务，实现了基于机器学习模型的性能-能耗双目标配置参数调优方法；面向流式处理任务，实现了基于dropout机制和自适应伪点机制的资源配置和性能参数协同优化方法。在低代价配置参数调优方面，实现了基于深度强化学习的低代价在线配置参数调优方法。在以上研究内容基础上实现了多个原型系统并验证了系统在性能、能耗和资源成本优化方面有效性。. 项目共发表了4篇学术论文，其中CCF B类会议1篇，CCF B类期刊1篇，SCI 2篇；申请专利2项；开源配置参数自动化调优系统1套。