云计算环境下面向科学工作流应用的弹性调度机制研究

Nowadays, workflow applications, which consist of numerous tasks and complex logical relationship, are widespread in the area of scientific computing. Recently, with the increasing demand of scientific computing, more and more researchers foucs on utilizing cloud environment to execute scientific workflow applications effecitively. However, most of the existing works failed to take into account the characteristics of cloud computing. It may lead to the performance fluctuations caused by resource sharing among virtual machines and the large energy consumption caused by neglecting the energy optimization. To tackle these problems, this project tries to utilize the characteristics of cloud computing to develop an elastic scheduling mechanism for scientific workflow applications, in order to optimize system energy consumption when the performance has been guaranteed. On the first stage of this project, the model of task execution performance and energy consumption will be developed to perceive the performance fluctuations and energy change of system. Then, for the sake of performance guarantee and energy saving, the elastic workflow scheduling algorithm and dynamic task migration strategy will be proposed respectively. In summary, these works will render several effective and valuebale solutions for accomplishing complex scientific workflow applications with both performance and energy efficiency.

当前工作流模式已广泛存在于不同领域的科学计算当中，其具有应用规模大、逻辑关系复杂等特点。近年来，为满足日益增长的科学计算需求，利用云环境实现科学工作流应用的高效运行逐渐得到关注。但现有工作并未考虑云计算特点，忽略了由虚拟机间竞争资源而导致的性能波动，且极少针对系统能耗进行优化。针对以上问题，本项目拟从分析云计算的优势与特点以及复杂工作流的调度模式入手，在确保应用执行性能的前提下以尽量优化系统能耗为目标，研究面向科学工作流应用的弹性调度机制。通过建立云计算环境下的任务性能与资源能耗模型，实现对虚拟机性能波动及系统能耗的感知；通过结合复杂工作流应用的执行特点，提出以性能约束与能耗优化为目标的弹性调度算法及任务动态迁移策略，有效保证应用的执行性能并尽量降低系统的整体能耗。本项目的研究工作将为云环境中复杂科学工作流应用高效率、低能耗地调度与执行提供切实有效的解决方案，具有重要的理论意义和应用价值。

目前工作流应用模式广泛存在于不同领域的科学计算应用当中。近年来研究人员逐渐关注利用云计算技术实现工作流应用的高效执行。然而，通过分析云计算环境及工作流调度的特点发现，由于存在资源分配模式的灵活性、虚拟机性能的动态性及不确定性、应用执行模式的特殊性，实现云环境下科学计算工作流应用的高效率、低能耗的调度与执行面临着巨大挑战。.基于此，本项目旨在借鉴国内外在该领域的已有成果，着重研究云计算环境下面向科学工作流应用的弹性调度机制，从而在保证复杂科学工作流应用高效调度与执行的同时尽量降低系统能耗。主要研究内容包括：（1）云计算环境中的任务性能与资源能耗模型；（2）云计算环境下以性能约束与能耗优化为目标的工作流弹性调度；（3）云计算环境下面向应用性能保证及能耗优化的任务自适应迁移。.项目组从以上三方面展开相应研究，并取得了相关研究成果：（1）在云计算环境中的任务性能与资源能耗建模方面，在大量精确测量的基础上，利用排队论等相关技术，针对虚拟机批量启动及虚拟化环境中资源冲突等问题进行性能建模，同时利用随机过程理论对多层次数据中心的能耗进行建模，为后续的任务调度提供精确依据。.（2）在云计算环境下以性能约束与能耗优化为目标的工作流弹性调度方面，分别提出了针对云环境下性能波动感知的工作流应用随机调度机制，针对多分布式数据中心环境下的数据密集型科学工作流应用的调度机制，针对非专注多数据中心环境下的科学工作流应用的调度机制，实现了云环境下科学工作流应用有效地初始调度。.（3）在云计算环境下面向应用性能保证及能耗优化的任务自适应迁移方面，提出了基于提前预留技术的非专注异构云数据中心中科学工作流任务的重调度机制，云环境下具有截止期约束的科学工作流任务在线调度机制以及异构云环境下面向能耗优化的任务在线调度机制，确保工作流应用的执行性能并进一步降低了系统能耗。此外，在这些研究成果的基础上，设计并实现了一个基于云计算环境的科学工作流调度与管理原型系统，并部署于东南大学云计算中心，为AMS实验中海量科学数据的处理提供有效支撑。.以上研究成果的提出对云计算环境中复杂科学计算工作流应用高效率、低能耗地调度与执行提供了切实有效的解决方案，为以AMS实验为代表的复杂科学计算应用及海量数据处理应用提供一套实用的云计算科学工作流执行与管理平台，并对本领域的技术发展做出有效的贡献。