云计算环境下大数据驱动的工作流调度关键技术研究

In recent years, with the rapid development of cloud computing, an increasing number of groups have chosen to deploy their workflow applications on the cloud platforms. However, the characters with dynamic opening, volume and value sparsity of big data, can cause inefficient data transmission, and huge energy consumption during workflow executions in cloud data centers. Besides, the running environment of workflows becomes more and more complicated, driven by the privacy requirements of big data. In view of these challenges, the proposal focuses on the key technologies for big data driven workflow scheduling. First of all, from the perspective of task correlation analysis and big data collaboration, the data placement technology for workflow executions with multiple constrains is put forward. Furthermore, based on the analysis of workflow context, the technology for energy-aware resource allocation is introduced. Finally, according to the requirements of big data privacy, the resource scheduling technology based on game theory is proposed. We also theoretically and technically validate our scientific research achievements through a typical workflow application. We hope this project could promote the ubiquitous implementation of workflow scheduling in big data environment.

近年来，随着云计算技术高速发展，越来越多的组织选择将工作流应用部署到云平台上运行。然而，大数据动态开放、体量大、价值稀疏等特征，导致工作流在执行过程中云数据中心的数据传输性能低下、能耗问题日益突出，且大数据的隐私保护需求使得工作流调度环境变得更为复杂。有鉴于此，本课题将针对云计算环境下大数据驱动的工作流调度关键技术进行研究。首先，从任务关联分析与大数据协同的角度，提出了一种多约束下面向工作流执行的数据布局技术。然后，基于工作流执行上下文环境的分析，提出了一种能耗感知的资源配置技术。最后，根据工作流执行过程中的大数据隐私保护需求，提出了一种混合云计算环境下基于博弈理论的资源调度技术。本课题将结合实例工作流应用，对提出的理论研究成果进行性能验证，预计将对大数据环境下工作流调度技术的泛在化应用起到一定的推动作用。

近年来，随着云计算技术高速发展，越来越多的组织选择将工作流应用部署到云平台上运行。然而，大数据动态开放、体量大、价值稀疏等特征，导致工作流在执行过程中云数据中心的数据传输性能低下、能耗问题日益突出，且大数据的隐私保护需求使得工作流调度环境变得更为复杂。有鉴于此，本课题针对云计算环境下大数据驱动的工作流调度关键技术进行了研究。首先，从任务关联分析与大数据协同的角度，提出了一种多约束下面向工作流执行的数据布局技术。然后，基于工作流执行上下文环境的分析，提出了一种能耗感知的资源配置技术。最后，根据工作流执行过程中的大数据隐私保护需求，提出了一种混合云计算环境下基于博弈理论的资源调度技术。本课题将结合实例工作流应用，对提出的理论研究成果进行性能验证，预计将对大数据环境下工作流调度技术的泛在化应用起到一定的推动作用。