大数据驱动的深度时空敏感云工作流智能调度与资源优化方法

Intelligent scheduling of cloud workflows and resource optimization are critically important to construct energy-efficient and green cloud data centers. However, current approaches cannot accurately predict tasks’ execution time in virtual machines. Moreover, the profit of cloud providers decreases easily because of complicated dependence relations of tasks. What’s more, greenness, energy efficiency and delay bound assurance cannot be jointly considered. Therefore, it has become a challenging research problem in computer system field. Firstly, by combining deep learning with intelligent modeling and optimization approaches, this research project studies a hybrid intelligent prediction approach for massive task execution time data. A deep rough stacked autoencoder model is proposed to realize the deep spatiotemporal task execution time prediction. Secondly, a task scheduling model for multi-type workflows is established to maximize the profit of cloud providers. Then, a virtual machine selection algorithm is proposed to realize the profit-aware task scheduling. Thirdly, a workflow request scheduling model is formulated to maximize the profit of geo-distributed green cloud providers. Then, an efficient and intelligent hybrid meta-heuristic optimization algorithm is proposed to realize the spatiotemporal workflow scheduling. Furthermore, the research findings in this research project will be implemented and integrated into a big data-driven deep spatiotemporal scheduling system for cloud workflows where they will be evaluated. The proposed algorithms, models and software in this research project can improve the scheduling precision, practicality, and energy efficiency of cloud workflows. Finally, the possible achievements can also achieve the cost-effectiveness of cloud computing and high utilization of green energy, and have the great significance of theory and application.

智能调度云工作流与优化资源对构建高能效的绿色云数据中心至关重要。现有方法无法准确预测任务在虚拟机中执行时间，由于任务间依赖关系复杂易导致利润下降，且难以兼顾绿色高能效和延迟保证，因而成为计算机系统领域研究热点。本项目将深度学习和智能建模、优化方法相结合，针对海量任务执行时间数据，研究基于深度模糊栈式自编码模型，实现深度时空敏感的任务执行时间预测；在此基础上，针对多类型工作流应用，研究最大化云提供商利润的任务调度优化模型，建立虚拟机选取算法，实现利润敏感的任务调度；针对分布异地绿色云，研究最大化分布异地绿色云提供商利润的请求调度模型，建立高效的混合元启发式智能优化算法，实现时空敏感的工作流应用请求调度方法。集成本项目研究内容，研制大数据驱动的深度时空敏感云工作流调度系统进行应用效果验证，提高调度准确性、实用性、高效性，实现云计算的成本效益和绿色能源的高效利用，具有重要科学意义和应用价值。

智能调度云工作流与优化资源对构建高能效的绿色云数据中心至关重要。现有方法无法准确预测任务在虚拟机中执行时间，由于任务间依赖关系复杂易导致利润下降，且难以兼顾绿色高能效和延迟保证，因而成为计算机系统领域研究热点。本项目针对以上问题，提出了以下三类方法。.1) 本项目将深度学习和智能建模、优化方法相结合，针对海量任务执行时间数据，提出了一种基于深度模糊栈式自编码的仿真请求执行时间预测方法，实现深度时空敏感的任务执行时间预测；首先，建立了由多个自编码器构成的隐含层网络模型，通过无监督的方式逐层训练每个自编码层，获得无标签的仿真应用请求执行时间数据中有价值的隐含特征；其次，建立了由模糊神经元构成的模糊回归分析层，采用基于梯度下降的误差反向传播算法，通过有监督的方式训练该层并获得连接权重等参数的初始值；然后，采用了有监督的方式对每个自编码层和模糊回归层中的连接权重等参数进行精细化微调，从而获得了整个深度模糊栈式自编码网络模型；最后，提出的混合预测方法在预测精度和模型训练速度上优于现有的典型预测方法。.2) 针对多类型工作流应用，研究最大化云提供商利润的任务调度优化模型，建立了虚拟机选取算法，实现利润敏感的任务调度；首先，该方法通过对现有的云数据中心的应用性能与计算资源关系进行了建模分析；其次，综合考虑了能量价格、网络带宽等因素的变化特点，提出了智能的任务调度方法，从而在保证所有应用请求性能要求的同时有效提高了云数据中心提供商的资源调度效益。.3) 针对分布异地绿色云，研究了最大化分布异地绿色云提供商利润的请求调度模型，建立了高效的混合元启发式智能优化算法，实现时空敏感的工作流应用请求调度方法；本方法能够将多个延迟敏感应用的请求调度到多个可用的云数据中心中，通过综合利用分布式绿色云数据中心的电力价格、网络带宽价格以及绿色能源可用性的空间多样性差异，实现了时空敏感的应用请求调度方法。最后，基于开源的真实数据集的实验表明，该方法能够在满足任务延迟约束的同时，利用该算法得到的利润和吞吐量要优于典型的任务调度算法，包括低价格电力优先调度、实时调度和绿色能源优先调度等。.集成本项目研究内容，研制大数据驱动的深度时空敏感云工作流调度系统进行应用效果验证，提高调度准确性、实用性、高效性，实现云计算的成本效益和绿色能源的高效利用，具有重要科学意义和应用价值。