面向大数据分析系统的任务调度优化方法研究

Nowadays, there exist complex characteristics in big data learning, such as a mass of parallel data and models, heterogeneous cluster platforms for multiple users, multiple computing platforms coexistence, which results in enormous challenge with the task and resource scheduling. Thus, the research on new task scheduling optimization methods for big data analytics system has very important significance and value.. With the “learning guide optimization” as the core idea, this research focuses on the task scheduling optimization for big data analytics systems, which mainly includes the models of the task scheduling optimization problem in big data analytics systems, the learning guided scheduling optimization methods, the key technologies of system optimal scheduling etc. The key ideas are as follows: on the first hand, aiming to the system specialties, such as distributed data, parallel models and heterogeneous resource etc., and system optimization objectives , such as computing performance, user SLA, energy consumption etc., we attempt to establish the task scheduling optimization models according to the computing situations; on the second hand, aiming to the requirements on high robustness and efficiency, we try to build Multiple-to-Multiple Elastic Bat Scheduling Framework (M2M-EBSF), to design learning guided scheduling optimization methods based on adaptive hybrid, hyper heuristic and game strategies etc., to develop the key technologies for dynamic, multi-constraint and multi-objective characteristics. . This project employs a combination of theoretical analysis, experimental design and engineering measurement, by using the important system platforms as the actual experiment and verification objects. The goal is to seek after the new methods and technologies of the task scheduling in complex big data computing systems.

当前，大数据学习具有大规模数据与模型并行、多用户共享异构集群、多计算模式与平台共存等复杂特点，其任务与资源调度面临极大挑战，研究大数据分析系统任务调度新方法具有重要意义与价值。本课题以“学习指导优化”的思想为核心，研究大数据分析系统特性及调度优化模型、学习指导的调度优化方法，以及任务调度的关键技术。项目研究的关键思路包括模型与方法两方面，其一是针对系统任务、平台与资源等动态约束特性，以及计算性能、用户SLA、系统能耗等优化目标，建立符合计算场景的大数据系统调度模型；其二是针对任务调度的鲁棒性与高效性要求，建立多对多弹性批量调度框架，提出基于自适应杂合、超启发式、博弈等策略的学习指导调度优化方法，以及处理动态、多约束与多目标特征的关键技术。项目采用理论分析、算法设计与工程实证相结合的技术路线，以重要的系统与平台为实验研究对象，目标是为解决复杂大数据分析系统任务调度优化问题探索新方法与新技术。

当前，大数据学习具有大规模数据与模型并行、多用户共享异构集群、多计算模式与平台共存等复杂特点，其任务与资源调度面临极大挑战，研究大数据分析系统任务调度新方法具有重要意义与价值。本课题以“学习指导优化”的思想为核心，研究大数据分析系统特性及调度优化模型、学习指导的调度优化方法，以及任务调度的关键技术。项目采用理论分析、算法设计与工程实证相结合的技术路线，以重要的系统与平台为实验研究对象，目标是为解决复杂大数据分析系统任务调度优化问题探索新方法与新技术。研究的主要内容和重要结果如下面四个方面所示：.(1)研究基于遗传算法提出一个多用户移动边缘计算(MEC)系统，其中移动设备用户可以通过无线通道将任务卸载到MEC云中。 本研究旨在通过共同优化计算卸载决策和通信信道分配来最大程度地减少MEC系统的总系统开销。 通过仿真研究了遗传算法的效率，并将其与其他基准算法的效率进行了比较，以验证其性能。.(2)提出了一种基于ACO的动态优化算法来解决所提出的优化问题。为了确保最佳服务质量(QoS)并最大程度地降低系统成本，我们将所有UE的任务延迟和能耗之和公式化为优化目标，并共同优化UE的卸载决策和MEC服务器的计算资源分配。仿真结果表明，与其他基准相比，该方法可以更有效地降低能耗并降低等待时间。.(3)针对移动边缘云（MEC）和最终用户（EUs）之间分配多种资源问题，提出基于Stackelberg博弈的框架。我们将多种资源分配和定价问题分解为一组子问题，每个子问题仅考虑一种资源类型。Stackelberg游戏框架是为每个子问题构建的，每个玩家都可以通过在策略空间中选择合适的策略来自私地最大化其效用。证明了子游戏Stackelberg均衡的存在，且实验结果证明我们的方法有较广泛的应用前景。.(4)提出一种多小区MEC系统，其中每个小小区都连接到一个普通的MEC服务器，并且通过共同优化计算卸载决策，通信和计算资源来解决将MEC系统中的系统提出了一种结合免疫算法（IA），拟凸优化和凸优化技术的层次优化方法（HIQCO）。实验结果表明，相对于其他算法，本文提出的HIQCO在系统开销方面具有更好的性能。