云数据中心并行计算模型与作业调度研究

In general, the job execution subsystem of cloud computing platform mainly involves computing model, resource management, and job scheduling. Currently, some new opportunities and challenges have been posed for job execution in cloud data center,for instance, 1)the cluster node tends to be equipped with multiple processors and of hybrid architecture; 2)several computing models coexist, such as MapReduce, DAG, and Stream; and 3)jobs can be classified into several types, e.g., system job, user-submitted interactive job，realtime job. Therefore, according to the computing model, how to schedule a number of jobs with different types to the heterogeous cluster nodes becomes essential.To improve the efficiency of parallel job scheduling and execution, taking features of computing resources, computing model and parallel job into consideration, this project aims to do research on three aspects: (1)job scheduling in the cluster system with hybrid multi-processor node;(2)job scheduling in heterogeous cluster; and (3) computating model for online data-stream processing and job execution runtime optimization. Overall, the achievements of this project can be applied into the real cloud computing platform. In addition, it would support several types of computing model and job, as well as improving the cloud job execution subsystem with higher throughput and resource utilization, fairness and less job completion time.

云计算平台的作业执行子系统主要负责计算模型、资源分配与作业调度。目前，云计算环境下的作业执行正面临着新的机遇与挑战，例如，单集群节点通常采用了多处理器混合架构；多个计算模型(MapReduce、DAG、Stream)和多种作业类型(系统作业、用户交互式作业、实时作业等)并存。因此，如何根据计算模型，调度不同类型作业到异构复杂的集群计算资源上执行成为云计算系统平台面临的关键科学问题。为了提高作业调度与执行效率，本项目将综合分析计算资源、计算模型、作业三者特点，从以下三个层面开展研究：(1)面向多处理器集群系统的作业调度；(2)面向异构集群计算资源的作业调度研究；(3)面向流数据处理的计算模型与作业执行优化。本项目的研究成果将可以直接应用于真实的云计算系统平台，支持多个计算模型和作业类型，能够提高作业执行子系统的吞吐率、资源利用率、公平性，减少单个作业完成时间。

云计算平台的作业执行子系统主要负责计算模型、资源分配与作业调度。如何根据计算模型,调度不同类型作业到异构复杂的集群计算资源上执行成为云计算系统平台面临的关键科学问题。本课题以最大效能提高作业调度与执行效率为目标,针对由多处理器节点构成的集群系统,研究了面向多处理器集群系统的细粒度作业调度和数据块的平衡放置。针对异构数据中心中节点系统结构的差别和性能差异将导致子任务处理速度的不同,研究了多种作业调度算法,包括负载均衡、延迟调度等。针对流数据处理模型支持数据以“流”式源源不断地到达,要求具有一定的实时性的特性,研究了小文件以及短作业在异构机群上的调度策略和算法。本项目经过三年的研究，按照要求完成了每年的研究计划，如期完成任务。按照评审意见以及技术发展现状少许调整了研究内容，在本课题的研究基础上，针对虚拟化技术在高性能服务器的广泛使用,增加了对虚拟机中影响操作系统的驱动故障的研究,通过在虚拟机中隔离驱动故障提高虚拟机的可靠性。已发表科研论文16篇，其中2篇SCI，10篇EI，参与国际会议交流7次，申请国家发明专利2项。本课题共支持了4名博士生和6名硕士生，其中2名博士生和4名硕士生已获得学位。课题顺利完成了研究任务并取得了预期的研究成果。