面向地域分布式数据中心的资源优化调度系统研究

Providers and international science collaboration programs both deploy data centers in geographically distributed sites to provide supports to data-intensive applications. The de-facto solution in both industry and academia is to first move the target dataset to a single data center before the computation. This approach leads to underutilization of resources and further incurs a high latency for applications. This project proposes a novel resource allocation system for geo-distributed datacenters, which decomposes an application task into multiple smaller ones and deploys them at different geo-distributed datacenters. Through executing tasks geo-distributedly, our system significantly improves the resource utilization of data centers and reduces the latency of data-intensive applications. In particular, we perform systematic studies in three aspects. First, we propose a generic abstraction theory which provides a high-accuracy, low-overhead and high-privacy abstract view for multiple resource types in data centers, including computing resources, storage resources and networking resources. Secondly, we design sub-task placement and resource allocation algorithms for geo-distributed datacenters in single- and multi- administration domain(s), respectively. Thirdly, we implement system prototypes, deploy them on the datacenter networks of a data center provider and an international science collaboration program, and evaluate the performance extensively. The objective of this project is to achieve geo-distributedly processing for data-intensive applications through fast, efficient resource allocation among multiple data centers, which addresses the underutilization of resources and the high latency of applications in geo-distributed datacenters.

运营商及国际科学协作项目均在不同地域部署多个数据中心以应对数据密集型应用的需求。目前工业界与学术界的普遍做法是将目标数据迁移到某一数据中心进行计算。这种先整合再分析的方法会导致低资源利用率与任务的高延迟。本课题提出一种新的地域分布式数据中心资源优化调度系统，将应用任务进行分解并将子任务分布到多个数据中心，实现任务的地域分布式处理，提高资源利用率，降低任务延迟。我们从三个方面展开深入研究：1.提出一种对数据中心多类（计算，存储，网络等）资源进行描述的通用抽象理论，为系统资源提供高精度，低开销，高隐私的抽象视图；2.为单/多管理域地域分布式数据中心设计子任务分布与资源分配算法；3.实现系统原型并在某运营商及某国际科学协作项目数据中心网络上进行部署与评估。课题的研究目标是通过对多数据中心的资源调度实现数据密集型任务的地域分布式处理，解决地域分布式数据中心的资源低利用率与任务高延迟问题。

运营商及国际科学协作项目均在不同地域部署多个数据中心以应对数据密集型应用的需求。目前工业界与学术界的普遍做法是将目标数据迁移到某一数据中心进行计算。这种先整合再分析的方法会导致低资源利用率与任务的高延迟。本课题提出一种新的地域分布式数据中心资源优化调度系统，将应用任务进行分解并将子任务分布到多个数据中心，实现任务的地域分布式处理，提高资源利用率，降低任务延迟。本项目的主要研究内容包含三个方面。一，利用图论与凸分析优化技术构建新的数据中心系统资源描述模型，并根据不同数据分析任务的不同资源需求，结合差分隐私技术，对整个数据中心系统的资源进行无损精确，保障隐私的抽象压缩；二，利用所提出的多类资源通用抽象理论，对单管理域下针对数据密集型任务的地域分布式数据中心资源优化分配问题重新构建数学模型，并设计快速高效的资源分配调度算法； 三，面向多管理域地域分布式数据中心，利用机器学习技术, 设计不同管理域间资源协调机制,提出快速高效公平的计算任务分布与资源分配策略。最后本课题将把三个研究成果综合，实现了简单，高效的地域分布式数据中心资源管理与调度系统。