深度应用可感知的云数据中心资源管理与优化方法研究

Dynamic spatio-temporal workload prediction, agility of responses of request flows, and rationality of resource utilization are the key problems of building low-power, high-performance, software-based and new-architecture cloud data centers. This project aims to conduct researches on three aspects including spatio-temporal workload prediction methods for request flows, distributed multi-resource path selection methods, and the application-aware cloud resource management, and to develop a prototype system. First, this project aims to conduct the workload prediction mechanism of request flows based on deep spatio-temporal residual networks, and to effectively predict the final traffic of each request flow in each resource segment. Second, this project aims to minimize the total response time of application request flows by proposing a novel tree search algorithm based on the constructed unsupervised deep and hybrid architecture model. The model is derived based on reinforcement learning, value network, and policy network. Third, this project aims to realize collaborative performance optimization for application services and infrastructure resources in cloud data centers and to reduce the energy consumption by proposing an application-aware resource manager, and constructing a collaborative deep flow SDN controller and a Hadoop/Spark cluster scheduler. Finally, this project integrates the prototype system and realizes the performance evaluation. The research achievements in this project can provide theories and technologies for application-aware resource management and optimization for cloud data centers, and also give important directions for the construction of high-efficiency and energy-saving cloud data centers.

动态时空负载预测、请求流响应敏捷性和资源利用合理性是构建低能耗、高效能、软件化、新型体系架构云数据中心的核心问题。本项目拟从请求流时空负载预测、分布式多资源路径选取、应用可感知的云资源管理三方面展开研究，并研制原型系统。首先，研究构建基于深度时空残余网络的请求流负载预测机制，从而有效地预测每个资源段各类请求流的最终流量。在此基础上，一方面结合强化学习、价值网络和策略网络构建无监督的深层混合架构模型，并给出新型的树搜索算法，从而最小化应用请求流的总响应时间延迟；另一方面研制应用可感知资源管理器，构建协作的SDN深度流控制器和Hadoop/Spark集群调度器，从而实现云数据中心应用服务和基础资源的协同性能优化并降低能耗。最后，研发集成原型系统，实现应用效果验证。本项目研究成果为应用可感知的云数据中心资源管理和优化提供理论及技术支撑，从而为构建高效能和低能耗的云数据中心也具有重要的借鉴意义。

本项目主要围绕“时空预测-路径选取-协同优化”三个方面展开研究，实现了对云数据中心各类请求流的有效时空预测，在此基础上构建了应用可感知的分布式多资源路径选取方法，并设计了云基础资源和应用服务之间的协同优化机制，并取得了具有创新性的云数据中心资源管理和优化理论与方法成果，并建立了一套应用可感知的云数据中心资源管理与优化的原型系统，通过本项目的研究成果为云数据中心的治理提供了理论依据和工具支撑。具体的研究内容包括以下四个方面：首先，提出了云数据中心各类应用服务请求数据流的深度时空负载预测方法，实现了对云数据中心每段资源请求流的最终流量的精准预测；其次，构建了云数据中心应用可感知的分布式多资源组合路径的最优选取方法，支持云数据中心各类应用服务的资源路径建模与优化；再次，提出了云基础资源和应用服务之间的协同优化机制，进而在满足各类应用服务用户需求的前提下，提高了云数据中心基础资源的性能并降低了能耗；最后，研发了集成原型系统，实现了应用效果验证。本项目研究成果为应用可感知的云数据中心资源管理和优化提供了理论及技术支撑，从而为构建高效能和低能耗的云数据中心也具有重要的借鉴意义。