云数据中心基于应用共存特性的混合调度研究

With the rapid increasing of the scale of cloud data centers as well as the amount of cloud applications, the coexistence of the dedicated physical servers and the virtualization-based shared servers is the typical usage mode in current cloud data centers to resolve the contradiction between the maximum resource utilizaiton and the QoS (quality of service) decrease resulted from the resource sharing by applications. In such a large-scale hybrid scenario, how to map the large amount of cloud applications to the heterogeneous servers automatically and efficiently is the burning challenge faced by today's cloud data centers. In this project, we will research on the following three problems. Firstly, as to the problem of how to determine the server requirements by applications with diverse resource requirement characteristic under different workload, we will model the prediction of the server requirements by a cloud application as well as by the combination of cloud applications. Secondly, as to the problem of how to quantitatively determine the effect degree among cloud applications when they share the same physical server, we will analyze the fine-grained resource usage and coexistence characteristic of cloud applications. Lastly, as to the problem of how to deploy a large amount of applications with diverse resource requirements to the large-scale heterogeneous cloud data center servers efficiently, we will design an efficient application characteristic-based non-linear summation large-scale application aotumatic deployment algorithm. During this research, we will publish more than six papers in the ACM/IEEE Transactions or proceedings, and we will provide efficient methords of application analysis and deployment to push the development of cloud data centers.

随着云数据中心规模的不断增加和云应用的层出不穷，为解决资源利用最大化与应用共存冲突导致服务质量下降之间的矛盾，当前云数据中心普遍采用基于虚拟化技术的共享服务器和非虚拟化的独占服务器并存的使用模式。在该大规模混合场景下，如何将大量云应用自动、高效地映射到异构服务器成为当前云数据中心面临的一大挑战。本课题拟研究以下三个问题：1）针对如何预测具有不同资源需求特性的应用在不同负载下资源需求问题，考虑构建云应用及应用组合对异构服务器规模需求的预测模型；2）针对如何定量刻画云应用在共享资源时相互影响程度的问题，考虑进行细粒度应用资源占用模式及共存冲突分析；3）针对如何将大量云应用高效映射到大规模异构服务器的问题，考虑设计基于应用共存非线性叠加的应用自动部署方法。通过该项目的研究，将在ACM或IEEE期刊或会议上发表学术论文6篇以上，同时将为云数据中心提供高效的应用分析及部署方法，促进云数据中心的发展。

随着云数据中心规模的不断增加和云应用的层出不穷，为解决资源利用最大化与应用共存冲突导致服务质量下降之间的矛盾，当前云数据中心普遍采用基于虚拟化技术的享服务器和非虚拟化的独占服务器并存的使用模式。在该大规模混合场景下，如何将大量云应用自动、高效地映射到异构服务器成为当前云数据中心面临的一大挑战。本课题主要研究以下五个问题：1）针对如何预测具有不同资源需求特性的应用在不同负载下资源需求问题，构建云应用及应用组合对异构服务器规模需求的预测模型，在我们的实验中模型对于服务器规模的预测准确；2）针对如何定量刻画云应用在共享资源时相互影响程度的问题，提出了CPU资源占用以及共存冲突分析方法、磁盘及网络I/O资源占用以及共存冲突分析方法；3）针对分布式系统中细粒度监控的扩展性问题，提出了基于大规模分布式监测的实时压缩算法（LCA、ReCA和MiCA），同时探索单个指标的值的关联性和指标间的关联性。实验结果表明, MiCA的压缩率分别比CCA,LCA, ReCA高38.2%, 27%和44.5%。4）针对如何将大量云应用高效映射到大规模异构服务器的问题，提出两个自动部署方法：最小总代价增量算法（MIC）和最大总代价降低算法（MDC）。MDC算法的总代价相比未考虑性能干扰的BPV算法降低了48%的总代价，而且性能损失代价降低到了6%。综合所有的评估结果可知，联合优化虚拟机间的组合和生命周期的重合不仅优化了云数据中心的能效，而且优化了因性能干扰引起的性能损失。5）针对数据中心资源利用率低的问题，我们提出并实现局部和全局按需资源流动算法。与Padala等人的工作相比，其工作对于高优先级服务带来的系统整体性能提升（28%）略高于我们的算法（20%），但其对于并发的低优先级服务引入的性能降低（41%）却远远大于我们的工作（5%）。我们的算法在保证服务质量方面，用低优先级服务微小的服务性能损失获得了其它服务较高的性能提升，这比Padala等人的工作（用巨大的低优先级服务性能损失获得其它服务性能提升）在保证服务质量方面要好得多。通过该项目的研究，在国内外期刊、会议上发表学术论文8篇（含已录用），其中期刊论文3篇、会议论文5篇，受理专利2项，为云数据中心提供高效的应用分析及部署方法，对于促进云数据中心的发展具有一定的科学意义。