基于包簇映射的云数据中心资源管理模型构建及其若干关键技术研究

The enormous, ongoing success of cloud computing has promoted the establishment of large data centers to serve a rapidly expanding user base. However, resource management in data centers is facing grave multi-faceted challenges for scalability, flexibility, and comprehensiveness. This research project investigates new data center management technologies and proposes transformative shift from the conventional virtual-machine-centric management models to a new abstract model. Its layered clustering abstraction model divides the exponentially-complex resource allocation problem in data centers into a collection of much smaller problems in a recursive fashion based on the intrinsic structures in the client demand and the data-center networks, allowing flexible resource sharing through VM co-location. In addition, the proposed research addresses fundamental technologies for multi-constrained cloud resource optimization in order to improve manageability of data centers and their resource efficiency. The innovation of this project includes (1) the basic framework and operational mechanisms of large-scale data center management, (2) the comprehensive cloud management framework that can handle various realistic user demands and resource constraints, and (3) an experimental prototype.

云计算取得了巨大成功，为服务于快速增长的用户群体，数据中心不断建立，但数据中心管理却面对扩展性、灵活性、综合性等多重挑战。本研究探讨数据中心管理技术，它将传统的以虚拟机为中心的管理模式转换为以包为中心的模式，其层次化的包-簇抽象模型通过递归定义方式将原本规模巨大的云基础资源分配问题分解为容易处理的小问题，以提高数据中心管理的扩展性；同时，通过所抽象的包和虚拟机的本地化资源分配模型，提高云基础资源的共享程度和资源利用率，进而提高数据中心资源管理的灵活性；此外，研究基于多重约束的资源分配问题解决方案的优化及多项相关关键技术以利于提高综合管理的能力和效率。研究的创新成果主要有：(1)基于包-簇映射的数据中心管理基础架构和工作机制；(2)能够处理多种实际需求和约束的综合管理框架；(3)一个建立于实验床基础上的基于包-簇概念的实验原型系统。

本课题组探索了虚拟机-物理机映射基本框架结构，该映射模型将传统的以虚拟机为中心的管理模式转换为以包为中心的模式，通过分层的抽象模型来降解大规模的云资源管理，这种新的云资源管理方法不但解决了可扩展性问题，能够处理多种实际需求和约束的综合管理，同时提高了满足用户需求时的灵活性；开展了数据中心云资源分配及多目标优化策略研究，利用成本函数引导资源分配，基于各种不同的目标函数研究在包簇映射模型基础上的有效的适应不同需求或目的的具体解决方案及算法，并在支持包括包内资源共享、包迁移以及多重优化目标在内的各种复杂、精细的云资源分配服务进行了有益的研究；研究了支持复杂查询的云资源索引机制，探索在基于P2P架构的云数据中心系统上创建多维索引以实现复杂查询；开展了云数据中心网络和资源监控机制研究，研究了分布式数据中心的事件探测策略，提出一套完全分布式的基于超方形几何结构的普发事件探测算法和数据中心资源监控高效算法，完成对各云计算节点和簇的现有负载及可用资源的实时监控，有助于各计算节点分布式地对包-簇映射进行实时调整，同时提出了新的基于软件定义数据中心网络的分层流量测量策略，新的测量方案能够很好地支持分层的流量测量。