基于虚拟集群与容器技术的跨云数据密集型工作流计算研究

Cloud federation allows workflows running across clouds, providing a more cost-effective, high-performance and reliable combination than single cloud system; as a consequence, emerging as a new technology that has attracted attention both from academia and industry. At the meantime, the rapid growth of data-intensive applications has brought new challenges to workflow management on federated clouds. Aiming at the challenge of existing workflow technology in data-intensive computing, this project intends to investigate critical techniques including,to reduce data transmission on virtual cluster migration, to avoid virtual machine idle caused by intermediate data processing, to guarantee workflow QoS and to avoid resource preemption. Novel features of this proposal include (1) workflow-based virtual cluster and container migration for improving data-intensive applications’ throughput on federated clouds; (2) intermediate-data aware critical path analysis and container-based intermediate data processing for minimizing makespan of data-intensive workflows; (3) fine-grained task consolidation and reuse of time fragmentation to guarantee workflow quality of service (QoS).

联邦云允许工作流运行于跨云系统，提供比单个云更经济、高效、可靠的云组合，成为近年来国内外学术界和工业界关注的新兴技术。然而，数据的快速增长使得数据密集型计算在跨云环境的运行出现诸多新的挑战。针对现有云计算工作流技术在数据密集型计算面临的挑战，本项目将围绕虚拟集群与容器技术、基于容器的中间数据处理技术、细粒度虚拟资源调度、与工作流QoS保障机制展开理论与方法的研究。力图通过解决相应的关键技术问题，包括减少虚拟集群迁移的数据传输、避免中间数据造成的虚拟机闲置、保证工作流 QoS 避免资源抢占，从而为跨云数据密集型工作流计算奠定基础。主要创新包括：1)提出以工作流为单位的虚拟集群与容器迁移技术，提高联邦云系统对于数据密集型计算的吞吐量；2)工作流中间数据感知的关键路径分析与基于容器的中间数据处理技术，进而缩短工作流完成期限；3)提出细粒度工作合并，与时间碎片再使用技术，从而保障跨云工作流QoS。

本项目「基于虚拟集群与容器技术的跨云数据密集型工作流计算研究」，提出基于虚拟集群与容器技术的联邦云高效能工作流计算研究。主要的创新与特色包括：以工作流为单位的虚拟集群迁移技术，容器实时迁移技术，与基于容器的中间数据处理技术，借以提高联邦云系统吞吐量(Throughput)；针对数据密集工作流，研究数据感知的DAG并行计算与数据并行计算，工作流中间数据感知的关键路径分析，虚拟机/容器的调度与共享，动态迁移与合并策略，借以优化工作流计算期限(Makespan)；研究符合SLA与基于虚拟资源的多维度QoS二次优化，保障工作流服务质量(QoS)，发挥联邦云高效能和高可用的效益。为了有效地分析资源的使用率与能耗的关系，本项目建立通用数学能耗模型，该模型能同时应用于虚拟机与容器的部署，透过运算资源的使用率来估算能耗，进而决定工作的配置策略。此技术可以广泛运用在数据中心，对于容器服务的发展提供扎实的理论基础。