混合云环境下大数据服务流程优化与动态资源配置问题研究

Big data service processes gradually play major roles in information service operations of modern enterprises in cloud computing environment. The big data service process is essentially a series of complex collaborative activities, involving different data processing schemes, across multiple heterogeneous distributed systems. Its operational optimization not only needs to ensure the process-level quality of service (QoS), but also should take the efficiency and cost of using cloud into account. This project aims at several new characteristics confronted by modern information service enterprises, including uncertain demand in concurrent access scenario, heterogeneous cost and dynamic nature in hybrid cloud computing environment, as well as emerging container technology in cloud resources allocation, to improve the process-level QoS, reduce the cost of using hybrid cloud, increase the cloud resources utilization, and satisfy the uncertain demand through establishing corresponding decision models, frameworks and efficient solving methods with respect to the collaborative optimization problem of process-level QoS and underlying cloud resources allocation for big data service processes. Firstly, a QoS prediction model for big data service is established in which a variety of complex factors in concurrent access scenario are considered. Secondly, a many-objective service selection method and its adaptive decision-making framework are proposed to jointly optimize the process-level QoS and the cost of using public cloud. Finally, we design two multi-time scale decision models of hybrid cloud resources allocation, at the meantime, a collaborative decision framework is established to coordinate the optimization of process-level QoS and the decisions of cloud resources allocation. In terms of theoretical significance, this project enriches and deepens cross fields research of workflow scheduling, service computing and cloud resources optimization. As far as practical demands, this project provides technical guidance to modern information service enterprises for the successful and efficient application of big data technologies in emerging containerized hybrid cloud computing environment.

云计算环境下的大数据服务流程在现代企业信息服务管理中扮演日益重要的角色。它是涉及不同数据处理模式、跨越多个异构系统的复杂协作过程，其运作优化不仅要解决并发场景下流程服务质量（QoS）的保障，而且要考虑云资源的优化配置与运作成本。本项目针对信息服务企业面临的一些新特征，包括需求不确定与并发性、混合云异构成本与计算环境动态性、新兴的容器化资源分配方式，以提升流程QoS、降低云成本、改善云资源利用率和应对不确定需求为目标，解决大数据服务流程QoS与资源配置的协同优化问题。建立并发场景下融合多种复杂因素的QoS预测模型；建立考虑QoS、混合云成本的多目标服务选择模型与自适应决策方法；建立不同时间尺度下混合云资源动态配置方法，以及与QoS优化协同的决策框架。研究成果不仅在理论上丰富和发展工作流调度、服务计算、云资源优化的交叉领域研究，并且为信息服务企业在混合云环境下成功、高效应用大数据提供方法支持。

随着大数据、人工智能对大规模计算、可靠IT架构以及可控成本的巨大需求，大量企业、政府等组织转向云端。而容器云、Serverless、微服务等新一代云技术，成为了复杂软件系统构建、降低云端资源运营成本的关注热点，基于容器的混合云市场正蓬勃兴起。而云计算环境下的大数据服务流程在现代企业信息服务管理中扮演日益重要的角色。它是涉及不同数据处理模式、跨越多个异构系统的复杂协作过程，其运作优化不仅要解决并发场景下流程服务质量（QoS）的保障，而且要考虑云资源的优化配置与运作成本。.本项目针对上述新特征和新挑战，包括需求不确定与并发性、混合云异构成本与计算环境动态性、新兴的容器化资源分配方式等，以提升流程QoS、降低云成本、改善云资源利用率和应对不确定需求为目标，解决大数据服务流程QoS与资源配置的协同优化问题。项目组从流程（服务）QoS（性能、负载）预测与流程（工作流、任务或资源）调度优化两方面展开研究。结合深度学习、注意力机制、图网络等新兴方法，建立了并发场景下融合多种复杂因素的QoS预测模型；提出了考虑QoS、混合云成本的多目标服务选择模型，建立了基于容器化混合云的边-云多模态工作流调度模型和算法；同时建立了容器化混合云中考虑工作流QoS的微服务集群弹性伸缩多目标优化模型，以及随机不确定场景下基于深度强化学习的边-云工作流实时调度框架等。本项目在云计算、深度学习、运筹优化等重要SCI、NSFC A类期刊发表论文11篇，会议论文6篇，总引用数82次，合计影响因子55.821。形成20万字研究报告1部。在投论文7篇。发布数据集1套、Benchmark 1套、仿真系统1套。培养博士、硕士、本科生41人，参加学术交流18次，报告11次。与国（境）内外9名学者展开了合作。获得省级课题3项。获得华为云人工智能大赛-垃圾分类挑战杯全国二等奖等奖项3项。.研究成果不仅在理论上丰富和发展了工作流调度、服务计算、深度学习的交叉研究，并且为过程为中心的企业有效应用预测与调度技术提供范例和方法支持。.