混合云环境下面向跨域服务联动的协同调度建模与优化研究

Cloud computing is going into the era of hybrid cloud. Collaborative scheduling is key to the inter-operation among clouds. Under hybrid cloud environment, scheduling is driven by economic profits. This self-interest makes collaborative scheduling challenging. This project investigates the models and algorithms for economics oriented collaborative scheduling. First, Predict resource availability degree using Grey model. Research on queueing theory based dynamic system capability evaluation after describing it from such indices as traffic features, service income and cost. Under the results of the above availability and capability evaluation, study the approaches of clustering and filtering of resources under the name of logical service cluster. Then, for collaborative scheduling, design a layered architecture involving both centralized and distributed scheduling structure, and on basis of availability evaluation study economics oriented parameter quantification and utility model based on Cloud model. In the end, transform scheduling from an optimization problem to a decision-making problem by use of Markov Decision Process (MDP). Based on the above-mentioned utility model and logical service clusters, do research on the online collaborative scheduling algorithms for cooperative and self-interested environments based on reinforcement learning theory, achieving adaptability to multiple task flows and collaboration between individual scheduling policies.

云计算即将进入混合云的时代，协同调度是混合云环境下实现互操作的关键。在混合云环境下调度受到经济学利益驱动，由于这种自利性，给协同调度带来了一定的挑战，本课题深入研究面向经济学协同调度相关模型及算法。首先，利用灰色模型预测资源可用度，从流量特征、服务收益成本等指标刻画系统可用能力，并基于排队论研究系统可用性的评估方法。基于可用性评估结果研究对资源进行逻辑服务簇的分类和筛选方法。然后，针对协同调度，研究集中和分布式结构相结合的调度器分层组织架构；在可用性评估基础上，基于云模型研究面向经济学的参数量化和效用模型。最后，利用马尔可夫决策过程（MDP）将调度从最优化问题转化为决策问题，然后基于强化学习理论分别针对合作型和自利型两种调度环境设计相应的在线协同调度算法，实现多任务流的自适应、多调度策略的协同。

云计算即将进入混合云的时代，协调和融合外部云计算服务（公共或私人）与内部基础设施或应用服务的混合云计算势在必行。在混合云的帮助下，存储和应用可以跨公有云和私有云部署，给企业和用户带来可扩展性和成本高效性。协同调度是混合云环境下实现互操作的关键。本项目从系统可用性评估模型、面向服务的经济学效用建模、任务调度策略的组合及优化三个方面对混合云环境下面向跨域服务联动的协同调度问题进行了深入的研究。首先，直接从任务调度问题本身入手，以云计算为对象，提出了概率型调度的策略，并设计了基于强化学习的概率型任务调度算法；将上述研究扩展到多域的环境，从分布式人工智能视角将调度问题转变为决策问题。针对合作型和自利型两种混合云环境，基于多方马尔可夫决策过程和博弈论建立了效用模型，并设计了基于强化学习的启发式协同调度算法；将混合云环境多样化和复杂化，研究了任务实时性、数据存储访问、Cache竞争和GPU约束下调度问题。为了实现精准调度，建立云环境的任务流量模型——马尔可夫链模型，抽取了重现时间、持续时间、熵三个流量特征，分析建立其与系统资源可用性，与虚拟机簇性能之间的关系。在此基础上，进一步研究多用户和提供商双目标调度问题。在上述混合云协同调度基础理论和方法探索后，接下来从实际应用的角度来探索混合云的协同。以情感计算和图像处理为例，研究如何将计算问题分解和并行化，实现多种资源的协同计算。从文本的潜在语义分析到基于深度学习的情感识别取得了一定的进展，此外，时间和空间序列的处理往往涉及大量的矩阵/矢量运算，迭代稀疏矩阵矢量乘法运算是信号处理和机器学习算法中一个关键操作，尤其对于大数据的处理，矩阵规模急剧增长。提出了一个矩阵划分策略，并给出了一个CPU-GPU异构集群平台下的实现方案。三年时间里共发表期刊会议论文11篇，其中SCI检索论文6篇。另1篇SCI期刊论文已投稿在审。