多Slot环境下的MapReduce能耗模型及优化研究

Ignoring the issue of energy consumpion in architecture design for Mapreduce computation model, the problem of high energy consumption, generated from the computation process, needs to be solved. On the basis of our previous work, the research contents of this project focuses on the following three aspects, the first is the MapReduce energy consumption mechanism, the second is the energy model for MapReduce and the third is the energy optimization methods for MapReduce, all under the environment of multi-slot. Firstly, based on the research of energy consumption model of CPU, memory, disk and other components, and combined with monitoring the resource state while task is running, we study the MapReduce energy consumption mechanism between tasks when there is resource contention, under multi-slot environment. Secondly, based on the research of energy consumption mechanism, we try to establish the prediction, monitoring, and settlement energy models for MapReduce. As a result, we can forecast the energy consumption of MapReduce jobs before execution, monitor the dynamic energy consumption while task is running, and estimate the energy consumption value after the job is completed. Finally, the optimization process of energy consumption can throughout the whole life cycle of each MapReduce job, that is from the optimization of MapReduce task decomposition, task scheduling, execution logic and data layout, to the optimization of MapReduce resources usage and control activities of cluster state. This research is expected to improve the overall energy efficiency of MapReduce job and cluster, supporting the key technology for MapReduce power and energy management.

由于MapReduce计算模型架构设计时缺乏对能耗问题的考虑，导致其计算过程产生的高能耗问题亟待解决。结合前期工作，课题对多Slot环境下的MapReduce能耗机理、能耗模型及能耗优化三方面进行研究。首先，在建立CPU、内存、磁盘等部件能耗模型的基础上，结合对任务资源状态的监控，研究多Slot环境下资源竞争任务之间的能耗机理；其次，在能耗机理研究的基础上建立预测、监控及结算三种能耗模型，实现对MapReduce作业执行前的能耗预测、任务执行过程中的能耗监控及执行完毕后的能耗结算功能；最后，能耗优化旨在贯穿整个MapReduce生命周期，即从优化MapReduce的作业分解、任务调度及执行逻辑、数据布局，到优化MapReduce的资源比、控制集群的活动状态。研究成果有望整体上提高MapReduce作业及集群的能耗效率，形成对MapReduce能耗管理关键技术的支撑。

大数据时代，在能源价格不断上涨，大数据中心规模不断扩大的背景下，高能耗已逐渐成为制约云计算与大数据快速发展的一个主要瓶颈。在此背景下，项目《Slot 环境下的 MapReduce 能耗模型及优化研究》围绕多Slot环境下的MapReduce能耗机理、能耗模型及能耗优化三个核心研究内容，主要完成了以下几个方面的研究工作：. (1) 对MapReduce系统进行了建模分析，建立了MapReduce作业的任务分解模型、任务与计算资源之间的映射模型，为MapReduce的能耗模型及优化研究打下基础。. (2) 通过统计分析MapReduce计算过程中CPU利用率变化序列与服务器功耗之间的关系，基于相关性分析得到基于CPU利用率估算的MapReduce能耗模型，实现了MapReduce作业执行完毕后的能耗估算功能。. (3) 利用统计分析模型建立服务器中各主要部件(如：CPU、磁盘、内存等)的能耗模型的基础上，提出了基于主要部件能耗累加的MapReduce能耗模型，为实现更为精确的MapReduce作业能耗实时计算建立了模型基础。. (4) 通过分析大量MapReduce作业调度执行结果与能耗数据之间的关系，分析了MapReduce作业与能耗之间的关系，提出基于平均功耗估算的MapReduce任务能耗模型，实现了MapReduce作业执行前的能耗预测功能。. (5) 在建立多种不同场景适用的MapReduce能耗模型的基础上，提出了异构环境下的数据放置策略、截止时间约束下的最小资源分配方法等一系列任务能耗优化方法，对MapReduce作业或基于MapReduce的算法进行了优化研究。. 在项目执行期内，项目研究成果获得省部级科研成果奖励2项，累计在《JNCA》(SCI一区)、《通信学报》(EI)、《计算机研究与发展》(EI)等国内外重要核心刊物上累计发表论文21篇，其中SCI收录1篇，EI收录8篇，国内核心期刊20篇。. 随着国家十二五规划“节能减排”战略不断推进，研究提高大数据中心数据处理过程中的能耗利用效率方法，特别在MapReduce计算模型逐渐成为大数据并行计算事实标准的背景下，本项目对于提高 MapReduce 等大数据处理框架的能耗效率，具有重要的理论和现实意义。