大数据处理平台中外存算法能耗复杂度和能耗优化研究

IT technologies create tremendous value for human being, but also bring a heavy burden to the environment. Energy consumption (EC) of computer, especially Big data processing platform, can not be ignored, and optimization on which is imperative. The existing researches of EC optimization focused on hardware and platform layers, and took network characteristics, rather than data processing algorithms which are the ultima energy-consumers, into consideration. Big data processing algorithms are I/O intensive and out-of-core algorithms. This project discusses the EC optimization of out-of-core algorithm from three perspectives: evaluation and measurement, algorithm designing, and algorithm implementation. First, it is difficult to evaluate the EC of an algorithm without specifying the runtime environment. Therefore, we will study the EC model of Big data processing platform, propose EC complexity of algorithm based on EC model of the platform, and explore the classification, characteristics, suitability and optimization of EC complexity. Secondly, we will prove that the locality and disk I/O of out-of-core algorithm will effects its EC, and EC then could be optimized during the algorithm design. Finally, codes are implementation of algorithms, we could adopt the above models and optimization approaches, and further study the code transformation rules and tools for EC optimization. All in all, we focus on the characters of out-of-core algorithms in Big data processing platform, study the design and implementation techniques of lower-energy-consumption out-of-core algorithm according to its EC complexity and its runtime environment. If the above models, approaches and techniques were worked out, it would greatly promote the development and application of green data processing algorithm.

IT技术的广泛运用为人们创造了巨大的价值，但也给环境带来的沉重的压力，计算机能耗，尤其是大数据处理平台的能耗不容忽视。现有能耗优化研究忽略了数据处理算法这一能源的最终消费者。大数据处理算法多为I/O密集的外存算法，拟从三个角度研究外存算法能耗优化：算法评价角度、算法设计角度，算法实现角度。首先，算法能耗与其执行环境密切相关，因此，拟研究大数据处理平台的能耗模型，在此基础上提出算法能耗复杂度模型，同时探求能耗复杂度的分类、特性、适用性和优化问题。其次，前期研究已证明外存算法的局部性和磁盘访问量是影响其能耗的关键因素，基于此研究在算法设计之时采用的能耗优化方法。最后，代码是算法的实现，实现层面研究能耗优化的代码变换规则与变换工具。总之，针对大数据处理平台和外存算法的特征，通过研究有效的算法能耗复杂度模型、低能耗算法的设计和实现方法，降低算法能耗，推动绿色的大数据处理算法的研发和应用。

互联网产生的数据与日俱增，尤其是大型互联网企业建立了数据中心用于大规模数据处理，这导致企业花费的能源成本日益庞大，迫切需求更加节能的软件。算法是影响软件能耗的一个决定性因素，大数据处理算法具有外存特性及分布式特性。本课题从三个角度对外存算法能耗优化展开研究：算法评价角度、算法设计角度，算法实现角度。首先，课题提出外存算法的能耗复杂度模型，也即算法能耗随规模增长的趋势，基于该模型进一步研究分布式外存算法，也即大数据处理算法的能耗复杂度模型，并在推导了典型大数据处理算法的能耗复杂度。其次，前期研究已证明外存算法的局部性和磁盘访问量是影响其能耗的关键因素，基于此，本课题研究了面向局部性的算法能耗优化技术和面向磁盘I/O的算法能耗优化技术，提出重用距离和交叉度是度量算法局部性的关键指标，提出图算法的局部性优化方法，提出基于压缩的大数据处理算法能耗优化，以及相关一系列方法、技术和工具，优化大数据处理算法能耗。最后，本课题还实现了代码级的能耗优化工具，以指导算法设计和编程实践。总之，针对大数据处理平台和外存算法的特征，通过研究有效的算法能耗复杂度模型、低能耗算法的设计和实现方法，降低算法能耗，推动绿色的大数据处理算法的研发和应用。..本项目研究成果尝试应用至东软集团嵌入式软件开发中，为手机App开发人员提示高能耗代码，并自动变换代码。为此，东软集团研究院和辽宁省科技厅资助了《面向代码结构的能耗优化方法研究》应用项目。本项目相关研究成果在国内外重要的学术刊物上发表20篇的学术论文。高水平(SCI收录或一级学报发表)论文17篇，含项目负责人第一作者论文10篇。中文核心期刊论文3篇。项目相关研究成果在申请专利8项，出版学术专著1部。该项目培养了硕士生12名，培养了博士研究生3名，其中硕士生均已经毕业，另外还有1名博士生在读。.