数据部署与任务调度融合的节能优化模型及算法研究

With the constant expansion of data centers, huge energy consumption has become one of the main factors restricting the development of cloud computing. Given that improving servers' energy efficiency is one of the effective way to reduce energy consumption of data centers, this project tries to adjust data deployment and task allocation among servers by effective scheduling strategies, so as to maximize the energy efficiency of servers and the data locality ratio of tasks. Thereby, the total energy consumption and bandwidth usage could be reduced. As tasks involved in cloud computing are usually tens of thousands, proposed models may all be large-scale optimization ones. This project conducts research into the theory and application of distributed computational intelligence. The primary goal is to utilize the powerful computation capabilty of distributdcomputing devices so as to overcome the performance bottleneck of traditional computational intelligene. The corresponding achievements will be promoted and applied in large-scale resource allocation an scheduling,optimal deployment of the Internet of Thing and intelligent transpotation and so on.

随着数据中心数量和规模的不断扩大，高能耗问题已经成为制约其发展的主要瓶颈之一。研究表明，提高服务器的能源利用率是降低数据中心能耗的有效途径。本项目拟通过建立合理的优化调度模型，调整服务器上的数据部署和任务分配，达到最大化服务器能源利用率和任务执行效率的目的，从而降低数据中心的总能耗并减少数据中心的带宽使用量。由于海量数据和任务将在数据中心的大规模集群系统上部署和调度，因此所建立的模型均为大规模优化模型。针对传统计算智能方法在求解大规模优化模型方面计算效率的不足，本项目将开展分布式计算智能方法的理论与应用研究，旨在结合分布式计算的强大计算能力，突破计算智能方法在大规模优化中的性能瓶颈。相关成果可推广应用于其他实际大规模优化问题中，如无线传感器网络中的大规模节能任务调度、物联网中的大规模资源分配，以及智能交通中的大规模物流调度等领域。

按计划研究了数据部署与任务调度融合的节能优化模型及算法，并完成了研究计划中的所有任务和所有预期的研究成果。在国际和国内重要刊物上发表学术论文30篇，申请专利3项（其中1项已经授权）。所发表的30篇论文中包括15篇期刊论文和15篇会议论文。SCI检索期刊论文8篇（项目负责人第一作者3篇）、EI检索期刊论文7篇（SCI和EI论文不重复计算）、EI检索国际会议15篇。超出了原计划发表8篇论文的预期。所发表的30篇论文中，16篇论文第一标注是该项目资助，第二标注和第三标注的分别有10篇和4篇。主要成果包括：.首先，针对云平台下的大规模任务调度问题，建立了多个单目标全局优化模型、双层优化模型和多目标优化模型，这些模型不仅可解决用户对大规模任务执行的高安全性、高可靠性和高效率等的不同需求，而且可解决云平台对任务执行的约束与限制，更考虑到了云平台自身对系统高利用率、低网络拥塞度和低能耗的需求。同时针对云平台下大规模任务调度问题先要进行数据部署的决策、后进行任务调度的决策、且两个决策相互影响的特点，建立了能恰当反映两个决策先后关系的双层优化模型，这是已有模型不曾有的。该模型通过调整服务器的资源利用率（CPU和硬盘利用率）来提高服务器的能源利用率，同时保证所有大数据任务100%的数据本地化执行（提高任务的执行效率）.其次，针对所建立的大规模全局优化模型、双层优化模型和多目标优化模型，提出了一些新的通用优化建模方法和优化技术，并将这些理论和技术成功的应用于其他大规模应用问题。实验表明，所设计的优化算法能够适应问题的需求，更快地找到问题的最优解或解集。.最后，我们突破了传统的单趟任务调度模型，针对具有更高执行效率的多趟任务调度模型及多趟任务调度算法展开了深入研究，将当前已有模型中（N*M+2）维的超大规模优化模型重新建模为只有2维的低维优化模型，此模型是可真正用于云平台上进行大规模任务高效调度的模型。