面向分布式异构云数据中心的数据布局优化研究

Data placement is an important factor that will affect the quality of service of cloud computing platform. With the explosion of applied range of cloud computing and the development of cloud data centers, big data has exhibited a remarkably high dependence, and its access patterns are also more complicated, at the same time, more and more geo-distributed heterogeneous cloud data centers are applied in big data processing. Such situations present new challenges for the data placement strategies of cloud data centers. This project thus proposes to optimize the data placement in distributed heterogeneous cloud data centers. Firstly, a data dependence aware data placement strategy is proposed with a joint consideration of the storage and network bandwidth limits of each data center. It is able to significantly reduce the data access cost for those request patterns spanning multiple cloud data centers. Secondly, a heterogeneity aware data placement algorithm is proposed. This algorithm can largely reduce the overall completion time for computing tasks by considering the heterogeneity of storage drivers and values of data items that will dynamic change with time in each cloud data center. Thirdly, based on the data distribution of each cloud data center, a new pervasive energy consumption optimization strategy is proposed to improve energy efficiency in cloud data centers. In summary, this project enacts a practical solution for the efficient execution of cloud applications for cloud service providers by the optimization of data placement in distributed heterogeneous cloud data centers.

数据布局是影响云平台服务质量的重要因素。随着云计算应用范围的不断拓展和云数据中心模式的不断演化，上层大数据应用呈现出数据间关联度高以及访问模式愈加复杂等特征，尤其是地理分布的异构云数据中心的出现，给数据布局管理带来了新的挑战。本项目围绕分布式异构云数据中心环境下的数据布局优化展开研究。首先，研究云间数据布局优化策略，充分考虑数据关联性和数据中心的存储容量、带宽等约束条件，解决多个云数据中心协同工作模式下网络传输开销大的问题；其次，研究云内数据布局优化算法，充分考虑大规模存储介质异构性及动态变化的数据价值等约束条件，解决任务执行性能低下的问题；最后，研究云数据中心内普适的能耗优化机制，充分结合当前系统的数据布局，解决云平台高能耗、低功效的问题。本项目将为云服务提供商部署和优化大规模地理分布的异构云数据中心的数据布局管理提供切实有效的解决方案，具有重要的理论意义和应用价值。

本项目针对多个云数据中心数据布局优化问题展开研究。首先，研究分析了单云数据中心内Hadoop集群的数据布局优化策略，对数据访问带有倾斜性的数据集，任务执行性能平均提升了近45%；其次，针对现有数据布局策略不合理给云数据中心带来的高耗低效性，从数据布局优化的角度，研究分析了云数据中心能耗优化机制，与默认布局策略下的集群能耗开销相比，降幅近达30%；最后，研究分析了多云数据中心间数据布局优化算法，综合考虑延时、带宽利用率、供应商锁定级别、可用性、成本等因素，对多云数据中心存储系统的数据存储流程进行优化，设计了异构I/O感知的数据布局优化策略，实现数据的合理布局节省了整体网络带宽约25%。基于上述理论研究成果，项目组开发实现了面向大规模云数据中心数据布局优化系统以及单云数据中心的能耗优化系统。本项目研究成果能为云服务提供商部署和优化大规模地理分布的云数据中心的数据存储管理提供一定的理论支持和技术借鉴，同时对于降低云数据中心运维成本和节能减排具有积极的参考意义。