多虚拟机系统HDD-SSD混合磁盘I/O调度及其性能优化研究

The Disk I/O subsystem becomes as the bottleneck of massive virtualized systems due to resource multiplexing and services consolidation. Hybrid HDD-SSD storage is a promising solution to address this challenge. In Hybrid HDD-SSD systems, SSDs serve as Caches for traditional HDDs or dedicated storage for exclusive applications, while HDDs are base storage devices tradeofffing among the I/O performance gains and total cost of ownership. However, traditional disk I/O scheduling strategies fail in such virtualized Hybrid HDD-SSD systems because of the heterogeneity and difference in performance and I/O operations in HDDs and SSDs respectively. In this project we plan to investigate the disk I/O performance model, performance,fairness, and quality of service aware disk I/O scheduling strategies, I/O performance optimization, and energy optimization in virtualized Hybrid HDD-SSD systems. Through fine-grained co-scheduling of HDDs and SSDs, the I/O performance will be improved for mass virtual machines and their energy consumptions are also optimized.

由于资源复用与服务聚合，磁盘I/O系统已成为多虚拟机系统的性能瓶颈。为提高虚拟化系统的磁盘I/O性能，同时兼顾系统成本，目前采用传统机械式硬盘(HDD)和固态硬盘(SSD)混合系统，其中SSD充当高速缓存或作为部分应用的专属存储，大容量HDD作为主要存储设备。由于HDD和SSD在性能、操作方式上的异构性，传统的面向单一的非虚拟化环境下的SSD或HDD的磁盘调度策略，无法适用于多虚拟机间磁盘I/O高度竞争的HDD-SSD混合磁盘。本课题根据虚拟化环境下HDD-SSD混合磁盘系统调度机理、负载模式及性能约束上的重大变化，研究虚拟机环境下HDD-SSD混合磁盘系统性能模型、性能、服务质量、公平性等指标联合约束的磁盘I/O调度策略、I/O性能优化与能耗优化方法。通过进行细粒度的HDD-SSD联合磁盘I/O调度和性能优化，提高多虚拟机系统的磁盘I/O性能和服务质量，同时进一步降低系统能耗。

虚拟化系统中，由于多个虚拟机共享相同的硬件资源，如CPU、磁盘与网卡等，在高并发情况下，硬件资源往往在多个客户虚拟机之间竞争，而磁盘系统往往会成为多虚拟机系统的性能瓶颈。HDD-SSD混合磁盘系统可以在一定程度上提高虚拟机系统的性能。本课题研究了虚拟机环境下HDD-SSD混合磁盘系统的性能模型及其调度策略、性能优化与能耗优化方法。通过分析大型数据中心典型负载特征，提出了响应的调度方法和原型系统。本课题完成的主要工作包括：（1）基于内存的虚拟机域间通信优化. 在虚拟机域间通信优化方面，通过内存页面共享 ，虚拟机间通信带宽比基于TCP/IP协议栈的通信速度提高2.5倍。（2）细粒度的内存页面合并与线程分组。提出的PUMA框架通过优化内存页面分配和线程组调度，减少系统内存竞争和干扰，在不同测试集上的性能提升达到了5.3%-14.1%，同时内存的缓存缺失率降低了6.8%-14.9%。（3）能效可感知的虚拟机调度。提出了能效比和能效等比性可感知的虚拟机调度框架EASE和算法，在多虚拟机系统上可以节省37.07%–49.98%的功耗，在同构虚拟化集群上计算密集型任务的执行时间仅增加0.31%–8.49%。在异构集群上计算密集型虚拟机的功耗可以降低44.22%.，同时任务完成时间节省53.80%。实验结果表明，本课题提出的虚拟机调度与性能优化方法，提高了虚拟机系统的性能和服务质量，降低了系统能耗，能够适用于大规模虚拟化数据中心。.目前，国内各个部门、各级政府以及大量的IT企业正在规划或建设大量的大规模虚拟化数据中心，然而，能效与性能问题已经成为大规模IDC系统亟待解决的首要关键问题，功耗/能耗的降低对于降低系统运行成本，提高系统可靠性具有重要意义，也是绿色计算主要要解决的问题。本课题的相关研究探索和成果，可以为相关研究和工程实现提供一定的参考。