面向I/O密集型云虚拟机的多级协同虚拟磁盘服务关键技术研究

Virtual disk service is the key to realize efficient I/O-intensive virtual machines (VMs) in cloud environments. Besides the requirements on reliability, availability, consistency and scalability of traditional cloud storage, virtual disk service must satisfy VM applications' requirements on various I/O performance metrics such as IOPS, latency and throughput. Virtual disk service is usually realized by leveraging distributed block storage which is based on (high-performance) replication or (low-cost) erasure coding. Based on the characteristics of the I/O pattern of cloud VMs, in this project we will study the multi-level collaboration technology of RAM-SSD-(solid state drive)-HDD-(hard disk drive)-hybrid virtual disk service. 1. Focusing on the huge gap of performance/cost between SSDs and HDDs, we will study the journal-based collaborative block storage using heterogeneous replication, so as to provide close-to-SSD I/O performance with close-to-HDD cost. 2. Focusing on the poor random write performance of erasure coding, we will study the speculative-write-based high-performance block storage using EC, so as to provide close-to-replication write performance while keeping the high storage efficiency of erasure coding. 3. Focusing on the poor performance of traditional VMs' swap disks, we will study the peer-to-peer-based shared network-RAM swapping mechanism, so as to provide RAM-based large-scale high-speed swapping service transparent to the cloud VMs.

虚拟磁盘服务是在云计算环境下实现高效I/O密集型虚拟机的关键。除了传统云储存面临的可靠性、可用性、一致性和可扩展性等需求外，虚拟磁盘服务还必须满足虚拟机应用对IOPS、延迟和吞吐率等I/O性能的需求。虚拟磁盘服务通常采用基于多副本（较高I/O性能）或纠删码（较高存储效率）的分布式块存储实现。针对云虚拟机I/O模式的特点，本项目将对“内存-固态硬盘-机械硬盘”多级协同虚拟磁盘服务开展研究。1．针对固态硬盘和机械硬盘的巨大性能/成本差异，研究基于日志缓冲的异构协同多副本块存储技术，以接近机械硬盘的成本实现接近固态硬盘的I/O性能。2．针对纠删码随机写性能较差的问题，研究高效低成本的纠删码块存储技术，在保持纠删码存储效率的同时实现高性能I/O。3．针对传统虚拟机换页磁盘性能较差的问题，研究基于P2P（对等模式）共享网络内存的换页磁盘机制，以对云虚拟机透明的方式实现基于内存的大规模高速换页服务。

随着数据规模、存储资源规模以及用户规模的急剧增加，传统的大规模存储技术面临弹性伸缩困难、存储硬件异构、安全可靠性低等问题和挑战。基于云计算的虚拟化存储能够实现存储容量的按需扩展，屏蔽底层存储硬件的性能差异，隔离不同应用的数据I/O和各种软硬件失效，近年来已成为大数据应用的关键支撑技术。项目组从2018年开始开展了虚拟存储环境关键技术的研发，取得如下成果。.（1）实现了弹性可伸缩存储架构。设计了模块化存储系统拓扑维护方法，实现了分布式存储架构的弹性扩展/收缩；设计了数据和存储资源的多维动态映射机制，解决了传统CRUSH映射算法导致的大规模数据迁移问题；设计了面向镜像存储的多层多根树结构，实现了存储敏感的大规模服务快速启动和迁移系统。.（2）实现了高效能聚合存储系统。针对多级异构存储场景，设计了基于日志结构的实时索引，实现了内存、SSD、HDD协同的高效能多副本存储；提出了基于投机执行的EC随机I/O加速模型，实现了EC副本结合的纠删码存储，突破了传统EC不能支持高性能随机I/O的限制；设计了利用I/O局部性的自适应元数据维护方法，实现了基于Linux内核DM-Cache的高可用混合存储；面向超级计算机的高性能图计算需求，实现了拓扑感知的超大规模图数据分区存储。.（3）实现了安全可靠的虚拟化存储服务。针对存储服务的I/O隔离需求，设计了进程与虚拟机融合的超轻量级“进程虚拟器件”，以进程级的运行效率达到了虚拟机级的本地I/O隔离效果，进而设计了虚拟化存储的网络I/O路径隔离机制，实现了数据I/O在网络传输过程中的安全隔离；针对虚拟化存储的高可靠要求，提出并实现了数据备份和恢复的一跳步机制，实现了失效存储节点的秒级恢复；针对软件设计缺陷导致的大规模存储系统中多个服务实例相互影响的问题，设计实现了离线-在线分析结合的分布式存储软件设计缺陷检测工具。.项目在FAST、EuroSys、ATC、VLDB、TOCS、TOS、TON、TPDS等著名会议和期刊上发表CCF-A类期刊和会议论文11篇、B类期刊和会议论文4篇。创新成果整合于国家超级计算天津中心的新一代云存储平台，保障关键业务和核心系统的稳定运行。项目关键技术已经推广到多个国家和军队的重要业务系统，并且在阿里云、平行云等商用云计算生产系统中得到实际应用。