混合式瓦记录磁盘阵列系统理论、结构和实现技术研究

In order to solve the problem existing in the Shingled Magnetic Recording(SMR) technique, this project proposes a new hybrid RAID system which is composed of Solid State Disks (SSD) and SMR disks, called SS-RAID. Our research mainly focuses on four different aspects. Firstly, we proposes a cost-effective hybrid system which uses SSDs as a write-back cache for RAID for SMR disks. To improve the reliability of SSD cache, our system provides inexpensive redundancy to the SSD cache by having one physical SSD and one virtual SSD as a mirror cache. The virtual SSD is implemented on HDD but using tape data layout, i.e. write data are quickly taped to HDD using sequential write. The dual and redundant caches provide a cost-effective and highly reliable write-back SSD cache. Secondly, we devises a novel algorithm to optimize the small write problem in RAID5/6. The algorithm exploits the inherent physical properties of flash memory SSD by making use of old data that have been overwritten but still in existence in SSD to optimize write performance of SS-RAID. Thirdly, we will study new shingle writing algorithms that have new addressing schemes to optimize track layout and data organization of disk. We propose a "Partition-Segment-Block-Sector" four-level layout that can effectively alleviate the performance issue of random writes, and a symmetrical stack distribution scheme that overlaps magnetic tracks to reduce the space overhead and thus improves space utilization of SMR disks. Meanwhile, based on the characteristic of shingled writing, we present a radial segmentation to minimize the influence of the data covered. Finally, we devise a SSD cache management algorithm that considers overlap patterns and data overwriting overhead of SMR disks to improve the system performance of SS-RAID further. We have already made a great effort to this project in advance. And we strongly believe that the achievements of this project will provide theory basis and technology support for wide application of SMR disks in the future and possesses important theoretical and economic values.

针对瓦记录磁盘技术存在的问题，提出了一种融合固态盘和瓦记录磁盘的新型混合式磁盘阵列系统（简称SS-RAID），其研究内容包括四个方面：1).设计一种高性价比混合式瓦记录磁盘阵列系统方案。采用固态盘充当瓦记录磁盘阵列缓存，利用瓦记录磁盘上的空闲空间组成逻辑磁盘阵列，采用日志写方式镜像固态盘缓存中的脏数据，兼顾了固态盘的高性能和瓦记录磁盘的低成本；2).提出新颖的RAID写优化方法，利用固态盘中的无效旧数据，以减少RAID5/6更新校验时对磁盘的读访问，加速SS-RAID数据写过程；3).设计新的"区-段-块-扇区"瓦记录磁盘四级编址方式。一方面，采用对称堆叠式分区以提高空间利用率；另一方面，采用径向分段方法以降低写覆盖；4).设计高效的"段-块"结构缓存管理算法，以进一步优化SS-RAID性能。本项目的研究成果为瓦记录磁盘的广泛应用提供理论基础和技术支撑，具有重要的理论和经济价值。

爆炸式的信息增长对存储系统的容量和性能提出了更高的需求。本项目围绕着混合式磁盘阵列的结构、性能、容量、能耗等核心关键问题，从瓦记录磁盘、磁盘阵列和混合式磁盘阵列三个不同层次的关键技术展开研究。. 在瓦记录磁盘研究方面，针对瓦记录磁盘特点，提出了新的“ 区-段-块-扇区”瓦记录磁盘四级编址方式，并设计实现了一种新的瓦记录转换层SSTL，比基本方案性能提高了2.1-8.4倍；提出了一种条带长度动态可变的磁盘阵列技术DVS-RAID，大大减少了瓦记录磁盘对磁盘阵列性能的影响；综合瓦记录磁盘和键值存储系统的特点，提出了减少写放大的轻量级日志合并树算法、减少空间管理开销的动态磁盘分区技术、减少垃圾回收开销的齿轮式数据合并算法等技术，能够将键值存储系统的随机写性能提高4-9倍。. 在磁盘阵列关键技术研究方面，提出了精简模式的磁盘阵列技术ThinRAID，在保证性能的前提下，平均节省15%-27％的能量；提出了一种采用混合式条带分布的快速阵列扩容技术H-Scale，可明显地减少扩容带来的数据迁移，比传统扩容方法缩短了50%的扩容时间，同时前端性能平均提高了20%以上；提出了基于RAID条带分配的文件系统数据组织方法RAFS，对比EXT4和F2FS文件系统，RAFS能够提高10%-76%读写带宽。. 在混合式磁盘阵列关键技术研究方面，提出了一种利用SSD缓存保留区中无效数据来优化RAID写性能的延迟擦除技术以及利用RAID空闲空间构建异构副本方式的虚拟SSD技术，然后基于延迟擦除和虚拟SSD两种技术，设计了一个RAID缓存系统DEFT-Cache，DEFT-Cache可以提升26.81%到56.26%的系统性能，而且具有非常高的可靠性和性价比。针对新能源供应与负载的不匹配问题，提出了适应新能源波动的SSD缓存技术，采用SSD缓存技术可以保证存储系统的在线服务质量，后台可以动态调度高能耗的离线存储任务以匹配新能源的供应，采用该技术能够提高56%的能效比。. 上述研究的技术，为混合式瓦记录磁盘阵列系统的结构、理论和实现技术奠定了坚实的基础。. 在本项目资助下，发表和录用了28篇论文，其中CCF推荐的AB类论文21篇；申请13项专利，软著4项。