资源全局共享的存储阵列关键技术研究

RAID technology enables the capability of a logical volume to go beyond the limit of a single hard drive, has been the de facto storage architecture that has been widely used to store large-scale data. However, disk drive technology trends push traditional RAID protection to its limit. The increasing capacity-bandwidth ratio of hard drives significantly increases the rebuild time, typically degrading storage service quality and increasing risks of data loss to dangerous levels..The reason behind the incapability of traditional RAID protection is resource isolation from volume-level management. In case of a disk failure, all data for reproducing the lost data are read from disk drives within the corresponding RAID group, leading to a significant impact onto all volumes in that group. All recovered data are written onto a spare drive, which tends to become the performance bottleneck of data recovery..In this proposal, we propose to study key technologies in globally resource-shared disk arrays. Aiming at missions of building disk arrays and mining characteristics of recent hard drives, we will focus on the following key technologies: theory on globally uniform data distribution over disk arrays, approaches to fast reconstruction by global parallelism across disk arrays, and technologies of scaling innovative disk arrays quickly. The ultimate goal is to implement high-performance, reliable and scalable disk arrays that meet storage requirements in the new era perfectly.

RAID技术使得逻辑卷的能力不再受单个物理设备的限制，自从提出以来一直作为标准存储架构而被广泛采用。然而，磁盘工艺技术的发展将传统RAID 保护推到了能力极限。磁盘容量带宽比的提高导致传统RAID的重构时间明显加长，降低了存储服务质量并增加了数据丢失的风险。传统RAID数据保护能力不足背后的原因是卷组之间的IO资源隔离。RAID 重构所需的读操作局限于单个卷组内部，导致该卷组内的所有逻辑卷性能都受到很大影响；恢复数据的写操作局限于单个热备盘，使得该热备盘容易成为RAID 重构的性能瓶颈。因此，申请者提出资源全局共享的存储阵列关键技术研究，将紧密结合构建存储阵列的目标本质，深度挖掘新时期磁盘的介质特征，主要研究：全局均衡的存储阵列数据布局理论；全局并行的存储阵列快速重构方法；资源全局共享的存储阵列快速扩展技术。最终目标是实现高性能、高可靠、易扩展的新型存储阵列，全面满足新时期的存储需求。

磁盘容量带宽比的提高导致传统阵列系统的重构时间明显加长，从而造成较高的数据丢失风险和长时间的应用I/O性能下降。传统阵列数据保护能力不足背后的原因是卷组之间的I/O资源隔离。本项目探索了资源全局共享的存储阵列关键技术，在存储阵列的I/O性能、数据恢复、在线扩展等方面取得一系列研究成果。本项目的主要学术贡献包括:.1. 提出了一种资源全局共享的存储阵列数据布局RAID+，它将负载均匀地散布到较大的磁盘池内。在60块盘机器上的实验结果表明，与分组隔离的传统RAID相比，RAID+的多负载延迟平均降低2倍多。.2. 提出了一种全局所有磁盘参与的快速重建方法，使得数据恢复的读写负载均匀分布在所有存活磁盘上，从而显著降低了数据重构的时间。在60块盘机器上的实验结果表明，与分组隔离的传统RAID相比，典型配置下加快后台恢复速度约7.5倍。.3. 提出了一种稳定低延迟的固态盘阵列构建方法FusionRAID，将全局阵列布局和实时的SSD尾延迟检测技术有机地结合起来。实验测试结果表明，FusionRAID降低固态盘阵列平均延迟达50多倍，降低p99尾部延迟达60多倍。.4. 提出了资源全局共享的存储阵列快速扩展方法。它减少了扩展操作过程中的数据迁移量并同时保持了全局数据的均衡布局。实验表明，与现有方法相比，该方法能够降低扩展执行时间78.73%。.5. 提出了一种大规模分布式存储系统中数据恢复方法Dayu，运用基于时间片的恢复协议、基于桶优化的动态凸包节点选择算法和基于迭代式WSS算法的带宽分配策略，实现了高速的数据恢复和对前台应用的低干扰。在1000节点真实系统上的测试表明，Dayu提高数据恢复速度近3倍。.本项目取得的主要学术成绩包括：发表学术论文11篇，其中CCF-A类会议和期刊论文8篇，CCF-B类期刊论文2篇，中文核心期刊1篇。申请国家发明专利3项、美国发明专利1项，其中1项获得国家发明专利授权。成果“大规模存储系统构建及访问的理论与方法”获得2019年中国计算机学会科学技术奖自然科学二等奖。