面向闪存固态盘冗余阵列存储系统的关键技术研究

Flash-based SSD RAID Array are increasing being deployed in data centers to provide higher reliability and high efficiency storage system for big data applications. However, the life issues of SSA and data reconstruction problems have limited its further development. This project will systematically investigates the data and load characteristics of big data applications and the characteristics of flash memory life in SSA storage systems from the perspective of system structure. We will for the first time apply approximate storage via the interplay of RAID and SSD controllers. Through optimizing flash lifecycle and designing new RAID controller and SSD controller management mechanisms to fully exploit flash lifespan. Meanwhile, we propose to utilize the computing power of SSDs, so reconstruction tasks can be processed in a distributed manner. This project aims to extend the lifetime of SSA and reduce the data reconstruction overhead, so as to guarantee the reliability and efficiency of SSA. The results of this project will provide new ideas for solving life and data reconstruction problems in SSA, and provide important technical support for the further development of SSA.

闪存固态盘冗余阵列（Flash-based SSD RAID Array, SSA）因其体积小、低延迟、低功耗等特性被广泛的应用于存储中心为大数据应用服务。然而SSA的寿命问题及数据重建问题限制了其进一步的发展。本项目从系统结构的角度出发，系统考察大数据应用的数据、负载特性及SSA存储系统中闪存寿命的特点，提出通过SSA RAID控制器与嵌入式SSD控制器跨层交互协作的模式，利用近似存储的概念，优化闪存生命周期并设计新的RAID控制器及SSD控制器管理机制，充分挖掘闪存使用寿命。同时本项目提出利用SSD控制器的计算资源，以分布式的方式加速SSA在繁重负载下的数据重建过程。本项目旨在充分利用SSA的优势，延长SSA闪存使用寿命，并减少数据重建消耗，保障SSA的可靠性与高效性。本项目的成果将为解决SSA中闪存寿命及数据重建问题提供新思路，为推动SSA在国内的进一步发展提供重要技术支撑

本项目针对基于闪存冗余阵列的大数据存储系统设计，主要解决了以下几个问题。首先，针对闪存的使用寿命问题，利用应用数据的容错性，提出可利用块的概念，跨层次设计了RAID控制器和SSD控制器的协同工作机制，将闪存使用寿命提高三倍以上。同时，本项目综合考虑闪存器件部署在大数据存储环境中的通用性和使用性能提出一种用户层的闪存灵活编程模型，通过三层抽象接口将闪存的物理特性和功能管理模块进行封装。其次，本项目针对基于闪存的键值存储系统引擎的写放大问题，提出了精简的键值存储持久化策略，并通过冷热数据分离的方式减少写放大的连锁反应，提升系统性能接近50%。本项目还针对存储器件不支持本地更新的特性所引起的写放大和尾延迟问题，利用强化学习技术学习上层存储引擎发出的I/O请求特性，并根据I/O请求间隔对存储器的垃圾回收机制进行调度，通过优化模型反馈函数，降低系统百分之五十以上的尾延迟。再次，本项目针对大数据环境中计算任务引发大量数据搬运导致的“内存墙”问题，基于软件定义存算一体的思想，设计了基于ReRAM存算一体架构下的空间布局和任务调度策略，有效提高算法运行的并行性，减少系统运行过程中数据在计算和存储单元中的搬运代价。本项目还利用利用近存储计算的思想，利用SSD控制器的计算资源，设计了分布式数据重建加速技术。最后，该项目设计并搭建了多项存储系统开发平台对本项目中提出的优化技术进行验证，包括基于软件直管闪存的键值缓存数据库软硬件协同优化平台、虚拟合并树系统、智能缓存管理系统等。总之，此项目的开展涵盖了预计的研究范围，并在此基础之上进行了拓展，达到了预期的研究目的。