网络环境下的分布式固态存储系统容错编码理论与关键技术

Employing Flash based Solid State Drives (SSD) to build the high-fault-tolerant and high-performance large scale distributed solid state storage systems (S4) has been one of the mainstream directions of distributed network storage systems. However, Owing to the flash geometries being scaled down to 25nm or less, from SLC to MLC and to TLC, NAND flash memories are more prone to random bit errors, while the data fault-tolerance of S4 yet relies on some storage techniques inherited from traditional disk storage systems which can hardly meet the reliability requirements of the large scale network storage environment. Based on the fault characteristics of SSD, this project is devoted to researching the fault-tolerant coding theories and key techniques for distributed S4 in large scale network environment: this project analyzes and sets up the models for the issue of data fault-tolerance in distributed S4, so as to build an optimal distribute storage model subjected to predefined availability which can obtain minimal storage/erasure cost meanwhile meet the fault-tolerance requirements. Thereafter, this project proposes heuristic erasure codes distribution algorithms with low computation complexity, which is able to allocate erasure codes to related solid state storage codes. Furthermore, this project proposes and realizes the high-performance fault-tolerant coding techniques, i.e., binary matrix based high-performance Reed-Solomon codes, uneven fault-tolerant codes without ECC parity and adaptive error correction capability adjustment technology, so as to ensure the fault-tolerance in multilevel of system. What's more, the project builds the testbed to evaluate the proposed algorithms and techniques.

采用Flash固态盘构建高容错、高效能的分布式固态存储系统，是大规模网络存储系统的主要发展趋势之一。然而，随着Flash工艺深入到25nm甚至以下，结构从SLC到MLC再到TLC，差错率越来越高，固态存储系统的数据容错却仍然依赖于传统磁存储系统的一些扩展技术，难以满足大规模网络存储系统的容错需求。 项目针对固态盘的随机差错统计特性，研究网络环境下的分布式固态存储系统的容错编码理论与关键技术:首先对分布式固态存储系统的容错问题进行建模，建立满足可用性约束的最优分布式存储模型，保证纠删码最小存储/擦写开销的同时满足系统容错需求；进而研究低时间复杂度的启发式纠删码部署算法，合理分布纠删码分块到各固态存储节点；研究并实现高效能的容错编码技术，包括基于二进制生成矩阵的高效RS编码、不依赖ECC校验码的非均衡容错编码和自适应纠错能力调节技术，实现系统多级容错；并搭建测试平台，综合评估所提算法和技术。

随着Flash工艺深入到25nm甚至以下，且结构从SLC到MLC再到TLC，差错率越来越高，固态存储系统的数据容错却仍然依赖于传统磁存储系统的一些扩展技术，难以满足大规模网络存储系统的容错需求。为此，项目针对固态盘的差错特性，研究了大规模网络环境下的分布式固态存储系统的容错编码理论与关键技术，取得的研究成果为：发表论文18篇、申请发明专利6项(授权2项)、出版专著1部、申请了1项软件著作权。..代表性的研究成果如下：..(1)针对闪存页面内随机差错的非均匀分布问题，提出了一种高效的弹性纠错编码技术EECC，能弹性地适应各个页面在生命周期内动态变化的纠错需求，在保证良好的纠错能力的同时具有较好的性能。.(2)针对固态存储系统中的列条带错误模式，提出了一种适合闪存的编码算法WPFA，能有效消除列条带错误模式，提高数据存储可靠性并降低系统功耗。.(3)针对固态闪存系统的物理特性和随机差错特点，提出了一种低功耗的迭代异或容错编码技术XOR，能有效减少列条带数据模式，降低电压衰减导致的数据错误率，提高数据可靠性。.(4)针对固态存储系统的信道差错模型，提出了一种基于闪存错误区间的LDPC纠错编码方法DERS，能解决了软译码的高延迟和传统硬译码过程中错误码字的扩散问题，提高了纠错能力和算法执行效率。.(5)针对闪存文件系统的特性，提出了一种针对移动端EXT4文件系统，调节Flex blocks group size、inode size等参数设置的优化方案，提高IO性能。.(6)针对传统权重比特翻转WBF算法仅能全局搜索翻转条件以及翻转权值固定的缺点，提出面向固态盘的权值更新的加权多比特翻转LDPC译码算法WMBF。.(7)针对NDN系统中的缓存有限问题，提出了一种基于各时间段请求频率加权的缓存机制WFRRP，能有效地提高系统的请求命中率，提高系统性能。.(8)针对分布式固态存储系统中的失效节点恢复开销高的问题，提出了一种非均匀的纠删码编码方法UFP-LRC，通过分组机制能让失效率高的节点的可靠性更高且恢复开销更低，从而降低系统的总体恢复开销。