重复数据删除存储系统的可靠性关键技术研究

Data deduplication technology has been widely deployed in backup storage systems and flash-based storage systems. However, the impact of data deduplication on the reliability of flash-based storage systems is still an open problem. To address this issue, we propose a per-file-based scheme which provides parity redundancy protection for all files and higher-level protection for data chunks with high reference counts, thus alleviating the common reliability issues introduced by data deduplication. Based on the study, the reliability of deduplication-based flash storage systems is improved, thus further promoting the applications of data deduplication in flash-based storage systems.

重复数据删除技术已被应用于备份存储系统和闪存存储系统中，但其对存储系统可靠性的影响仍是一个开放性的问题。本项目拟基于闪存存储系统，研究基于文件的内部校验冗余保护技术，既保护单个文件的所有数据块，也通过文件间迭代恢复技术进一步保护引用率高的关键数据块，解决重复数据删除技术对闪存存储系统可靠性影响，以基于重复数据删除技术的闪存存储系统的可靠性，进一步推动重复数据删除技术在闪存存储系统中的更广泛应用。

重复数据删除技术可以有效地提高存储效率和网络带宽利用率，广泛应用于备份存储和闪存存储系统中。重复数据删除对存储系统可靠性既有正面的影响也有负面的影响，因此本项目研究了重复数据删除技术对存储系统可靠性的影响问题，在此基础上提出一种提高重复数据删除存储系统可靠性的文件内冗余策略。1年项目期内取得了如下成果：.（1）通过理论分析和实验验证了重复数据删除技术对存储系统可靠性的影响；.（2）提出了一种基于文件内校验技术的冗余策略PFP，并通过原型系统实现和实验结果验证了PFP技术的有效性。可靠性分析和实验结果表明PFP技术有效地减轻了重复数据删除技术对存储系统可靠性的影响问题。..受项目支持，在IEEE/ACM Transactions等国际期刊和本领域重要的国际会议（SRDS、IPDPS、DATE等）上发表（录用）论文9篇，培养研究生7名。项目组通过积极参与相关领域主流国际会议、邀请国外专家访问等方式，与国外同行进行了深入的学术交流与合作。