重复数据删除存储系统的数据重构性能和能效研究

重复数据删除技术虽然能够有效地减少存储容量和提高网络带宽利用率，但是降低了数据重构的性能和能效。这是因为一个文件或数据块经过重复数据删除后，可能分散存放在不同的磁盘上，导致数据读取操作需要多个磁盘进行寻道操作。当重复数据删除技术逐渐应用于虚拟机和邮件服务器以及云存储等一级存储系统时，数据重构的性能和能效问题变得更为重要。本项目从存储系统全局出发，在基于磁盘的重复数据删除存储系统中引入固态盘，并根据存储设备的性能和能效特征以及数据块的属性布局数据，以提高数据重构性能和能效。本项目拟：（1）研究采用重复数据删除技术后数据块在存储设备上的布局特点；（2）研究重复数据删除技术对数据重构性能和能效的影响情况；（3）研究提高数据重构性能和能效的数据布局策略。本项目的研究可以解决重复数据删除技术对现有存储系统中数据重构性能和能效的影响问题，进一步推动重复数据删除技术的更广泛应用。

重复数据删除技术可以有效地消除冗余数据，提高存储效率和减少备份时间，但同时也降低了数据重构的性能和能效。为了解决这个问题，本项目主要研究了如下内容：（1）提出了基于固态盘的SAR技术。根据重复数据删除后数据块的属性和不同存储设备的性能和能耗特征，动态地、有选择地将重复数据删除后的部分数据块保存在高速、低能耗的固态盘上，以加快数据的读取操作并降低系统能耗。通过负载回放实验测试，结果表明SAR技术可以减少用户平均响应时间5.8倍，降低系统能耗83.4%；（2）提出了以性能为导向的重复数据删除POD算法。POD系统主要包括两项技术：选择性重复数据删除技术（Select-Dedupe）和智能缓存管理策略iCache。Select-Dedupe技术不仅关注大请求的写数据，也对小请求的写数据进行重复数据删除处理。智能缓存管理策略iCache根据用户读写请求的爆发特性，动态地调节读缓存和Index缓存的大小，以最大化缓存的利用效率。性能评估结果表明POD可以有效地提高一级存储系统的性能并保证容量节省效率，性能平均提升达到58.8%；（3）研究了混合磁盘阵列HPDA技术和大规模存储系统中的前摄性数据恢复技术IDO算法等，进一步提高重复数据删除存储系统的性能和可用性。.通过以上关键技术的研究，本项目的研究有效地提高了重复数据删除存储系统的数据重构性能和能效，相关研究成果发表在CCF推荐的B类及以上学术会议和期刊中，其中包括《IEEE Transactions on Computers》、《ACM Transactions on Storage》、IPDPS、LISA等，也被国内外学者引用，其中包括EMC等存储公司，进一步推动了重复数据删除技术在存储系统中的更广泛应用。