云存储系统中重复数据删除技术研究

Data are exploding with the rapid development of the information technology, such as the mobile Internet. The rise of "big data" further promotes the wide development and application of cloud storage systems. The performance and availability of cloud storage systems are important factors that affect the applications and the popularizations of the cloud storage services. The data deduplication technology can effectively improve the storage efficiency and reduce the amount of the data transmission. Recently, it has been gradually applied to cloud storage systems. This project intends to research on the data deduplication technology in cloud storage systems to improve the performance and availability. The main research contents include: (1) Experimental evaluation and analysis of the effect of the cache space allocation on the read and write performance of deduplication storage systems. (2) Research on the dynamic cache management strategy based on the application patterns inside cloud storage systems to improve the cache efficiency and the system performance. (3) Research on the data layout strategy among multiple cloud storage systems based on the data reference characteristics to improve the system availability. The goal of the project is to effectively improve the performance and availability of cloud storage systems, and further promote the applications of the data deduplication in cloud storage systems.

随着移动互联网等信息技术的快速发展，数据呈爆炸式增长。“大数据”的兴起对云存储系统的发展和应用起着积极的推动作用，而云存储系统的性能和可用性是影响云存储服务应用和推广的重要因素。重复数据删除技术可以有效地提高存储效率和网络带宽利用率，并已逐渐被应用于云存储系统中。本项目拟通过研究云存储系统中的重复数据删除技术来提高云存储系统的性能和可用性，主要研究内容包括：（1）测试和分析缓存空间分配对重复数据删除存储系统读写性能的影响；（2）在基于重复数据删除技术的云存储系统节点内部研究基于应用负载变化的动态缓存管理策略，提高缓存利用率和存储系统性能；（3）研究在多个云存储系统之间根据重复数据删除技术中的数据引用特征进行数据的布局，提高云存储系统的可用性。通过本申请项目的研究，可以有效地提高云存储系统的性能和可用性，并推动重复数据删除技术在云存储系统中的更广泛应用。

云存储系统的性能和可用性是影响云存储服务应用和推广的重要因素，而重复数据删除技术可以有效地提高存储效率和网络带宽利用率，已逐渐应用于云存储系统中。本项目研究了云存储系统中的重复数据删除技术和闪存存储介质的应用，取得如下成果：.（1）研究了多云存储系统中基于用户访问和重复数据删除技术特征的数据布局策略HyRD和DAC，HyRD减少了33.4%的成本和58.7%的访问延迟，显著提高了云存储系统的性价比和可用性；.（2）研究了云存储系统中重复数据删除技术的应用，提出了性能导向的重复数据删除存储系统POD，对性能最高可到87.9%的提升；.（3）研究了云存储系统中的虚拟机存储在线迁移技术，提出了一种基于备份快照虚拟机的重定向迁移技术SnapMig，可以有效减少虚拟机在线迁移时间达到2.92倍；.（4）研究了云存储系统中闪存存储介质的应用，提出了一系列的性能和可靠性优化技术；.（5）研究了云存储系统中前摄性的数据恢复技术，提出了前摄性数据恢复技术IDO算法，有效地减少了数据恢复时间和提高系统性能。.受项目支持，在IEEE/ACM Transactions等国际期刊和本领域重要的国际会议（IPDPS、ICS、MSST、ICCD等）上发表（含已录用）论文23篇，其中在国际期刊（如TPDS 、TCAD、TC）等发表论文7篇，计算机研究与发展等2篇。培养研究生13名（已毕业6名），申请中国发明专利7项（已授权3项）。项目组通过积极参与相关领域主流国际会议、邀请国外专家访问等方式，与国外同行进行了深入的学术交流与合作。