面向纠删码云存储系统的数据快速重构技术研究

In big data era, lots of storage systems adopt erasure codes, in order to guarantee the data reliability. With the rapid growth of the storage scale, the amount of storage device failures per year becomes very large, and thus, how to fast reconstruct the lost data from the failed devices, has received more and more attentions. In this project, we prepare to research the data fast reconstruction technology for erasure coded cloud storage systems. Combining with current research status of this area, we focus on the data reconstruction process and the degraded read process, and intent to optimize the total data amount that needs to be accessed, the parallelism for heterogeneous devices, and the relative load balance for different devices. Our research mainly includes the follow aspects: (1) design new data reconstruction optimizing algorithms for heterogeneous devices based on existing erasure codes; (2) design new erasure codes for improving the data reconstruction efficiency for cloud storage systems; (3) design new erasure codes for improving the degraded read performance for cloud storage systems. We plan to verify our research outputs through real cloud storage systems, and wish that our research findings will provide a few theoretical and experiment foundations on this area.

大数据时代下，很多云存储系统都采用纠删码技术，以保障数据的可靠性。随着存储规模的增长，每年发生故障的存储设备变得越来越多，如何快速重构故障设备中的失效数据，已逐渐成为了学术界的研究热点。本项目拟研究面向纠删码云存储系统的数据快速重构技术，结合国内外的研究现状，分别在数据快速重构与“降级”访问失效数据的过程中，对所需访问的数据总量、异构存储介质间的访问并行度与相对负载均衡等方面进行优化。具体的研究内容包含以下几方面：（1）针对现有纠删码技术，研究用于优化数据快速重构效率的算法，以适应异构存储环境的需求；（2）针对云存储系统的特点，设计新的纠删码技术，进一步提升数据快速重构的效率；（3）针对“降级读”操作的特点，设计能够提升“降级读”性能的纠删码技术。本项目将搭建真实的云存储平台验证所研究的内容，为面向纠删码云存储系统的数据快速重构技术研究提供一定的理论依据和实验基础。

大数据时代下，很多云存储系统都采用纠删码技术，以保障数据的可靠性。随着存储规模的增长，每年发生故障的存储设备变得越来越多，如何快速重构故障设备中的失效数据，是学术界的研究热点。本项目从纠删码云存储系统的数据快速重构技术出发，主要研究目标包括：1)提出一种新的数据快速重构优化技术，使其能够在包含异构环境的纠删码云存储系统中，对数据的重构效率进行优化；2提出一种用于优化数据重构效率的纠删码技术，用于提升数据快速重构的效率；3提出一种用于优化“降级读”性能的纠删码技术，以优化纠删码云存储系统的“降级读”性能。到项目结题为止，相应的研究目标已全部完成，实际研究内容包括：1)云纠删码存储系统单磁盘错误重构优化技术综述；2)面向异构存储介质的单磁盘快速重构优化技术；3)用于优化纠删码快速重构与降级读性能的编码框架；4)面向跨集群存储的数据快速修复技术；5)带纠错码的量子计算机并行性开发与指令集融合技术；6)面向内存计算的神经网络加速器技术。相关成果共发表学术论文8篇，其中CCF推荐的A类期刊论文1篇，CCF推荐的B类会议论文4篇，SCI检索期刊论文2篇，以及计算机类中文EI检索论文1篇，申请发明专利4项。