基于冗余编码的云存储技术研究

Replication-based and erasure-coding-based storage are two basic techniques to ensure data reliability in cloud storage systems. As the burst increasing on the data volume, replication-based cloud storage techniques cannot meet the demand on cloud computing service; while the erasure-coding-based cloud storage technique has the advantages not only on reliable storage, but also small storage overhead, which is regarded as the key technique of next-generation cloud storage systems. However, applying previous erasure-coding-based storage techniques to cloud systems will be confronted with the hard issues on slow data insertion, complexity of data allocation, slow data maintenance, expensive computational of decoding. In doing so, to overcome the challenge of these issues, we will carry out researches on the erasure-coding-based cloud storage techniques , which are consist of data insertion, allocation, maintenance and read. And we will propose new theoretical models and technical methods to efficiently insert redundant data, minimize redundancy in data allocation, quickly repair lost data, quickly decode to reconstruct original data, which aims to break through a series of key techniques. To evaluate and validate the efficiency of these research results, this project will carry out the experimental validations in the real tested cloud computing systems, which will provide newly technical ways for the implementation of cloud storage systems, which is low overhead, high availability and high efficiency.

基于副本和基于冗余编码的存储是保证云存储系统中数据可靠性的两项基本技术。随着数据存储量的爆炸式增长，基于副本的云存储技术已经难以满足云计算服务的需求；而基于冗余编码的存储技术不仅具有数据可靠，而且具有存储量相对较小的优势，被认为是下一代云存储系统的关键技术。然而，将现有的基于冗余编码的存储技术应用于云计算系统中，存在数据写入慢、数据分配难、数据维护慢和解码计算复杂度高等诸多难题。为此，面向上述挑战性问题，我们将基于编码的云存储技术研究,包括云系统中数据的写入、分配、维护、读取等开展研究，旨在突破其中的一系列关键性技术，提出新的理论模型和技术方法，达到冗余数据的高效写入、数据分配的最小化冗余、失效数据的快速修复、原始数据的快速解码重构的目的。为测试和验证上述研究成果的有效性，本项目将在实际的云计算实验系统中进行实验验证，为实现低成本、高可用、高效能的云存储系统提供新的技术途径。

本项目主要面向基于冗余编码的存储关键技术开展研究。研究内容围绕云系统中数据的分配、维护、读取、写入等问题开展，旨在突破其中的一系列关键性技术，提出新的理论模型和技术方法，达到数据分配的最小化冗余、失效数据的快速修复、原始数据的快速解码重构以及编码数据的高效写入等目的。.当前，项目已取得了一系列关键技术突破，例如，在数据写入方面，写入延迟相比星型写入，写入延迟可下降约为59.05%，写入吞吐量可增加30%；在数据分配方面，系统可在保证可靠性的同时，达到最小化的数据冗余度；在数据修复方面，多树模式的修复可下降约80%；在数据读取方面，数据读取带宽开销可下降约86%。.上述结果表明，本项目已在数据写入、数据分配、数据修复、数据读取等方面，取得了一系列突破，可为实现低成本、高可用、高效能的云存储系统提供新的技术途径。.而当前伴随大数据时代的到来，数据存储成为越来越热的话题，数据冗余的开销也越来越大，因此，上述具有实际的应用前景和推广价值。