拓扑感知局部修复码在异构分布式存储系统中的研究与应用

In the era of big data, facing the huge volume of data storage, large-scale distributed storage systems such as cloud storage provide an elegant solution. They efficiently group and utilize the storage nodes that are distributed across a wide geographical area and connected by a network, such that enable users seamlessly access and share their data. How to efficiently guarantee the system reliability is urgently to be solved. Locally repairable codes, which have an efficient repair mechanism, received more and more attention. However, in most existing works of locally repairable codes, the system heterogeneity and network topology are not taken into account when constructing LRC codes. According to the network topology, how to design locally repairable codes for heterogeneous distributed storage systems, is deserved to be researched in depth. In this project, we try to answer the following four questions: 1. How to construct topology-aware locally repairable codes; 2. How to optimize the local repair cost for multiple failures; 3. How to optimize the code rate of topology-aware locally repairable codes; 4. How to improve the ability of fault-tolerance. The success of this project will provide both theoretical and technical supports for cloud storage systems. It has important scientific significance and application value.

大数据时代，面对海量数据的存储需求，云存储等大规模分布式存储系统应运而生，有效地整合和利用分散在网络上的各个节点资源，从而使用户能够无缝地访问和分享数据。如何有效地保障数据存储的可靠性是当前分布式存储系统面临的主要问题。局部修复码作为一种具有高效修复机制的容错编码方案而受到广泛关注。然而，目前关于局部修复码的研究工作大都忽略了系统的异构性和网络的拓扑结构。根据网络的拓扑信息，如何设计适用于异构分布式存储系统的局部修复码存储方案是值得深入研究的问题。本项目在研究中试图回答以下四个关键性科学问题: 1.如何构造拓扑感知局部修复码；2.如何优化多失效节点的局部修复开销； 3.如何优化拓扑感知局部修复码的编码速率；4.如何最大程度地提高系统的容错能力；本项目的成功实施将对云存储系统的发展提供关键理论和技术支持，具有重要的科学意义与应用。

大数据时代，如何有效地保障海量数据存储的可靠性，是目前云存储等大规模分布式存储系统亟待解决的问题之一。在为分布式存储系统设计容错编码时，具有高效修复机制的局部修复码，受到了广泛的关注。然而，目前关于局部修复码的研究工作大都忽略了存储网络的拓扑结构以及分布式存储系统在存储节点、数据链路等方面的异构性。本项目专注于研究如何根据网络的拓扑结构设计适用于异构分布式存储系统的拓扑感知局部修复码，通过理论建模、性能优化、编码构造和仿真实验,取得了以下结果：1）建立了异构分布式存储系统模型和基于网络编码的多节点局部修复通信模型，并提出了节点修复开销优化策略；2）设计了适用于异构分布式存储系统的拓扑感知局部修复码；3）针对一个具有任意拓扑结构的异构分布式存储系统，在给定的有限域内，证明了最大化拓扑感知局部修复码的编码速率问题是NP-hard问题；4）以最大化编码速率为目标，建立了包含节点局部性、符号局部性、修复通信开销限制等多个约束条件的优化框架，给出了编码速率上界和下界的显式表达式；5）构造了一系列具有最优或近似最优编码速率的拓扑感知局部修复码；6）将拓扑感知编码框架应用于数据中心和无线边缘缓存网络等典型的异构分布式存储系统，并基于编码存储优化系统性能。本项目的研究工作有望扩展容错编码理论在实际的分布式存储系统中的应用，解决大规模分布式系统中故障节点的高效修复问题，为多种新型网络应用提供理论指导和技术支撑。