基于网络编码的分布式存储容错机制研究

随着网络上的信息量、磁盘存储量、网络带宽和计算资源的增长，分布式存储系统及其相关应用正在快速发展。网络编码作为信息论的一个新兴领域，越来越多的研究领域因网络编码理论而迅速拓展。本项目拟开展基于网络编码的分布式存储容错机制研究，具体研究内容包括:(1)根据分布式存储系统中的性能参数和成本参数构建分析模型，设计用于数据容错的网络编、解码算法以及相应的数据存储方法，降低数据冗余度，提高数据可靠性；(2)针对基于网络编码的存储方法，研究用户数据访问机制与故障节点的数据恢复机制，降低用户访问延时、数据恢复过程中的网络负载与恢复延时；(3)设计出错编码块的检测机制，防止出错数据块在存储系统中蔓延；(4)研究动态分布式网络存储中自适应的网络编码策略与相应的数据存储策略，以提高动态分布式网络存储的系统性能；(5)实现一个基于网络编码的分布式存储的原型系统，实验验证相关网络编码策略与数据存储策略的性能。

本项目的实施过程中，共发表与录用论文22篇，其中IEEE Transactions系列杂志论文9篇，国家发明专利1项，研发了一套分布式存储研究平台，培养博士毕业生4名，硕士毕业生4名。. 具体研究内容与所取得的主要成果有：.（1）针对基于网络编码容错的存储系统，分析了达到存储开销最小的编码方式，给出了数据修复过程中两个编码步骤所需满足的条件。根据所满足的条件，设计了一种确定性的编码算法与数据恢复算法。该确定性算法仅依赖较小的有限域，就能保证百分之百的线性无关性。而原有基于网络编码的存储机制则采用基于随机线性编码的方法，需要很大的有限域，从而带来了很大的存储开销和计算开销，实际应用中难以实现。.（2）RAID-6是常用的容两节点故障的存储系统。针对三种最常用的RAID-6编码：RDP、EVENODD和X-Code，我们首次提出了综合利用两个校验节点进行单节点故障恢复，分析了它们在单节点恢复时的数据传输量的理论下界，并分别为它们设计了数据传输量最优的单节点故障恢复算法。相比于传统恢复算法，新设计的混合修复算法所需要读取的数据量减少了25%，提高恢复速度。该方法也为容错编码系统提出了新的设计理念，成果被广泛引用。.（3）与香港中文大学实验室合作开发了一个开源的基于网络编码的分布式文件系统NCFS。在NCFS中实现了RAID-5, RAID-6, Reed-Solomon, Cauchy Reed-Solomon, E-MBR等多种编码机制，并将其部署在了一个由15台机器组成的存储集群中。基于NCFS，我们独立开发了文件存储系统DSRP，该系统支持基于纠删码的编解码、故障修复、重复数据删除以及磁盘扩容等多种实验设置，开展存储系统相关的实验研究。.（4） 针对基于网络编码的文件系统的抗污染攻击问题，提出了一种密钥分发机制。该机制使中间节点和接收者可以检测接收到数据包的正确性。相对于传统基于密钥预分发的方法，该新型机制计算开销低、容错能力更强、可以抗标签污染攻击。.（5）开展了网络编码在基于无线网络的文件分发系统、基于网络编码的路由器系统、基于网络编码的VOD系统的文件存储与文件分发等多方面的研究，我们提出了一系列的基于网络编码的数据分发方法，提高了文件分发的效率。