基于纠删码的异构分布式内存键值存储系统构建及性能优化

For cloud storage business, real-time massive data access requests presents a surge trend, the peak number of requests can be as high as billions per minute, making hard disk based cloud storage systems face great challenges with regard to response efficiency and reliability. Building key-value store in memory can effectively improve the performance, however, while the traditional key-value stores still inherit the master-slave technology for data failure tolerance, with low storage efficiency and long delay in recovering data from hard disk to memory..Aiming at the data get/set and failure characteristics of key-value stores, this project is devoted to researching the construction and optimization for efficient distributed key-value stores in memory based on erasure coding technology: this project proposes the architecture of distributed memory key-value stores based on erasure code as well as the full coding method for key-value pairs; Furthermore, this project proposes optimization algorithms for erasure codes updating under multi-objective constraints, which can choose the a optimal network path to update erasure coding under multi-objective parameter constraints; Afterwards, this projects proposes the efficient parallel erasure coding, decoding and updating technologies, which can parallelize the coding/decoding and updating operations across nodes, and rearrange/optimize the concurrent discrete I/O stream; Also, this project proposes the consistent data recovery technology against update failure, which can correctly respond to the degrade read requests when erasure code update exception occurs; Finally, this project builds a prototype to evaluate the proposed technologies. The research results are of great significance to improve the performance and reliability of large-scale memory key-value stores.

云存储业务中实时的海量数据存取请求呈现浪涌型趋势，峰值高达数十亿/分钟，使得基于硬盘的云存储系统在响应效率和可靠性方面面临极大的挑战。在内存中构建键值存储系统能有效提高系统性能，但其沿用的主-从机制数据容错方法存储效率低且从硬盘副本恢复数据到内存的延时长。.项目针对键值存储系统数据存取及失效特性，研究基于纠删码的高效分布式内存键值系统构建和性能优化技术：研究基于纠删码的分布式内存键值存储系统总体架构及针对键值对的全编码方法；研究多目标约束纠删码更新优化算法，在多目标参数约束条件下选择最优网络路径进行更新；研究高效并行纠删码编解码及更新技术，将节点间的编解码及更新操作并行化，并将各个节点内的并发非连续I/O流优化重组；研究抵抗更新失效的数据一致性恢复技术，能在纠删码更新异常时，仍能正确响应降级读请求；构建原型系统，综合评估所提技术。研究成果对于提高大规模内存键值系统性能和可靠性有重要意义。

项目从混合云存储平台体系结构以及各种存储介质性能研究入手，重点对异构分布式内存键值存储系统构建及性能优化进行研究，分别对新型存储介质的性能、分布式存储系统节点失效特性以及整个云存储系统数据安全共享与搜索进行了研究。代表性研究成果如下： ..(1)研究攻克了以STT MRAM为基础的弱PUF存储可靠性难题，提出了基于STT-MRAM的高可靠性、可重构的弱PUF系统设计方案，然后提出了相邻位线可重构算法及top-n可重构算法，让电流差异呈现最大化非均匀分布，从而能扩大位线间的读取电流差异，提高响应位的稳定性和系统的可靠性。.(2)针对持久存储系统目前利用效率低的问题，设计一种基于lsm树的持久内存KVS算法LC-DB。其主要实现了高吞吐量四种技术:在PM中LSM-Tree的级别压缩键值分离设计，DRAM中的B+树索引，以及持久内存中SSTable的合并算法，从真正的持久内存上实现LC-DB。明显提高了读写吞吐量，同时也具有较低的写入放大。.(3) 利用云存储系统中的存储节点失效率非均匀分布的特点，设计一种高效的非均匀纠删编码技术UFP-LRC，可以为实际失效率不同的存储节点上的数据块提供不同等级的纠删保护以及恢复开销，从而降低系统的总体修复开销，提升总体可靠性。并基于纠删码的更新密集型工作负载将会导致大量数据传输和 I/O 操作的情况，提出基于蚁群优化的多个数据节点更新方案(ACOUS)，能在多种QoS 条件下优化多个数据节点的更新。.(4) 提出了一种基于区块链的多云存储数据审计方案，以保证数据的完整性和准确性仲裁业务纠纷。不仅引入了区块链来记录用户、服务提供商和用户之间的交互组织者在数据审计过程中作为证据。同时在无需TPA的情况下，使用区块链网络和同态可验证标签，实现低成本的批量验证。.(5) 突破了云存储系统中面向复杂查询的多类型、多关键词、多属性加密数据难以安全共享和可搜索的难题。首先提出基于空闲节点主动的安全内存共享方法，采用轻量对称加密共享数据安全策略构建了云端加密数据共享的多层级安全共享机制FHDS，并并进一步设计了云端数据可搜索加密方法。