云计算环境分布式存储一致性维护的关键技术研究

Due to the new features such as normalization of nodes fault, data heterogeneous, ultra-large scale, as well as high scalability in cloud computing environments, new challenges are needed for the consistency maintaining mechanism of traditional distributed storage technology. In cloud computing environments, we conduct a comprehensive analysis and research work on the consistency maintaining mechanism of distributed storage. The main research works are as follows: (1)The maintaining mechanism of replica consistency. Based on the concept of probe, we will decrease the redundant messages during replica updates, and by digging through the intrinsic properties of write-write, write-read conflicts and so on, we establish a novel model for improving efficiency; (2) The maintaining mechanism of transaction consistency. By using the time-window concept, we propose a novel two-phase commit algorithm in order to solve the problem of updates lost brought by timeout. Towards the deadlock problem, we propose a novel distributed transaction concurrency control algorithm based on timestamp. (3) The maintaining mechanism of state consistency. Based on the premise of normalization in node falut, we build a novel model for obtaining the global states under probability theory for better efficiency. Combined the simpleness and efficiency of logical clocks with the accuracy of physical clocks, we desigh a new mechanism for maintaining the consistency of global states. Our research work is one of the hotspots in distributed storage of cloud computing, with certain research significance and practical value.

云计算由于其节点错误常态化、数据异构性、超大规模以及高可扩展性等特性，对传统分布式存储的一致性维护策略提出了新的挑战。本课题针对云计算环境下，分布式存储的一致性维护问题进行分析和研究，主要内容包括：(1)研究副本一致性的维护策略。引入探测针机制减少副本更新的冗余消息，通过挖掘写-写冲突，写-读冲突等更新冲突的内在特性，设计新的更新冲突解决模型；(2)研究事务一致性的维护策略。基于时间窗口的概念提出新的两阶段提交算法，解决交互超时带来的更新丢失问题，针对加锁机制容易导致死锁的问题，提出新的基于时间戳的分布式事务并发控制算法；(3)研究状态一致性的维护策略。基于节点错误常态化的前提，利用概率理论建立新的全局状态获取模型，提高状态获取效率，结合逻辑时钟简单高效和物理时钟精确唯一的优点，提出新的全局状态一致性维护策略。本项目是云计算环境分布式存储领域的研究热点，具有一定的研究意义和实用价值。

云计算由于其节点错误常态化、数据异构性、超大规模以及高可扩展性等特性，对传统分布式存储的一致性维护策略提出了新的挑战。本课题针对云计算环境下，分布式存储的一致性维护问题进行分析和研究。通过对云计算环境下分布式存储中副本一致性及其相关问题的深入调研，我们发现副本一致性维护策略、副本放置算法、数据可用性优化方法以及数据容错技术是其核心研究内容。其中，副本的放置、数据容错也会对副本一致性有重要影响。.我们对副本一致性维护及其相关问题进行深入的研究，并取得了相应的成果。在副本一致性维护策略方面，针对更新消息传播的问题，提出金刚石拓扑结构的一致性维护算法。针对Raft算法中存在的单点失效和数据一致性效率较低这一问题，提出一种基于代理机制的一致性算法-A*Raft。针对云计算环境下节点的动态性和异构性特点，提出了一种基于chord和树形结构的一致性维护算法减小网络传输的开销。通过引入了Piconet和master-slave节点的概念来对节点所构成的网络拓扑结构进行更细致的划分，综合考虑影响数据副本一致性的主要因素，构建基于master节点的最小生成树作为副本一致性维护的树结构，提高更新消息传播效率。在副本放置算法方面，针对动态副本放置算法存在的问题，将免疫优化策略引入云计算环境副本放置的问题中，提出了一种基于免疫优化策略的副本放置算法。通过分析萤火虫优化算法和副本放置的问题，提出一种基于离散型萤火虫优化算法的副本放置方法。数据可用性优化方面，在引入重复数据删除技术的存储系统中，通过增加冗余信息的方法，来改善数据的可用性。在数据容错技术方面，为了减少故障盘的修复时间，加快其修复过程，基于Liberation的编码原理提出一种单数据盘故障快速修复方法。本项目是云计算环境分布式存储领域的研究热点，其研究成果具有一定的研究意义及实用价值。