海量存储系统的可用性模型及度量算法研究

With the development of the "cloud storage", the availability of mass storage systems has got increasing intention, so the evaluation of the high availability of mass storage systems has also become a new field of study. Among all the existing evaluation theories and methods, system availability is the main study subject. But as the online application services' developing, a study of evaluating the system's availability has becoming a new hot spot. In this subject, we build a theoretical frame of the system availability assessment and measurement. We use the fault injection technology, study the system fault model, fault distribution, system maintenance distribution and the availability evaluation, to break the traditional independent concept of fault, and build a new fault spreading model. A new system maintenance strategy mechanism is proposed. How much the system components and software faults would damage the system will be studied. We will combine the actual system operation log and classical mass storage system logs to study system components failure coverage. And at last, we will study the system performance differences of high-availability systems between the stable and downgrade states, propose a configuration strategy to balance and optimize the system availability and high performance, and provide basic support to ensure the system's continuous service ability in the whole process of system development and the system acceptance program.

随着"云存储"及在线应用服务为主的大数据时代到来，对于海量存储系统中未预料的故障或停机等造成的损失及服务的有效性越来越受到重视，使得海量存储系统可用性研究成为了新的热点,如何评价海量存储系统的可用性即海量存储系统可用性度量问题又成为一个新的研究课题。本课题通过对海量存储系统的可用性模型的研究，建立海量存储系统可用性度量的理论架构。通过海量存储系统软件及硬件故障模型、故障分布、系统可维修度分布，进行可用性度量的研究，建立新的海量存储系统故障传播模型；结合实际海量存储系统运行日志及经典海量存储系统日志，研究海量存储系统部件故障覆盖率模型和故障分布模型；研究系统维护优化模型，提出新的系统维护策略机制；研究高可用海量存储系统在稳态及降级状态的系统性能影响度，提出平衡优化海量存储系统可用性及高性能之间的平衡配置策略，为在海量存储系统研制全过程及系统验收运行中,保障系统的持续服务能力提供理论技术支撑。

近年来由于信息技术尤其是移动互联网技术的发展,网络上的信息资源呈现出指数级的增长,大量不同类型不同结构的信息需要进行处理和传输,这一切都表明大数据时代已经到来了。很多企业和研究机构正努力建设自己的数据中心,以满足海量数据的存储和管理。可用性是存储系统的一个重要属性，对存储系统可用性的研究越来越受到人们的重视。研究内容包括：基于存储系统架构的可用性评估；基于文件系统的数据存储与组织模式的高可用性研究；基于Alluxio的数据管理机制和可用性机制。.利用模型法计算存储系统可用性是评估系统可用性的一种常用方法，通常需要使用可用性建模工具辅助建模与计算。本课题对传统的可用性模型计算工具进行了深入的研究，发现了两点不足，一是不支持自顶向下逐步求精的层次化建模方法，在易用性方面有提升空间；二是只考虑了通用性，没有针对存储系统的特点做相应的优化。本课题在这两方面进行了改进，设计并实现了存储系统可用性模型拓展工具，工具支持可靠性框图和马尔科夫模型相结合的层次化建模方法，并结合存储系统的特点，综合考虑了故障率、维修率、故障检测时间、故障检测延迟、故障检测覆盖率、维修人员响应时间等因素的影响，提高了可用性计算的准确度。.课题针对元数据管理的优化技术提出优化机制并进行了实验测试与性能的综合对比，进行了功能测试与性能测试，从备节点可以接替故障节点向外服务，以及新的高可用性组合节点可以成功启动来验证优化技术的功能，从优化机制与系统原HA机制的文件读写时间对比，节点故障切换时间与数据完整一致性几个角度来验证优化机制的性能。对元数据缓存的新替换策略进行了不同的数据访问模式下的缓存命中率的测试，得出新策略可以提高元数据的缓存命中率。本课题提出的优化机制与缓存新替换策略都可以达到提高系统可用性的设计要求。.课题在基于Alluxio的数据管理机制和可用性机制研究中，依据关联规则与替换策略在远程场景下进行数据预取，避免由于网络等原因导致的对外业务不可用，同时由于将热数据长久的保留在Alluxio中，降低了应用访问数据的延迟，减少访问底层存储的次数，降低网络高负载时的通信压力，降低整个系统发生宕机情况的故障率，从而提高了系统对外业务的可用性。异步存储策略能够在异步情况下尽可能的保证数据的可用性，避免网络传输数据，减轻网络压力，同时能保证数据完整一致性等性能指标。