并行文件系统中大规模I/O服务器间负载平衡方法研究

大规模I/O服务器间的并行访问是并行文件系统重要的性能瓶颈之一,其负载平衡是当前国内外高效能计算机领域的重点研究课题。现有相关研究主要是从负载建模和负载平衡算法等方面来开展。针对现有研究存在的难以适应高效能计算机的"I/O服务器数量剧增"和"复杂的I/O访问模式"等新需求、平衡算法的适应性等问题，通过深入分析典型高性能计算应用和高效能计算机系统的体系结构，基于负载平衡基本处理流程，研究并行文件系统中I/O服务器间负载平衡新方法：提炼服务器间I/O访问模式，建立面向大规模I/O服务器间的负载模型、分布式平衡算法、负载预测算法和文件动态迁移算法并研制原型系统。从并行I/O性能优化理论入手、理论与实践互相促进、以实践为目标，探讨了增强、改进和创新并行文件系统性能优化的新理论和新方法。对并行I/O瓶颈缓解、高效能计算机整机性能和企业高效能计算能力提高都具有重要理论研究和应用价值。

随着I/O服务器规模的增大，并行文件系统中I/O 服务器间的负载失衡逐渐成为并行I/O 性能提升的新瓶颈。本课题基于负载均衡基本处理流程，研究了并行文件系统中 I/O 服务器间负载均衡新理论和新方法：提炼了科学计算程序的I/O 访问模式，建立了面向大规模 I/O 服务器间的负载模型、分布式均衡算法、负载预测算法和文件动态迁移算法并研制原型系统。主要的研究内容和成果如下：.（1）大规模I/O服务器的负载模型。分析了典型的科学计算程序访问模式，实验测试了I/O服务器的负载时空变化情况，分析总结了I/O服务器间负载失衡发生的根源。发现了不同的文件请求大小会导致不同的I/O服务器负载的规律，基于该发现进而提出了一种复合负载性能指标，以准确刻画服务器的负载特征。.（2）分布式负载平衡算法。针对当前负载均衡方法扩展性和高可用性低等问题，提出了一种基于分布式决策的负载均衡方法，以满足大规模并行文件系统的负载均衡的扩展性需求。该方法采用的自适应负载收集机制可使 N个数据服务器之间的信息交换量在最坏的情况下降低到 1/2 N^2。.（3）在线负载预测方法。针对当前的负载均衡方法忽略了负载决策延迟等问题，提出了一种基于AR的性能预测模型，减少了负载收集导致的决策延迟。此外，本研究还发现了并行文件系统服务器的负载统计特性具有很高的局部特征。.（4）动态文件迁移方法。针对通过动态文件重分配来实现负载均衡需停止整个系统服务等问题，提出了一种动态文件迁移方法，实现了服务器间负载在线转移。建立了迁移对象选择优化模型和文件一致性策略，有效地降低了动态文件迁移的副作用。.（5）基于PVFS2.8.2实现了本研究提出负载均衡方法的原型系统。实验表明本研究与传统集中式负载均衡方法相比，本方法可减少11.36%的文件请求响应时间和10.31%的服务器负载方差。.基于上述成果，课题在本领域的CCF推荐高质量期刊和会议国际期刊会议，如JPDC，IJHPCN，China Communication，AMIS，Journal of Network，软件学报， Grid12，CCGrid12，PDCAT，HPCC，ICAAPP等上，共发表高质量论文20篇。其中，SCI检索期刊论文5篇，EI检索15篇（EI期刊论文5篇，EI会议论文10篇）。申请了发明专利5项，其中2项已获得授权。