机群文件系统小文件I/O访问性能优化方法研究

小文件I/O访问是机群文件系统重要性能瓶颈之一，其性能优化是当前国内外的热点研究课题，现有的相关研究工作主要从I/O访问模式、文件系统体系结构和文件请求处理三方面来开展。针对现有研究还存在的数据分条和冗余链接延迟等问题，以如何在不影响大文件I/O访问性能的前提下，优化小文件I/O访问性能为目标，以小文件I/O性能瓶颈的源头（元数据服务器、I/O服务器、客户端）为主线，基于I/O访问处理过程，通过改进现有的元数据填充等方法，研究机群文件系统小文件I/O访问性能优化的新方法：提炼小文件I/O访问模式，建立面向小文件的存储优化、动态迁移优化、客户端缓存优化新方法并研制原型系统。从I/O性能优化理论入手、理论与实践互相促进、以实践为目标，探讨了增强、改进和创新机群文件系统性能优化的新理论和新方法。对机群I/O瓶颈缓解、机群整机性能和企业高效能计算能力提高都具有重要理论研究和工业实践意义。

科学计算、商业计算等多种领域的应用均产生大量的小文件负载。由于目前小文件的I/O性能受限于机群文件系统的体系结构设计，提高小文件的性能成为机群文件系统领域中的研究热点。课题分别从小文件的I/O访问模式、面向小文件的存储优化方法、面向小文件的动态迁移模型和小文件的客户端缓存方法等方面，研究相应的优化方法，提高小文件负载的I/O访问性能。主要的研究内容和成果如下：.（1）小文件的I/O访问模式。分析了机群文件系统中处理文件请求的路径，建立了机群文件系统小文件访问的开销模型，分析了机群文件系统中小文件的访问瓶颈；建立了小文件访问模式的多维度分类方法，并对比了若干典型I/O负载中的小文件访问模式；通过分析了现有方法所存在的不足，提出了消除小文件访问瓶颈所需要解决的一系列问题。.（2）面向小文件的存储优化方法。针对机群文件系统的体系结构设计所产生的小文件访问瓶颈，提出了基于元数据填充的存储优化方法和基于数据文件的存储优化方法，避免了数据分条产生的小文件性能开销。实验结果表明，该方法能够显著提高小文件的元数据和数据访问性能。.（3）面向小文件的动态迁移模型。针对基于元数据填充技术的小文件优化方法可能导致的元数据服务器过载问题，建立了小文件阈值的长期和短期权衡模型，动态决策小文件的存储位置，并通过在文件系统服务器间动态迁移小文件负载，以避免对正常元数据负载的性能影响。实验结果表明，在不影响元数据负载性能的前提下，该方法能最大程度地提高小文件的访问性能。.（4）小文件的客户端缓存方法。针对高并发负载环境下基于数据块索引的缓存结构所产生的小文件缓存性能问题，提出了一种基于混合缓存管理策略的客户端数据缓存优化方法。该方法结合对象索引和数据块索引缓存管理策略的优势，通过区分大小文件的缓存替换和数据管理策略。实验结果表明，该方法能够提高了小文件的缓存性能，并有效降低小文件的访问延迟。.基于上述研究成果，课题在JPDC、IJNAM、Computer Journal、中国通信、计算机学报、PDCAT2012、CCGrid2012等高水平期刊和会议中，共发表了30篇学术论文，其中SCI检索6篇，EI检索26篇；申请了发明专利9项，其中5项已获得授权。课题在小文件存储优化和缓存数据管理两方面的成果已分别应用于联想集团“深腾7000”百万亿次高性能计算机和中标软公司“中标麒麟”安全云操作系统中。