高能物理计算的I/O性能优化

Optimization of IO performance is a main path to improve the efficiency of data intensive computing. Prior researches show that when the system reaches certain scale, the IO performance can not always improve linearly with addtion of storage hardware.IO optimization is a complete scientific problem which invloves application, system software and hardware..This project will optimizes the I/O peformance of high energy physics computing running on the cluster of IHEP based on distributed file system Lustre. Research content includes: 1) acquision and analysis of high energy physics computing's I/O pattern 2) optimization of the I/O code within high energy computing program 3) an adaptive optimization of Lustre client based on machine learning method 4) the algorithm for request scheduler on Lustre data server 5）Improvement of disk file system performance. .Different from other scientific computing which rending resource on super computer, the high energy computing, either in China or aboard, always runs on cheap and homemade clusters build on commodity servers and networks. The computing center at IHEP is a representation of this mode. At present, there is no complete solution of IO optimization in high energy physics computing. The research result will not only improves the computing efficiency of IHEP, but also has popularizing value in high energy community.

I/O性能优化是提高数据密集型计算效率的主要途径。前期研究发现，系统到达一定规模后，增加存储硬件不能使I/O性能获得线性增长。I/O性能优化是一个复杂的，涉及应用、系统软件、硬件三方面因素的科学问题。.本课题将基于Lustre分布式文件系统，对高能所计算集群上的高能物理计算做I/O优化。作业课题的研究内容包括：1）高能物理计算的I/O模式获取和分析2）高能物理计算程序的I/O代码优化3）基于机器学习的Lustre客户端自适应优化方法4）Lustre数据服务器的请求调度算法5）磁盘文件系统的性能优化。.与其它租用计算资源的科学计算不同，国内外的高能物理计算一般都在由商品服务器和局域网络构成的廉价、自建集群中完成。高能所计算中心是其中的典型代表。目前国内外尚没有针对这种计算模式的完整的IO性能优化方案。课题的研究成果不仅能够提升高能所的计算效率，而且在高能物理社区中具有推广价值。

I/O 性能优化是提高数据密集型计算效率的主要途径。前期研究发现，系统到达一定规模后，增加存储硬件不能使I/O 性能获得线性增长。I/O 性能优化是一个复杂的，涉及应用、系统软件、硬件三方面因素的科学问题。.课题的在以下方面取得了进展：1)实现了高能物理作业的I/O模式自动收集和集中存储。2)高能物理作业的分类和效率统计,实现了96%的高能物理作业分类精度。3)提出了两种ROOT 软件库的I/O优化方法。4） 实现了Lustre客户端的自适应优化，对于部分高能物理作业，效率能够提高50%以上。5）通过开发文件系统模拟器和ROOT的云存储插件，实现了云存储技术在高能物理计算中的应用。在局域网环境中，这种方法实现了与分布式文件系统相似的性能。6）设计实现了基于块的分级存储系统，支持设备和调度算法的多样性。