面向大规模计算系统的分布式I/O资源池化研究

Large-scale computing systems are now facing resource efficiency problems. Centralized I/O resource pooling architecture can achieve cross-node resource sharing and improve resource utilization. However, the architecture makes hardware deployment markedly change, and has performance and scalability bottlenecks,which both reduce the usability of architecture. This project proposes a highly available distributed I/O resource pooling architecture to overcome its former’s problems. Our research contains three points. Firstly, while maintaining current mainstream hardware deployment, we use an unilateral communication agent in the pooling mechanism to avoid the request response loop on the long distance path of remote resource sharing, so as to solve the performance and scalability problem of centralized I/O resource pooling architecture. Secondly, we use both inter- and intra-nodes interconnection network optimization to improve the efficiency and guarantee the quality of service of sharing data transmission. Thirdly, we study the location-aware resource allocation strategy and the online migration method of idle resource fragmentation, to immprove the coupling between applications and underlying architecture, then further improving the resource utilization rate. This project will use FPGA prototype to verify the correctness and effectiveness of the architecture, as well as the feasibility of its actual deployment.

大规模计算系统资源效率问题突出，集中式I/O资源池化架构能够实现跨节点资源共享，提高资源利用率，但对硬件部署方式改动较大，且存在性能和扩展性瓶颈，整体可用性不足。本课题旨在提出一种高可用的分布式I/O资源池化架构，研究以下三方面内容：一、在保持现行主流硬件部署方式的同时，在池化机制上利用单边通信代理避免长距资源共享路径上请求响应回路的产生，解除集中式资源池化的规模和性能限制；二、通过节点内节点间协同优化的互连网络设计提高池化数据的传输效率和服务质量；三、通过位置感知的资源分配和空闲资源碎片在线迁移提高应用与底层架构的耦合度，进一步提高资源利用率。课题将使用FPGA原型系统验证架构的正确性和有效性，以及实际部署的可行性。

本课题针对高性能计算机和数据中心内“集中式”I/O资源池化存在的性能和扩展性问题，探索了一种分布式的I/O资源池化架构，在共享机制上解除“集中”式资源池化的规模和性能限制，同时在保持传统硬件部署方式的基础上，实现I/O资源的跨节点池化共享，最大限度降低池化开销。.课题执行周期为36个月，在此期间，课题组按照任务书要求完成了各项研究内容，并取得了诸多突破与进展，包括：1）实现了能够满足分布式IO资源池化高带宽低延迟要求的互连网络，研制了基于以太网的高性能RDMA网络接口卡和配套通信库，点到点通信延迟最小仅有1us左右。2）实现了基于RDMA网络的分布式IO资源（主要为存储类IO资源）池化共享架构，将不同节点独立配备的高性能非易失存储通过网络资源池化，供全局共享使用，并有效降低了远程共享存储访问的访问延迟，该技术能够有助于提升非易失存储器件在大规模分布式系统中的性能表现，在大数据应用场景下效果更为突出。3）进一步探索了存储类IO与网络融合优化的硬件结构，通过存储控制器与网络接口控制器的一体化设计，探索了存储与网络在硬件形态上的深度融合，有助于进一步提升超大规模分布式系统的密度和网络化存储访问性能。.课题相关成果兼容当前主流非易失存储设备和以太网，并提供了完备的通信库接口，具备在实际高性能计算机和云数据中心内的部署能力，具有较好的应用前景。