分布式参数服务器架构的可扩展性研究

The distributed Parameter Server architecture has been widely adopted by the mainstream machine learning systems. However, due to the lack of agile scalability, it is challenging for this architecture to rapidly adapt to dynamic changes in workloads and resources such as computing power or network bandwidth, in heterogeneous environments, thus limiting the development of relevant technologies and applications that expect real-time responses. To this end, this project aims to: (1) design a software-defined Parameter Server architecture, decoupling the parameter exchange and the node management modules, and offering workload-aware elastic scalability; (2) formalize a general model capturing the tension between the parameter synchronization mechanisms and performance in heterogeneous environments, guiding the choice of those mechanisms with better performance; (3) propose a dynamic data compression mechanism aware of changes in resources and loads, striking the reasonable balance between the data compression rate and available resources and speeding up the parameter exchange. Based on these three studies, we further plan to design and implement a highly scalable prototype system that demonstrates all above claims, to meet the unprecedented demands of vast machine learning applications.

分布式参数服务器架构是主流机器学习系统所广泛采用的系统架构方式。在大数据-大计算的背景下，由于缺乏敏捷的可扩展性，该架构难以快速应对计算任务量突发改变和异构环境中计算资源与网络带宽动态变化等状况，严重制约了对实时性要求较高的相关技术和应用的发展。本项目拟：（1）设计基于软件定义的新参数服务器架构，解耦参数传递与节点管理等功能模块，实现对计算任务量变化感知的弹性可扩展性；（2）建立异构环境中参数同步机制与系统性能制约关系的一般模型，通过建模分析和对比实验的方法指导不同应用选择适配的性能最优的同步机制；（3）提出资源和负载感知的数据压缩机制，寻求压缩率与计算和带宽资源之间的动态平衡，避免计算资源竞争和过度压缩，提高参数交换速率；基于这三方面的研究，设计实现原型系统进行验证，冀显著提高分布式参数服务器架构的可扩展性，以满足日益增长的机器学习应用的实际需求。

为在大数据集上高效地训练深度学习模型，利用大规模GPU集群的并行计算能力和数据并行训练方式已成常态。在数据并行训练中，节点间通过参数服务器（PS）或Ring-allreduce等同步架构在每次迭代中交换大量梯度。然而，在GPU架构创新和专用领域编译技术蓬勃发展的推动下，快速增长的计算能力导致更频繁的梯度同步。因此，梯度同步和并行计算之间存在着矛盾，严重制约了分布式参数服务器等同步架构的可扩展性。为此，本项目的研究及主要成果包括：. 1. 研究了压缩感知的可扩展梯度同步架构。首先提出一个通用、可组合的梯度同步架构 CaSync，通过通信、聚合和压缩算子解耦和组合来实现压缩感知的梯度同步。其次，重叠和批量执行计算和通信任务，将通信开销隐藏在与压缩有关的计算中，反之亦然。CaSync还采用了一种选择性的梯度压缩和切分机制，以决定是否压缩每个梯度，以及如何切分大梯度。CaSync可与多种压缩算法和同步策略适配。. 2. 研究了梯度压缩算法的敏捷开发和集成。设计梯度压缩工具包CompLL，为面向GPU的压缩算法开发和面向深度学习框架的集成提供了便利。CompLL 提供了统一的 API 抽象和专用领域语言，并实现了高度优化的通用压缩算子库。CompLL将开发者的算法逻辑描述转换为高效的底层GPU实现代码，并自动集成到DNN系统中，几乎不需要人工干预。. 3. 研究了大图上图神经网络并行训练的数据加载问题。首先，提出静态缓存策略，将频繁访问的图数据保存在空闲GPU内存中，引入支持缓存的数据加载机制，避免从主机内存的重复加载。其次，将数据并行应用于基于采样的图神经网络训练，通过数据划分和多GPU缓存，改善数据局部性，增加缓存顶点的总数，消除并发情况下的数据加载瓶颈。. 4. 研究了面向智能计算的大数据存储问题。海量小文件的存取对于面向智能计算的分布式存储系统提出了新挑战。为此，设计高效元数据预取和管理机制、利用新型存储硬件、重构分布式存储系统，以满足智能应用低延迟高吞吐的存储需求。. 本项目在SOSP、FAST、VLDB、SC等权威学术会议和ACM TOS、IEEE TPDS等国际重要期刊上发表论文17篇，申请专利3项。项目负责人李诚获得2021年ACM ChinaSys新星奖和ACM中国新星提名奖。