大规模NUMA环境的巨型虚拟机高可扩展性研究

Contemporary large-scale servers machines are increasingly in the form of NUMA and embody the characteristics of distributed systems:.not only the CPU’s memory accesses are significantly non-uniformed, but also data access speed to different I/O nodes are continuously increased. On the other hand, the deep penetration of system virtualization in in-memory computing, graph computing and data-intensive computing requires huge virtual machines with massive processing capability. However, current virtual machine monitors still fall short in efficient support for highly scalable huge virtual machines, leading to high performance overhead and significant degradation of scalability. This projects aims at investigating approaches to improving the scalability of huge virtual machines on large-scale NUMA machines. It will first build lightweight online analytical approaches and tuning tools to characterize the performance scalability and to build a performance model for highly scalable huge virtual machines. Based on the characterization and model, it will investigate how virtual machine monitors can be refined to manage CPU、memory and I/O resources on large-scale NUMA machines. Further, it will also design and implement the interfaces to support NUMA-aware huge virtual machines and provide analysis and optimization for several specific application domains. The results of this project will include scalable visualization approaches, which will be released as open-source software as well as be integrated into industry products to stimulate the research on this area.

当前大型服务器日趋NUMA化并且呈现出分布式系统特征：不仅CPU的访存呈现出显著的非一致性，而且不同I/O节点之间的数据访问的速度差异日趋扩大。另一方面，系统虚拟化的深入推广需要支持具有更大处理能力的巨型虚拟机以支持内存计算、图计算与数据密集计算等新型应用。 然而，当前的虚拟机监控器缺乏对巨型虚拟机可扩展性的有效支持，从而造成了较大的性能开销与可扩展性减低。本项目拟对面向大规模NUMA服务器的巨型虚拟机性能与可扩展性开展研究，通过设计轻量级在线分析与调优工具对巨型虚拟机在大规模NUMA环境的可扩展性进行刻画，建立巨型虚拟机高可扩展性的性能模型，并基于该模型研究对虚拟机监控器对大规模NUMA服务器CPU、 内存与I/O资源的可扩展管理与调度机制，从而设计NUMA感知的巨型虚拟机接口与实现，并对特定领域应用进行分析与优化。拟研制的虚拟化可扩展方法将以开源与产业应用等方式推动可扩展虚拟化的研究。

当前大型服务器日趋NUMA化并且呈现出分布式系统特征:不仅CPU的访存呈现出显著的非 一致性，而且不同I/O节点之间的数据访问的速度差异日趋扩大。另一方面，系统虚拟化的深 入推广需要支持具有更大处理能力的巨型虚拟机以支持内存计算、图计算与数据密集计算等新 型应用。然而，当前的虚拟机监控器缺乏对巨型虚拟机可扩展性的有效支持，从而造成了较大的性能开销与可扩展性减低。.项目针对面向大规模NUMA服务器的巨型虚拟机性能与可扩展性开展了深入研究，首先分析了典型图计算、数据密集计算与内存计算等典型应用在巨型虚拟机中的执行特征，并分析了NUMA虚拟机性能瓶颈，通过设计轻量级在线分析与调优工具对巨型虚拟机在大规模NUMA环境的可扩展性进行刻画；进一步研究了虚拟机监控器在大规模 NUMA 环境下的可扩展性增强方法，并研究了 NUMA 与 I/O NUMA 资源的可扩展抽象方法；研究基于推断的虚拟机运行信息收集，研究虚拟机运行时资源需求的刻画，研究面向巨型虚拟机的可扩展虚拟机调度，在 KVM 虚拟平台上实现相应的方法；最后将相关机制形成了一套低时延、可扩展的虚拟化方法与技术，并向开源社区与产业龙头企业进行推广。.项目成果共计在SOSP、OSDI、EuroSys、Usenix ATC、FAST、ACM TOCS等高水平会议与期刊发表CCF A类会议论文10篇，CCF A类期刊论文4篇，相关成果被Linux、OpenJDK等著名开源社区接收，成果被应用到华为鲲鹏服务器、微信平台等，显著提升了大规模计算平台的可扩展性并降低了时延，成果还获得了2018年教育部技术发明一等奖（项目负责人为第一完成人）。项目负责人还获得了2019年基金委杰出青年基金项目、入选2019年ACM杰出科学家。