极端化供需驱动的可伸缩虚拟化研究

After nearly 15 years of rapid development, cloud computing has achieved huge success in the applications of general scenarios. Cloud computing is currently in the critical stage of transformation to the application boom. Yet, there are mainly two critical bottlenecks that may hinder the further expansion of cloud computing. First, the cloud platform cannot satisfy the extreme requirements raised by extreme applications (e.g., extremely low latency, extremely high throughput, and extremely high concurrency). Second, the virtualization for the extreme hardware (e.g., large-capacity and high-bandwidth memory, efficient accelerator, and high-speed network) is still not mature enough, so that the cloud computing system cannot take full advantage of new extreme hardware. This project aims at two fundamental scientific problems of system virtualization, the enabling technology of cloud computing, when facing extreme-scale scenarios: the cooperative abstract and representation, as well as the efficient connection and control between the supply and demand. Specifically, this project will further concentrate on the following three research aspects: the theories and methods of extreme-scale scalable virtualization architecture, the virtualization technique support for the new extreme hardware, and the construction methodology of the application-specific extreme virtual machine. The research results of this project will push cloud computing in expansion from general cases into extreme supply and demand by significantly improving the performance and user experience of extreme cloud applications, which would have great scientific significance and application value.

云计算经过十五年的快速发展，在常规场景的应用中已经取得了极大成功。云计算当前正处在向应用繁荣期转型的关键阶段，阻碍云计算应用场景进一步拓展的关键瓶颈主要在两个方面，首先云计算平台还无法满足极端化应用提出的极端化需求（譬如极低延迟、极高吞吐、极大并发等性能设定）；其次极端化硬件（譬如新型大容量高带宽内存、新型计算加速器、新型网络设备等）虚拟化成熟度不够，导致云计算系统无法充分利用这类新型硬件。项目将瞄准云计算的使能技术虚拟化在极端尺度下供需双方的协作抽象与呈现、高效对接与管控两个基础科学问题，围绕极端尺度可伸缩虚拟化架构的理论和方法、新型极端硬件设备的虚拟化支撑方法、应用定制的极端虚拟机构建方法三个主要内容开展研究。项目将构建基于高性能硬件的巨型虚拟机验证系统，针对典型的极端化应用开展验证。研究成果将支撑云计算应用场景从通用化向具有苛刻需求的极端化拓展，具有较强的科学意义与应用价值。

本项目围绕极端化供需驱动的虚拟化理论、方法和技术，重点攻关具有极端高性能的GPU、RDMA、NVM在虚拟化环境下的高性能、高并发、可扩展等增强技术和优化方法。针对以图计算、数据存储、大数据为代表的具有极端化应用需求的领域应用在云计算场景下的性能进行了全面优化，研制了面向极端虚拟化场景的巨型虚拟机等验证系统。本项目提出了软硬件协同的极端尺度虚拟化架构新方法，面向多种新型异构硬件（GPU、FPGA、RDMA、NVM、NVMe、SGX等）的虚拟化难题，针对具有极端高性能的处理器、内存和网络硬件的虚拟化方法和优化技术开展了研究，促使虚拟资源接近原生性能，如RDMA读写NVM达到硬件的理论性能，并且提升吞吐性能2倍以上。围绕高速网络RDMA技术实现虚拟化层面的跨节点的“多虚一”硬件聚合和抽象，将最新处理器硬件特性所提供的强原子性和网络设备硬件特性所提供的强一致性相结合支持分布式内存事务处理，实现了首个分布式硬件事务内存系统，响应延时缩减超过两个数量级。研制了面向极端虚拟化场景的巨型虚拟机验证系统以及基于国产处理器的巨型虚拟机原型系统。本项目研制的一批软件进入Linux和KVM等主流开源社区，在华为、腾讯、阿里、国产处理器虚拟化平台等产品中应用。在CCF-A/B类会议和期刊37篇（包括OSDI、ISCA、Usenix ATC、PPoPP、SC、VEE等），其中IEEE/ACM汇刊发表论文9篇。出版虚拟化方面的专著一部。申请国内发明专利23项，其中获得授权18项。获得2项美国发明专利授权。培养博士研究生9位，硕士研究生13位。项目负责人获聘为长江学者（2018年度），获得教育部技术发明一等奖（第二完成人）、上海市技术发明一等奖（第一完成人）和上海市教学成果特等奖（第一完成人）各一项。