虚拟环境中处理器高速缓存管理的关键技术研究

Virtualization is a key enabling technology for cloud computing infrastructure, and is attracting growing attention from both academia and industry. However, prior research work and existing commercial technologies could not effectively and efficiently utilize both private and shared cache resources in multi-core processors under a virtualized environment. Moreover, to our best of knowledge, there is no virtual machine manager that could actively influence the cache. Therefore, a set of multi-core cache management policies is proposed for virtualized cloud environment in this proposal. Specifically, we will conduct this research in three aspects: 1) leveraging the unexplored relationship between replacement and prefetching mechanisms in order to increase the performance of private caches; 2) providing different management policies in the shared cache for diverse virtual machines in terms of memory access pattern; 3) actively and dynamically instrument a running virtual machine in the virtual machine manager to control cache behavior. By means of experiments from user experience in macro-scale down to architectural parameters in micro-scale, the utilization and hit rate of caches in multi-processors are expected to boost in the virtualized cloud environment, and the overall performance of virtual machines and users' experience are also anticipated to promote. In the end of this project, two experimental platforms will be established, eight to ten high-quality and SCI/EI-indexed papers will be published, and ten patents will be applied as well.

虚拟化技术是云计算底层基础架构中的关键技术之一，备受多方关注。然而已有研究工作和商用技术不能在虚拟环境中充分利用多核处理器的私有和共享Cache资源，也未能通过虚拟机管理器对Cache资源进行有效管理。因此，本课题提出一套云计算虚拟环境中多核处理器Cache的管理策略，具体包含三方面研究工作：1）挖掘Cache替换和预取策略的潜在关系使二者结合以提高私有Cache性能；2）采用基于虚拟机访存流特征的管理策略提升虚拟机之间共享Cache的性能；3）在虚拟机管理器（VMM）中使用基于指令动态插入的Cache管理机制以实现Cache的软件控制。通过涵盖从宏观用户体验至微观体系结构各层级指标参数的实验评测方法，提高云计算虚拟环境下多核处理器Cache的利用率和命中率，最终获得虚拟机性能和用户体验的共同提升。本项目拟搭建两套实验和模拟平台，发表8-10篇SCI/EI索引论文，并申请10项以上专利。

为了应对即将到来的数据中心需要支持万亿级高并发及低功耗处理需求的挑战，本项目着重研究在虚拟环境中的高速缓存（Cache）管理与使用。根据既定的研究计划，并结合学术界和产业界最新动态，经过项目负责人及团队成员对本课题进行为期三年的研究与攻关，本项目在前两年的研究工作中，取得了gem5软件模拟器的Cache性能分析、FPGA仿真硬件平台节点、片上系统总线直接扩展实现服务器硬件资源虚拟化和共享等三项研究进展。这三个研究进展分别对应了软件平台分析、硬件平台节点搭建、资源虚拟化使能技术这三个重要研究方向。基于这些研究进展，本项目在2014-2015年实现研究突破，产出了基于SoC FPGA的16节点软硬件全系统试验平台、以及面向数据中心内存高速缓存应用的资源共享机制两个原创性的研究成果。基于上述FPGA的仿真平台节点以及SoC片上系统总线直接扩展技术，本课题构建了一套基于FPGA的16节点软硬件全系统试验平台。它以高性能、低功耗处理器为核心，集成大容量可编程逻辑资源的可配置可扩展计算机系统，从而满足新型计算机系统设计需求，尤其是虚拟化环境下内存高速缓存应用的评估，支持在设计早期就开始对面向数据中心内虚拟环境应用的新型计算机系统进行系统软件开发和硬件系统的功能仿真，并利用真实的硬件平台对系统的设计开销进行有效评估。本项目将上述各项进展和成果有机组合并应用到面向数据中心的内存高速缓存应用，提出、实现并验证了基于跨节点总线扩展技术的硬件资源共享机制，并通过软硬件全系统平台进行了实际测试和评估，结果表明，基于片上总线跨节点扩展(DEOI)的资源共享机制以及虚拟环境下高速缓存管理使用策略可以较大幅度提升面向数据中心的内存高速缓存应用性能。与商用访问远程内存技术的延迟与带宽相比，基于总线扩展技术及DEOI机制跨节点访问远程内存的性能在FPGA验证原型系统上已经与商用高端系统互连总线的性能持平。在本项目执行过程中，取得了较为重要的理论成果和技术突破，通过本项目的研究工作，团队共发表了论文11篇，申请国内专利15件，国际PCT专利申请7件。本项目共培养硕士和博士研究生6名，已毕业3名硕士研究生，在读博士生3名。本项目的研究达到了预期目标，团队将在未来持续跟进此研究方向，为取得更多更好的原创性研究成果而努力。