虚拟化数据中心内存资源预测与动态调配

Memory system has a significant impact on the performance of a data center for cloud computing. In a virtualized data center, multiple virtual machines share each individual physical host and thus share the physical memory. Due to the dynamic memory demand of virtual machines, it is advised to allocate memory for each virtual machine on the fly accordingly in order to improve the overall performance of the data center. This on-demand memory allocation requires accurate memory demand prediction that yields a minimal overhead. We propose a predictive, dynamic, center-wide memory balancer that adjusts memory across the whole data center. Our research starts with the design and implementation of a low overhead, highly accurate, on-the-fly memory demand predicator which improves over conventional memory demand predictors and is based on on-line monitoring with hardware performance counters. With the accurate memory prediction, we further propose techniques that adjust memory allocation across the whole data center using ballooning, remote memory, and live migration.

内存资源对于整个数据中心的性能有着显著的影响。在虚拟化数据中心内，由于大量虚拟机并发运行并且虚拟机在不同时刻对内存资源的需求是动态变化的，如何在单个服务器以及整个数据中心内进行内存资源的动态调配，使得分配给虚拟机的物理内存大小能够满足其上应用程序不断变化的内存需求，是提高内存资源利用率和提升整个数据中心综合性能的关键。本项目主要研究一种预测式的内存资源管理方法，对虚拟机的内存资源进行在线的监控和预测，并根据预测结果动态调配虚拟机的内存资源。这里，研究的关键是低开销、高精确度的内存工作集在线跟踪与预测方法，及面向单机和全局的动态内存调配策略。我们拟利用硬件计数器，对传统的内存预测机制进行扩展和改进，研究并实现一个低开销、高精确度的内存工作集跟踪机制。在获得了精确的内存需求之后，我们将通过气球技术、远程内存技术以及虚拟机在线迁移技术来实现单机和全局的内存资源的动态调配。

本项目主要围绕内存工作集预测及管理、内存虚拟化优化、Cache分析管理以及GPU管理与虚拟化等开展研究。.在内存工作集预测与管理方面，提出了一种基于硬件计数器的间歇式虚拟机内存工作集预测方法，能以2%的平均开销获得95.2%的平均精度；设计实现了大页环境下的虚拟机内存调配机制、虚拟机远程内存机制等；基于动态规划算法，以较小的代价找到最合适的内存调度方案。提出了基于平均淘汰时间的缓存动力学模型，以当前最低的时间和空间复杂度来动态探测程序缓存失效曲线，并适用于任何存储缓存系统中。针对分布式内存缓存系统，提出了一种基于局部性分析的内存分配算法，使得系统整体的失效率或平均响应时间最小。.在内存资源虚拟化优化方面，针对频繁分配释放内存的应用，现有的运行时内存管理策略与虚拟化特性不匹配，我们在内存管理策略中增加了延时内存释放机制，避免了应用产生大量缺页导致虚拟机频繁陷出带来的开销；提出了一个基于对齐的大页优化机制，提升大页使用率，并对不同内存虚拟化方法下如何使用大页机制进行了全面分析。.在缓存分析和管理方面，提出了共享逻辑时间的概念，建立了多个程序并发执行时的缓存失效曲线组合模型及调度策略；提出了缓存定量配给、缓存划分共享等新的“保守共享”的缓存管理策略，在保证每个应用拥有一定比例的缓存的同时，又使得多余缓存能够在被所有应用按另一比例共享。.在GPU管理与虚拟化方面，针对同步密集型GPU程序由于频繁的同步操作所造成的影响，提出了线程束等待数最多优先调度策略和预取发射相协调策略，两者相互配合来减少同步开销。提出通过虚拟机与虚拟机管理器间的内存共享，配合循环中GPU调用的自动聚合，有效缓解了GPU虚拟化开销过大的问题。.在应用方面，实现了一个面向虚拟化数据中心的内存资源综合优化管理原型系统以及一个应用示范系统——基于虚拟机的个性化虚拟实验环境，相关技术应用到腾讯、华为、UCloud的数据中心中。