CPU-GPU异构云环境下多租户内存键值对系统关键技术研究

In-memory key-value store is a NoSQL database system, which has been widely utilized in data processing systems. In recent years, a series of research is conducted on building high performance in-memory key-value store systems on CPUs and GPUs. These new techniques developed achieves tens or hundreds times of performance improvement than previous systems. With the fast development of cloud computing, in-memory key-value store is becoming an important service for tenants in the cloud. However, the latest techniques for in-memory key-value stores are proposed on bare-metal machines. As a result, they cannot be directly utilized in the cloud due to the limitations from virtualization system software. Moreover, due to the different system characteristics and workloads, the techniques in multi-tenant databases cannot be applied to in-memory key-value store systems. In this study, we conduct research on the key technologies in building multi-tenant in-memory key-value store systems on cloud environments with CPU-GPU heterogeneous hardware. The research topics include the fine-grained metering and partitioning of the computing resources, the dynamic adaption of memory resources according to workloads, and the energy management method, etc.. This proposal aims at delivering solutions and practical experiences in building high-performance multi-tenant in-memory key-value store services on CPU-GPU heterogenous clouds in the post Moore’s Law era.

内存键值对系统是一种新型NoSQL数据库系统，被广泛应用于数据处理系统中。近年来，基于CPU和GPU等通用处理器构建高性能内存键值对系统取得了一系列的研究成果，最新的技术使得内存键值对系统获得了相比以往系统数十倍到数百倍的性能提升。由于云计算的快速发展，内存键值对服务在云中被当作一项重要的服务出售给租户。然而，当前高性能内存键值对系统的研究成果是基于裸机系统的，在云环境中由于虚拟化系统软件的限制无法被直接应用；同时，已有的多租户数据库技术也由于系统特性和工作负载区别较大而无法应用。本课题研究CPU-GPU异构云环境下多租户内存键值对系统的关键技术，包括计算资源的公平计量的资源划分方法、根据工作负载进行内存资源动态调整的方法、以及异构硬件的动态能耗管理方法等。本课题旨在为后摩尔定律时代在异构平台上实现高性能多租户内存键值对服务提供解决方案和实践经验。

随着互联网和云计算的发展，各类数据的规模迅速增长，因此迫切需要对大数据进行有效存储和处理分析的工具和算法。在这种场景下，传统的关系型数据库及对应的数据分析方法面临着许多新的挑战。尤其是在搜索引擎、游戏等大规模、高并发的应用中，使用关系型数据库来存储和查询动态用户数据已经显得力不从心。 因此NoSQL逐渐进入视野。而内存中键值存储(In-memory key-value stores）因其快速的数据访问特性而常常用作缓存来加速web应用程序访问，以提升整体性能，降低访问延迟。同时，内存中键值存储的这种特性也为大数据场景下的数据分析和推荐创造了可能性。本研究在大数据背景下，针对内存键值存储的设计及算法和应用方面进行了具体研究，其中包括：设计并实现了一种新的双层结构的索引及其查询方法Bindex，与已有索引结构相比，能够减少随机访存、减少访问无关数据，因此加速对内存中键值存储的查询操作。提出了一种近似查询处理技术优化算法，设计并实现了自适应样本更新算法ASU，通过监控数据分布，在数据集不断更新的环境下高效地维护内存中键值存储中所缓存的查询所用的样本集并且提供查询准确率的保证。设计并实现了一个基于样本的渐进式词频计算模型Parrot。在为用户在进行文本词频等相关分析时，通过设计新的对内存键值存储中样本的更新算法，以提供在精准度和延迟之间平滑的过渡。设计并实现了一种基于可视化上下文重要性的推荐方法 VizGRank，利用可视化本身的数据内容构建可视化分析图，并利用内存键值存储的快速数据访问特性，从分析图中推断可视化在分析上下文中的重要性。