多租户数据管理关键技术研究

With the increasing popularity of cloud computing and the rapid deployment of big data applications, more and more businesses and individuals turn to Database as a Service (DBaaS) platforms to manage their data, and such out-sourced data management applications lead to multi-tenant environments in clouds, where system resources are shared by all tenants. How to effectively perform massive multi-tenant data management and efficiently process the dynamic workloads of tenants is not only a crucial problem that service providers need to deal with, but also a huge challenge that the database academia has to face, as the unique characteristics of multi-tenancy makes traditional database techniques not effectively applicable in multi-tenant environments, so data management techniques specifically for multi-tenant environments are required. This proposed project aims to tackle the key techniques for multi-tenant data management, based on a comprehensive analysis and deep understanding of the characteristics of multi-tenant applications and tenant workloads. Research issues include: analysis, models and prediction methods of tenant workloads, tenant data organization, storage and indexing, data caching mechanisms for mixed tenant workloads, query processing algorithms, resource configuration and loading balancing. This study will incubate innovative techniques for efficiently processing multi-tenant workloads in a cost-effective way, and effectively supporting multi-tenant data management, drive the development of mult-tenant database applications.

随着云计算的日益普及和大数据应用的迅速发展，越来越多的企业与个人选择“数据库即服务”方式来管理数据。这种外包化的数据管理模式在云端形成了资源共享的多租户环境。如何在多租户环境中有效管理海量数据和处理动态负载不仅是服务提供商需要面对的问题，也是数据库界面临的挑战，因为多租户环境的独特性使得传统数据管理技术难以直接有效地移植到多租户环境中，因而必须研究专门的多租户数据管理技术。本项目旨在通过发掘和利用多租户平台的特点和租户负载特性，攻克多租户环境下的租户负载分析与建模及预测、数据组织与存储及索引、数据缓存、数据查询处理、资源优化配置与负载均衡等关键技术问题，实现对多租户负载的低成本、高效率处理，为多租户数据的有效管理提供良好的技术支撑。

随着云计算的日益普及和大数据应用的迅速发展，越来越多的企业与个人选择“数据库即服务”方式来管理数据。这种外包化的数据管理模式在云端形成了资源共享的多租户环境。如何在多租户环境中有效管理海量数据和处理动态负载不仅是服务提供商需要面对的问题，也是数据库界面临的挑战，因为多租户环境的独特性使得传统数据管理技术难以直接有效地移植到多租户环境中，因而必须研究专门的多租户数据管理技术。.. 在过去的一年中，我们主要开展了三方面的工作，取得如下成果：.1）针对需要为租户提供服务质量保证的多租户数据库应用，提出并实现了一种成本高效的租户数据集成及数据查询处理机制。该机制利用多租户环境的这种 特性，结合传统数据库以及内存数据库技术，利用高性能的内存数据库来处理多个租户同时产生高强度负载的情况，从而可以将更多租户的负载集成到同一台数据库服务器上进行处理，并能够为所有租户提供相应的服务质量保证。该机制可以提高多租户数据库系统的负载处理效率，节约系统的部署以及运营成本。实验结果表明：针对 其所面向的、容易出现多个租户同时产生高强度负载的应用场景，该机制能够为多租户数据库系统提供经济且高效的数据存取服务。..2）依据“多劳多得”的资源分配原则实现了一种增量式缓存机制。为此，我们建立了“劳”与“得”的衡量标准，建立了用户对数据的一次访问与该次数据访问所能够获得的缓存资源的关联关系；提出了一个用于计算缓存资源让出方案的优化模型；设置了一个观测窗口来限定输入到模型中的数据，然后将这些数据集输入到所建立的缓存模型中进行优化。新的缓存策略就能够根据资源的竞争程度来自主调整缓存策略，从而整体上提高缓存资源的使用效率。..3）利用大数据应用在数据访问模式上的特点，改变了数据只能被动缓存的局面，在确定数据即将被访问的前提下，实现了对数据的适量适时预取机制，从而确保数据处理任务在执行的时候能够从缓存中获得数据。