基于“市场机制”的动态数据迁移与查询负载均衡方法研究

Cloud database is promising next-generation computing platform for large query-intensive applications, such as mobile communications, financial analysis, social media services, etc.In cloud databse, the query response time is strongly dependent on the balance between data distribution and query load. Therefore, how data are dynamically allocated and migrated at the runtime has significantly impact on the query load distribution and the system performance. To this end, we conducted preliminary study and proposed 'Dynamic query-intensive data migration approach large-scale distributed database environment', which was applied into intelligent partitioning and load balancing in Microsoft Cloud Database Product. In this proposal, we will focus on the natures of query load balance in large-scale cloud database, and conduct research on the data migration and load balancing technologies based on market mechanism. We will then design a 'fast composite auction model', and organize the research on establishing a theoretical framework with the core of modeling and pricing, marketing strategies, convergence analysis for dyanamical data migration and query load balance. Finally, we will develpe a prototype system and evaluate the performance based on massive real data.

金融、电信等重要数据库应用领域在逐步采用支持大规模计算节点的云数据库来服务查询密集型应用系统，云数据库的查询响应速度强烈依赖于数据分布与查询负载的均衡。针对查询访问模式建立数据动态迁移策略，实现数据库查询负载动态均衡机制，将有效提高系统整体查询响应能力。申请人前期提出的“查询密集型大规模分布式数据库环境中的数据迁移方法”，已被Microsoft SQL Server应用于微软云数据库产品研发。本课题将针对支持大规模计算节点的云数据库负载均衡的特性，深入研究基于“市场机制”的数据迁移与负载均衡技术，提出并设计“敏捷复合拍卖模型”，建立一套以该模型中“建模与定价机制、市场策略、收敛性分析”为核心的数据动态迁移与负载均衡理论体系，并通过海量真实数据环境开展系统研制和实验验证。

本课题针对支持大规模计算节点的云数据库负载均衡的特性，深入研究了基于“市场机制”的数据迁移与负载均衡技术，提出并设计“敏捷复合拍卖模型”，建立起一套以该模型中“建模与定价机制、市场策略、收敛性分析”为核心的数据动态迁移与负载均衡理论方法，并通过海量真实数据环境开展系统研制和实验验证。.本项目提出了一种面向云数据库节点多维属性的交易模型；提出了一种环境感知的自主定价机制;提出了一套面向云数据库的弹性动态均衡机制，并进行了算法收敛性验证。.研制了基于市场机制的环境感知云数据库动态负载均衡系统e-MARS，并在真实数据集和大规模集群环境上进行了性能测试。建立了大规模查询密集型仿真数据集一套，面向航天领域、移动通讯领域等应用数据集两套并开展了示范应用。.在本课题支持下，共发表论文11篇，其中包括ICDE、ACL、IJCAI和AAAI等国际顶级学术会议论文，申报国家发明专利1项。.基于本课题的研究成果，课题负责人王腾蛟于2018年初，获得日本大川基金研究助成奖（Okawa Foundation Research Grant），获奖成果名称：Market-Based Dynamic Data Allocation and Migration in Cloud Databases。