集群环境下的高通量事务处理技术

With the popularity of the Internet, it is more convenient for us to use information services. It has been the new normal state of information systems that supporting various terminals whenever and wherever. In the face of the growing requests, more and more applications apply cluster architecture to expand its service abilities. The traditional RDBMS usually becomes the bottleneck of cluster systems. The development of new distributed database systems has become the hot topic of the industry. Transaction processing in a cluster environment is an important research direction. This project focuses on the high-throughput transaction processing in a cluster environment, including: 1) Application logs analysis based data dynamic partitioning, organization and access methods; 2) Multiple version concurrent control mechanism which supporting various isolation level; 3) Workload oriented inter-nodes transaction scheduling policies; 4) Optimized consensus protocol based inter-nodes data replication mechanism; 5)Online transaction processing prototype for financial applications; The works of this project conform to the trend of technologies, meet the demands of real applications, fit the national development strategy. The applicant has a good accumulation in the related research field. The proposed research plan is feasible. All of these ensure that the project will be completed successfully.

互联网的普及让人们使用信息服务越来越方便，支持各种类型终端的随时随地访问已经成为信息系统建设的新常态。越来越多的应用系统开始采用集群架构来增加扩展能力，应对持续增长的服务压力。传统关系数据库往往成为集群架构系统性能提升的瓶颈，新型分布式数据库系统的研发已经成为业界关注的热点，集群环境下的事务处理技术是其中一个重要的研究方向。本项目关注于集群环境下高通量事务处理关键技术的研究，具体包括：1）基于应用日志分析的数据动态划分、组织与访问方法；2）支持不同隔离级别的事务多版本并发控制机制；3）基于负载分类的节点间事务调度机制；4）采用优化Consensus协议的节点间数据复制机制；5）面向金融行业应用的在线事务处理原型系统；项目的研究工作符合技术发展的趋势，能够满足应用的真实需求，贴合国家发展的战略需要。申请人在相关研究领域具有一定的技术积累，所提出的研究方案切实可行，能够保证项目目标的顺利完成。

随着互联网+应用模式的普及，越来越多的应用系统开始采用集群架构来增加扩展能力，应对持续增长的服务压力，并且采用基于普通PC服务器集群的分布式数据库系统取代传统的单节点数据库系统。虽然分布式数据库系统在处理分析查询类应用时具有成本低、易于扩展等优点，但在处理交易类应用时面临着数据一致性、跨节点事务性能、系统可靠性和可用性等问题。本项目关注于集群环境下分布式数据库中事务处理相关技术的研究，主要成果包括：1）在分布式的数据组织与访问技术方面，设计了面向负载的数据动态划分和复制机制，提出了多种用于性能评估的代价模型，实现了多种启发式数据划分算法，并通过实验对有效性进行了验证；2）在分布式系统高可用技术方面，提出了防止控制节点和事务处理节点出现单点故障的高可用框架，能够在各节点时钟误差较小的情况下实现快速选主，实验结果表明该方法能够实现分布式数据库系统主节点故障的秒级恢复；3）在分布式事务并发控制机制方面，设计和实现了一种高效的快照隔离级别的并发事务控制机制，有效地提高了分布式数据库系统中的事务处理吞吐率；4）在节点间数据复制和迁移技术方面，设计并实现了一种考虑节点间负载均衡的数据复制方法，能够有效提升节点间数据复制的性能；5）设计并实现了一个面向金融行业交易类应用的分布式数据库原型系统，对分布式索引、分布式查询优化等影响分布式数据库事务处理性能的相关技术进行了研发，在金融行业模拟数据集上进行交易测试的吞吐率达到17000TPS。本项目共发表学术论文8篇，其中CCF-A类论文1篇，CCF-B类论文5篇；申请软件著作权登记7项；产生硕士毕业论文12篇。本项目所研发技术可以应用于各类Share-nothing架构的分布式数据库系统，能够在保证分布式数据库系统高可靠和高可用特性的同时有效提高系统事务处理的吞吐率；所研发分布式数据库原型系统适用于各类互联网应用及企业级信息系统应用。