基于新型硬件和机器学习的事务处理系统研究

The transaction processing system is the supporting technology for data processing, however, the current system cannot satisfy the requirement of the applications because of the increasing of data scale and the user experience requirement. First, the system's performance is affected by the runtime workload. Second, the current system cannot fully utilize the new hardware, e.g., Non-Volatile Memory, Remote Direct Memory Access; Third, the index structure cannot enjoy the efficiency of performance and spaces at the same time. This project aims at investigating approaches to solve above issues. It will first build a learning model which can simulate the transaction processing workloads. By leveraging the learning model's ability to online inference, the system is able to process transactions adaptively to the runtime workloads. At the same time, this project also will design new transaction processing protocols with NVM and RDMA. Last, this project will build a new index structure based on the learned index and it can support for efficient updates. The result of this project will include high-performance transaction processing approaches, which will be released as open-source software as well as be integrated into industry products to stimulate the research on this area.

事务处理系统是信息处理的支撑技术，随着数据规模的不断增加和用户体验要求的不断提高，传统事务处理系统已经不能满足当前应用的需求。首先，传统事务处理系统的处理能力受到场景的限制。其次，当前系统对非易失内存等新型硬件支持不足。最后，索引结构不能同时满足高性能和低空间开销的问题。针对以上问题，本项目从事务处理协议和索引结构两部分出发，拟通过构建面向事务处理的机器学习模型，利用机器学习的实时推理能力，设计并实现场景自适应事务处理协议。同时，基于非易失性内存和远程直接内存访问等新硬件技术，构建高效的事务处理协议。然后，通过深度学习，混合索引结构和模型重用等方法，构建高性能和低空间开销的索引结构。最后，拟研制的事务处理系统将以开源与产业应用等方式推动事务处理系统的理论和技术的发展。

事务处理系统是信息处理的支撑技术，随着数据规模的不断增加和用户体验要求的不断提高，传统事务处理系统已经不能满足当前应用对其性能的需求。首先，传统事务处理系统的处理能力受到场景的限制。其次，当前系统对非易失内存等新型硬件支持不足。最后，索引结构不能同时满足高性能和低空间开销的问题。. 针对以上问题，本项目从事务处理协议和索引结构两部分出发，通过构建面向事务处理的机器学习模型，利用机器学习的实时推理能力，设计并实现场景自适应事务处理协议。并基于非易失性内存和远程直接内存访问等新硬件技术，构建高效的事务处理协议。同时，通过深度学习，混合索引结构和模型重用等方法，构建高性能和低空间开销的索引结构。研制的事务处理系统已经以开源与产业应用等方式推动事务处理系统的理论和技术的发展。. 项目系统性地研究了可扩展事务处理系统的技术与方法并针对机器学习和新硬件特性进行了深入研究。成果共计在OSDI, SIGMOD, NSDI等高水平会议与期刊发表论文7篇，其中CCF A类会议论5篇，CCF A类期刊论文1篇。成果获得了2022年SIGMOD最佳论文优胜奖，华为奥林帕斯先锋奖，两次华为火花奖，并被应用到阿里巴巴实时数仓Hologres、智能制造数据存储等场景中，实现专利主让180万元。