新型非易失存储环境下的事务处理技术

According to the underlying storage hierarchy, the design of a database management system’s architecture has gone through cycles of development and transformation. Emerging non-volatile memory (NVM) technologies require us to rethink this again. Such memory devices, that provide non-volatile (persistent writes), high-capacity, low-latency, byte-addressable, will overturn the traditional storage hierarchy in computing systems. Therefore, the transaction processing techniques designed to fully utilize the non-volatile property of NVM to be desperately needed. In this project, we tries to propose NVM-aware transaction processing techniques for on-line transaction processing DBMSs on different patterns of NVM-based storage hierarchy. This project mainly focuses on four key aspects, including i)NVM-aware data partitioning and transaction schedule to improve the execution efficiency and throughput; ii)NVM-aware data layout and consistency guarantees to support strict ACID transaction semantics; iii)NVM-aware recovery techniques for reliability; and iv)the constitution of NVM-based storage hierarchy that can accomplish the support to applied requirement of upper layer in the context of transaction optimization. Analysis in theorem and thorough experimental tests combined with analog and real NVM testbed will be conducted to evaluate validity and performance of the proposed methods.

为适应底层存储架构的变化上层数据库系统已经经历了多轮的演化与变革。以非易失、大容量、低延迟、按字节寻址等为特征的新型非易失存储器件（NVM）的出现势必对数据库系统带来重大影响，事务处理技术是其中最值得关注的重要环节之一。本课题拟依据NVM构筑的不同存储体系重新研究数据库事务处理技术，以NVM感知的方式从以下四个方面进行事务处理技术的探索 1）研究NVM 感知的负载划分与事务调度技术，提高事务执行效率和吞吐量；2）研究NVM 感知的数据布局与一致性保证技术，为严格事务语义提供支持。3）研究NVM感知的事务恢复技术，为系统提供可靠性保障。4）研究面向事务优化的非易失存储环境构成技术，支持上层事务处理技术的设计决策。同时，结合理论分析和基于模拟与真实的多种实验环境来进行技术的有效性验证。

近年来一些新型非易失存储器（Non-Volatile Memory，NVM）的出现引起了研究者的广泛关注。此类存储器具有非易失、大容量、低延迟、低功耗、按字节寻址等共同的特点。融入NVM的非易失存储环境将突破以往存储层级间无法逾越的I/O瓶颈，为数据库系统的研究带来全新的机遇，特别是有望突破在严格事务语义的要求下，数据库事务管理技术在易失与非易失存储设备之间艰难权衡的设计困境与性能损失。本项目旨在探索设计NVM-oriented事务型数据管理系统相关的核心技术，主要研究内容包括：新型非易失存储环境下数据管理技术的发展趋势与架构策略，事务型键值存储引擎性能优化与测试，NVM环境下的数据预处理与访问性能优化，上层应用实现与优化。本项目在4年的研究周期内，取得了一系列重要的研究成果，项目核心技术已经应用在具有自主知识产权的国产分布式金融事务型数据库系统CBASE中，该系统目前已经在交通银行的核心业务中得到应用。项目开展期间，共发表高水平研究论文28篇。其中，在国际顶级会议（SIGMOD、ICDE）上发表论文3篇；国际顶级期刊（TKDE）上发表论文3篇；国际著名期刊和会议（Information Sciences、CIKM、WWW、JPDC、DASFAA、KBS等）上发表论文6篇；在SCI检索期刊上发表论文6篇，国内顶级期刊（《软件学报》）上发表论文4篇。此外，项目本年共申请专利2项，软件著作权4项，共培养博士研究生7名，硕士研究生15名。项目的相关研究成果将为新型非易失存储环境下的数据管理技术的进一步研究与应用提供新的解决思路和技术支撑，具有重要的理论和实践意义。