面向非易失主存的持久内存数据管理研究

Computer systems in the near future are expected to have Non-Volatile Main Memory (NVMM), enabled by a new generation of Non-Volatile Memory technologies, such as PCM, STT-RAM, and Memristor. Main memory data management technology has been gradually adopted by mainstream database companies and been playing an increasingly important role in practice. These two trends lead to a new development: persistent in-memory data management on NVMM. It will be the first time for database systems to remove the limitation imposed by secondary storage, potentially enabling new breakthrough in performance. The non-volatility property has the promise to persist in-memory data structures for instantaneous failure recovery, thereby greatly improving the availability of the system. However, realizing such promise requires a careful design of data structures and algorithms to ensure that the system can be recovered to a known consistent state after failure. Moreover, NVMM has its own unique characteristics, which is different from hard disks, flash, and DRAM. These challenges fundamentally change the focus and the optimization goals of data management solutions. This project proposes to re-think in-memory data storage, index structures, data processing algorithms, query execution strategy, and transaction processing for achieving persistent data management on NVMM.

未来计算机系统的主存预期将采用新兴的非易失存储技术，例如PCM，STT-RAM，Memristor等。随着主存容量的快速增长，内存数据管理已经逐渐为主流的数据库厂商所接受，发挥着越来越大的作用。这两大趋势相结合，使面向非易失主存的持久内存数据管理成为必然的方向。数据管理系统将第一次真正地摆脱外存的束缚，实现性能的进一步突破。系统可能通过毫秒级别的重启，从掉电等瞬时故障中恢复，从而极大地提高了可用性。但是，为了恢复到已知的正确一致的状态，持久性的实现要求仔细地设计数据结构和算法，及时地在非易失主存中保存数据和状态信息。此外，新兴的非易失主存技术与硬盘、固态硬盘、DRAM技术相比，具有其独特的特点，带来了新的挑战，使考虑问题的侧重点、性能优化的目标都发生了本质的改变。本项目将重新思考内存数据存储、索引、运算、查询执行和事物处理，探索适合非易失主存特点的持久数据管理方法。

本项目针对NVM读写非对称、特殊指令代价和兼顾CPU Cache/多核并行等多个优化目标这三个关键科学问题，从数据存储、索引结构、事务处理和运算查询执行等方面开展研究工作。5年前，我们预期未来计算机系统的主存将采用新兴的非易失存储技术。今天这个预期已经成为现实：Intel已经于2019年4月推出第一款面向通用计算市场的非易失NVM主存产品3DXPoint（Intel Optane DC Persistent Memory，Intel 傲腾内存）。. 首先，我们对3DXPoint非易失主存进行系统地测试，从而揭示其特性，并比较其与当前DRAM技术的异同。通过测试，我们发现3DXPoint写的内容不影响3DXPoint的写性能， 3DXPoint访问性能比DRAM低2-3倍，其写性能比读性能低，对3DXPoint强制写回有非常大的代价，3DXPoint的读和写性能随着数据量的改变有比较大的改变，主要变化发生在1/8容量之前。. 其次，基于上述对3DXPoint的性能分析，我们提出一种面向非易失主存的树状索引结构（LB+-Tree），与现有方案相比，该结构针在保持高效的读操作的同时，优化了节点结构，对插入操作提出了首索引项迁移技术和零日志节点分裂技术，比现有的面向NVM的B+-Tree在插入性能方面有1.12-2.92x的提升。我们与阿里合作，在阿里核心OLTP数据库XEngine中用LB+-Tree代替其主存Skiplist索引，在NVM主存环境下，采用LB+-Tree的方案性能提升1.25-1.83x。. 再次，我们提出一种新型的面向3DXPoint优化的主存数据库系统ZEN，可以在提供更大主存存储空间的情况下，使事务处理性能接近DRAM内存系统，并且实现数据恢复快速完成。与现有系统（MMDB、WBL、FOEDUS）对比，正常运行YCSB事务处理性能有3到10倍的提升。. 最后，我们在内存数据库和大数据系统中研究了查询执行和数据分析运算。在内存数据库中对复杂过滤条件进行了SIMD优化，对于DP聚类算法进行了并行化优化，对树状结构类型的数据的分析处理进行了优化，并对图计算性能建模和时空图分析处理进行了研究。