面向持久内存的图数据存储方法优化技术

The graph data structure can reflect the intrinsic relationships between related data effectively. It has become an important data structure in the Big Data era. Knowledge graph is one of the typical application scenarios of graph data. It will become an emerging research hotspot of artificial intelligence. The main storage method of graph data is by using a graph database. At present, state-of-the-art graph databases mainly use traditional graph data structure to express the graph data structure. This will lead to the loss of some internal-relationships between data. At the same time, state-of-the-art graph databases are mainly designed for traditional disk medium. The slow hard ware will slow down the performance and response time of the graph database. In this project, we intend to propose a new paradigm of graph data structure. The novel paradigm will express the graph data structure more precisely and comprehensively. Base on the novel graph data structure, we introduce the byte-addressable non-volatile memory medium to redesign the graph database architecture and implement a graph database prototype system. The project aims to achieve the efficient and high-performance storage and access of graph data in persistent memory.

图数据结构能够反应关联数据之间的内在联系，成为大数据时代体现数据内在价值的重要数据形式。图数据典型应用场景之一的知识图谱技术将成为人工智能新的研究热点。图数据的主要存储方法是使用图数据库。当前图数据库主要使用传统的图数据结构表达和存储图数据，不能很好地表达数据之间的内在联系，同时主要针对传统磁盘介质设计，性能和响应时间上存在着很大的优化空间。针对以上问题，本项目拟研究新型的图数据存储模型与数据结构，该存储模型与数据结构目标在于更加简洁、准确地反映数据之间地内在联系，体现数据关联地价值。同时，本项目以持久内存为介质背景，基于异构混合内存体系架构构建新型地图数据库系统，优化图数据地查询方法与查询机制，实现图数据在持久内存上高效存储与访问。

图数据可以有效地反映数据与数据之间的关联性，是大数据的主体形态。图数据的存储、分析与处理对互联网具有非常重要的意义和价值。数据存储是数据分析与处理的前提与重要环节，在图数据存储方面，目前主要的方法是使用图数据库，设计与实现图数据库的重要基础是图数据的存储模型，图数据的存储模型主要有邻接链表和邻接矩阵两种方法，这两种方法能够表达图数据的基本结构与信息，但是这两种方法的问题是没有严格地反映出图数据的本质特征，割裂了图数据之间的关联，并且在时间和空间复杂度上有改善空间。另一方面，现有的图数据库作为一个上层的应用程序系统需要依赖底层的文件系统完成图数据的存储，并且主要针对磁盘或SSD固态硬盘等存储介质设计的。随着图数据应用场景的深入发展和广泛应用以及近年来非易失性内存介质等技术的快速发展，对于图数据库的需求也与日俱增，而现有图数据库在存储模型与系统架构等诸多方面都还维持着传统的方法和模式，没有面向新的应用场景和新型的存储介质做出相应的改进。.基于以上问题及研究背景，本项目开展了基于持久内存的图存储及图数据库相关关键技术的研究，提出一种基于集合的图数据存储模型，该模型严格反映了图的数学定义，保持了图数据之间的关联性，并能实现与持久内存介质特性良好的匹配性，与现有图数据存储模型相比，具有更好的时间和空间效率，并且基于以上模型设计并实现了一种基于持久内存介质的图数据的直接存储架构，该架构基于DRAM和NVM混合内存体系结构，实现了图数据在NVM上的直接持久存储和在DRAM中的高效查询，并基于此架构实现了不依赖于底层文件系统的图数据库示例原型EulerDB。为了探究EulerDB的性能，在Intel Optane持久内存服务器上，与现有主流图数据库系统进行了性能测试对比，插入节点延迟仅为持久内存数据库原型系统PMGD的25.22%，插入边延迟为PMGD的40.90%，EulerDB在Freebase数据集上完成计数节点操作只需43.63毫秒，比PMGD快25.47%。结果表明，基于集合的图存储模型能够有效地工作并且可以取得良好的系统性能。