基于频繁更新的大图数据查询和管理技术研究

Graph, as a widely used data structure in data processing, is often too massive to fit in the computer's internal memory. As the number and relationships between entities of the real-world applications are constantly changing, the contents and the structure of graphs are frequently updated. These requirements pose a significant challenge to the traditional graph processing frameworks, such as external memory algorithms based on magnetic disks. To address this problem, this proposal focuses on (1) technologies of effective storing and managing frequently updated big-graph based on SSDs; (2) proposing semi-external algorithms to solve computation problems on frequently updated big-graph; and (3) implementing a prototype system based on SSDs and semi-external algorithms for frequently updated big-graph pressing. With significant academic and practical prospects, this research work will effectively advance the development of big graph processing technology.

图（Graph）作为数据处理最常用的数据结构，其规模变得越来越大，远远超乎内存的容量。同时，由于应用问题中实体对象的数量和相互之间的关系都在不断的发生变化，图的结构或内容也不断动态更新，这给传统的图数据处理框架提出了新的挑战。另外，受数据规模以及I/O延迟等因素的影响，传统基于磁盘的外存算法缺少实际的可行性，无法及时响应面向频繁更新的大图数据的查询处理请求。 本项目拟从以下三个方面开展研究：（1）基于固态硬盘SSD的频繁更新的大图数据存储与管理技术；（2）基于半外存的频繁更新的大图数据处理技术；（3）设计并实现一个基于SSD和半外存的、频繁更新的大图数据管理的原型系统。 基于频繁更新的大图数据查询和管理是一个较新的研究方向，本项目的研究将有效的推动大图数据处理技术的发展，具有十分重要的学术意义和广阔的应用前景。

图（Graph）作为数据处理最常用的数据结构，其规模变得越来越大，远远超乎内存的容量。由于应用问题中实体对象的数量和相互之间的关系都在不断的发生变化，图的结构或内容也不断动态更新，这给传统的图数据处理框架提出了新的挑战。另外，受数据规模以及 I/O 延迟等因素的影响，传统基于磁盘的外存算法缺少实际的可行性，无法及时响应面向频繁更新的大图数据的查询处理请求。本项目主要研究内容包括（1）基于固态硬盘 SSD 的频繁更新的大图数据存储与管理技术；（2）基于半外存的频繁更新的大图数据处理技术；（3）设计并实现一个基于 SSD 和半外存的、频繁更新的大图数据管理的原型系统。本项目的重要研究成果包括：面向大图查询独立子集的创新算法和技术、基于SSD的大数据存储技术和学术大图数据的原型系统。本项目发表相关论文13篇，其中包括国际顶级数据库会议VLDB，ICDE等，申请专利3个。