支持多执行引擎的分布式图处理系统关键技术研究

Graph Data is a typical Big Data. With the development of social network, transportation navigation, bioinformatics analysis applications, the volume and scenarios of graph data have grown explosively which brings new search challenges to researchers and developers in the graph data management filed. Recently, to solve the problem of large graph data processing, research and industry communities have designed some systems for large graph processing, such as Pregel, Giraph and GPS. However, these systems may not be efficient in some computing tasks due to the synchronous execution model, lack of optimization for complex graph algorithms, and do not support incremental processing. In this project, we mainly focus on the key techniques for large-scale graph data processing systems, including system architecture design, graph data storage and organization, graph computing execution engine design, graph analysis and processing algorithm optimization. Based on this project, we strive for world-leading academic achievement in the aforementioned research areas, meanwhile implement high effective and reliable distributed graph processing prototype system to support large-scale graph management and analysis, and verify the new theory and technique proposed in the grant application.

图数据是大数据的一种重要数据类型，随着社交网络、交通导航、生物分析等系统应用的发展，不同领域中出现了各种类型的图数据，其数据规模也呈现出爆炸性的增长，给图数据管理领域的研究和开发人员提出了新的研究课题。现有的大规模图数据处理和分析系统，如Pregel、Giraph、GraphLab等，尚存在分布式计算同步执行效率不高、复杂算法难以优化、增量计算支持不足和开发使用困难等问题。本项目申请拟针对大规模图数据分布式处理系统设计的关键技术展开研究，具体研究内容包括系统架构设计、图数据的组织和存储、图计算任务执行、图算法的设计和优化。通过此项目研究，我们力争在上述研究领域取得国际领先的学术成果，同时在理论研究的基础上研制支持多执行引擎的分布式大规模图数据处理原型系统，验证本项目研究中提出的新理论和技术。

图数据是大数据的一种重要数据类型，随着社交网络、交通导航、生物分析等系统应用的发展，不同领域中出现了各种类型的图数据，其数据规模也呈现出爆炸性的增长，给图数据管理领域的研究和开发人员提出了新的研究课题。现有的大规模图数据处理和分析系统，如Pregel、Giraph、GraphLab等，尚存在分布式计算同步执行效率不高、复杂算法难以优化、增量计算支持不足和开发使用困难等问题。..本项目针对大规模图数据分布式处理系统设计的关键技术展开研究，具体研究内容包括系统架构设计、图数据的组织和存储、图计算任务执行、图算法的设计和优化。课题组开展一系列相关的研究工作，提出了多项支持大规模图数据管理相关技术和方法，撰写并发表论文31篇，其中CCF A类论文22篇；申请专利5项。在课题进行期间，有2名博士后、13位研究生参与研究工作，其中5名博士和4名硕士毕业。部分研究成果在腾讯公司得到实际应用。