图融合处理系统的高效使能技术研究

Exploring data relevance has become an imperative of big data applications. With contributions from the academia, industry and open-source communities, such phenomenon has driven the rapid development of various graph processing systems targeting at different scenarios (analysis, query, stream processing, etc.). Although real-world use cases usually involve a combination of the different scenarios, existing researches on graph processing systems mainly focused on only one of them. The traditional solution by cascading multiple systems has several obvious drawbacks, including replicated store, redundant transmission, incompatibility, and inflexibility..Specifically, this project proposes a conception of the graph-structured fusion system, for which we will first exploit a comprehensive data model and programming interface, and further investigate the fundamental techniques in graph storing and processing. The core of this work is not only a "superficial” accumulation but also an "intrinsic" fusion of graph processing systems, to pursue the effect of "1+1>2". Finally, we choose the data and requirements of social networks as a typical use case to verify the effectiveness of our prototype implementation. The research results of this project will significantly improve the performance and the user experience of graph-structured big data applications, and constructively assist the landing of big data in various fields

大数据应用在需求上的深化，着重体现在对数据间关联性的深度挖掘，驱动了面向图结构数据的各类分析、查询和流计算系统（即，图处理系统）的研发和应用在学术、开源和产业界的快速发展。然而，当前图处理系统的研究主要聚焦在单一应用需求，难以满足现实图计算大数据应用场景中多种应用的有机复合需求。传统使用多个图专用系统进行简单级联的解决方案存在众多不足，包括重复存储、冗余传输、难以兼容和不够灵活等。因此，本项目提出图融合处理系统构想，拟探索“兼收并蓄”的图数据模型和编程接口，进而指导对图融合系统中数据存储与任务处理的关键技术研究，力求不仅在“形式上”的合并更强调在“内容上”的融合，追求达到“1+1>2”的效果。最后，将以社交网络平台数据和需求做为典型案例，在图融合处理系统的原型上构建验证应用。项目的研究成果将能够显著提高图计算大数据应用的执行效率和用户体验，对大数据实现在各领域的应用落地起到积极的推动作用。

大数据应用在需求上的深化，着重体现在对数据间关联性的深度挖掘，驱动了面向图结构数据的各类处理系统的研发和应用。然而，当前图处理系统的研究主要聚焦在单一应用需求，难以满足现实图计算大数据应用场景中多种应用需求。因此，本项目重点研究图融合处理的关键技术和优化方法，研制原型系统支持在图结构数据上实现高效的分析、查询和挖掘等多种任务。具体开展了以下研究工作:. .首先，构建了面向图结构数据的融合处理系统平台Wukong，采用分布式内存计算架构，兼容Property和Semantic两种图数据模型，支持图分析、图查询、图挖掘等多种任务，多项性能指标实现了数量级提升。开源平台作为后续研究的基础，已产出十多项关键技术、科技论文和发明专利。. .其次，重点研究了图划分和迁移方法、查询优化器设计、图存储系统优化、并发控制策略等关键技术，成果包括：提出了分离式动态数据迁移技术，实现图数据的细粒度试试迁移；提出了差异化图划分方法，并通过理论建模和数值模拟验证了方法高效性；提出了基于图数据类型嵌入的新型查询优化器；首次将智能技术运用在分布式键值存储中；提出了面向复杂数据的混合并发事务控制策略，并针对只读任务提出去中心化时间戳方案。. .最后，本项目进一步从软硬件两方面将研究工作拓展到了更广的领域，成果包括：提出了基于GPU的高并发图查询优化方法，利用异构硬件资源运行异质图负载；研制了面向事务和分析混合任务的融合计算系统，实现对事务数据的毫秒级实时分析；提出了通用图神经网络训练编程模型，高效表达各类GNN模型。这些尝试都为后续开展基于新型异构硬件的图神经网络系统的研究打下坚实基础。. .项目各项指标全面超出预期，共计发表论文13篇（其中CCF A类论文7篇）；申请发明专利12项（其中5项已授权）；构建和开源多个原型系统项目；项目负责人获得青年长江学者支持。研究成果是获得教育部技术发明一等奖，上海市技术发明一等奖，以及华为奥林帕斯先锋奖的关键技术之一，对大规模图数据处理的应用落地起到积极的推动作用。