大规模图数据集成关键技术研究

Big graphs merged in different application domains are complementary to each other. The graph integration will enrich profiles of individual data items, and effectively support applications on the integrated big graphs, like product/information recommendation, customer evaluation, and so on. Facing the challenges including the uncertainty, massive data, and privacy protection in big graph integration, this project conducts research from the viewpoints of the key techniques and prototype...The key techniques studied in this project first include the generalized graph integration techniques. The project plans to propose a transfer learning based iterative inferring method for hidden attributes, a probabilistic graph integration approach incorporated with user feedbacks, and a privacy aware group query with high precision. Second, this project studies the optimization strategies suitable in the distributed graph processing framework, and attempts to design a local sub-graph aware method to build initial integration mappings, a three-stage message propagation approach to graph integration, and an extension to distributed graph processing framework to support both online queries and offline analysis. Third, the project will study graph integration in specified domains. Specifically, the project will devise an approach to knowledge graph integration via the minimized meta-search, and a social network integration method based on user feedbacks collected from the recommendation system...This project will develop a graph integration prototype based on Giraph, an open source implementation of Pregel in Google, to test the effectiveness of our methods in the field of social network and knowledge network.

不同应用领域中涌现的大图数据存在互补，大图数据集成将丰富个体数据特征，有效支持信息推荐、客户评估等诸多应用。面对大图数据集成和服务中不确定性、海量数据、隐私保护等挑战，本课题从关键技术和原型系统两个层面展开研究。.在关键技术层面，本课题将研究大图数据的通用集成方法，拟提出基于迁移学习的隐含属性迭代推测方法、基于用户反馈的多特征概率集成方法、隐私保护感知的高精度群体查询策略；本课题将研究分布式环境中大图数据集成的优化策略，拟提出感知局部内容+结构的初始映射构建方法、基于三阶段消息扩展的分布式大图集成方法、同时支持在线查询和离线分析的分布式图数据处理框架的扩展机制；本课题将研究面向应用领域的大图数据集成，拟提出面向最少元搜索的知识网络集成方法、基于推荐反馈的社交网络集成方法等。.在原型系统层面，本课题拟利用现有的分布式大图计算框架Giraph，研制面向社交网络和知识网络的大图数据集成原型系统。

不同应用领域中涌现的大图数据存在互补，大图数据集成将丰富个体数据特征，有效支持信息推荐、客户评估等诸多应用。面对大图数据集成和服务中不确定性、海量数据、隐私保护等挑战，本课题从关键技术和原型系统两个层面展开研究。在关键技术层面，本课题研究了大图数据的通用集成方法，提出了基于迁移学习的隐含属性迭代推测方法、基于用户反馈的多特征概率集成方法、隐私保护感知的高精度群体查询策略；本课题研究了分布式环境中大图数据集成的优化策略，提出了感知局部内容+结构的初始映射构建方法、基于三阶段消息扩展的分布式大图集成方法、同时支持在线查询和离线分析的分布式图数据处理框架的扩展机制；本课题研究了面向应用领域的大图数据集成，提出了面向最少元搜索的知识网络集成方法、基于推荐反馈的社交网络集成方法等。在原型系统层面，本课题利用现有的分布式大图计算框架Giraph，研制了面向社交网络和知识网络的大图数据集成原型系统。.课题执行期间，课题组将研究的关键技术成果应用于实际系统，并根据实际应用的反馈优化研究路线。应用中我们发现，单纯结构信息不足以支持用户应用，融合内容、结构、时间、空间等特征才能实现有效的图数据分析。课题组以异构信息网络为数据模型，设计图神经网络融合多源异构信息，支持商品推荐、异常发现等应用。.课题执行期间，发表CCF A类会议或者期刊论文9篇(包括VLDB J、TKDE, ICDE、AAAI、IJCAI等)，B类会议(包括CIKM)论文一篇，申请2项专利，课题组研究生毕业3名，成果应用于阿里和国家政务相关的场景。