基于GPU异构体系结构的大规模组Skyline查询关键技术研究

With the rapid development of computer and internet technology, data presents explosive increasing. In the applications such as sensor network and location based service, large-scale data is being accumulated. How to manage these data and explore potential value has been a hot issue of data management. Skyline query is an important data management operator, it plays a significant role in market decision, environmental monitoring and other application fields. However, existing skyline query technologies cannot management the large scale data effectively. In this project, we research group skyline query, which is an important variant of the skyline query, in GPU heterogeneous architecture environment. We formulate new group skyline queries due to users’ requirements for the diversity of query results. Next, we present new indexes and efficient pruning strategies to boost the query performance. Finally, based on the computational property of the GPU heterogeneous architecture, we develop progressive and effective algorithms for the group skyline queries. This research will enrich the theory of data management and high-performance computing and provide an important foundation for the development of data management technology based on GPU heterogeneous architecture.

随着计算机、互联网技术的发展，数据规模呈爆炸式增长，在传感器网络、基于位置服务等诸多应用领域积累了大规模的数据。如何高效地管理这些数据、挖掘数据中潜在的价值，已成为数据管理领域亟待解决的热点问题。Skyline查询作为一种重要的数据管理操作，在市场决策、环境监控等应用中发挥着重要作用。然而，传统的Skyline查询处理技术不能有效地管理大规模数据。为此，本项目以组Skyline查询问题为例，研究基于GPU异构体系结构的数据查询处理技术。首先，为了满足用户对查询结果多样性的需求，提出组Skyline查询新模型；然后，在新的查询模型基础上，提出大规模数据索引结构和高效的剪枝策略；最后，结合GPU异构体系结构的计算特性，研究组Skyline查询问题渐进且高效的并行算法。本项研究将丰富数据管理领域、高性能计算领域的理论知识，为基于GPU异构体系结构的数据管理技术的发展奠定重要基础。

随着计算机、互联网技术的发展，数据规模呈爆炸式增长，在传感器网络、基于位置服务等诸多应用领域积累了大规模的数据。如何高效地管理这些数据、挖掘数据中潜在的价值，已成为数据管理领域亟待解决的热点问题。Skyline查询作为一种重要的数据管理操作，在市场决策、环境监控等应用领域中发挥着重要作用。然而，传统的Skyline查询处理技术不能有效地管理大规模数据。为此，项目组针对组Skyline查询问题，立足于数据查询研究的最新研究成果，开展面向大规模数据的组Skyline查询处理技术研究。.在项目资助下，项目组分别就组Skyline查询模型、索引和剪枝策略、并行处理及应用三个方面开展了系列研究工作。在查询模型方面，提出了不确定数据查询模型、Top k组Skyline查询模型、典型G-Skyline查询模型（KGSky）、灵活GSky查询模型（FGSky）、基于top-t的k-truss社区查询模型；在数据索引及剪枝方面，针对前面提出的各种模型，分析并给出相应的数据组织结构，设计了高效的剪枝策略和查询处理算法，提升数据查询效率；在并行处理及应用方面，提出了面向大规模二部图的分布式 tip 分解算法、基于GPU的压缩感知加速算法、并行Q-learning安全防护策略、面向物联网应用的高效并行安全外包机制，根据不同的应用需求有针对性地开展应用研究，实现面向GPU异构体系结构的渐进、可扩展的并行处理算法。本项目采用模拟生成和实际采集的通用数据集，通过大量对比实验验证，结果表明本项目所提出的模型、算法和机制在查询性能、查询质量、可扩展性等方面具有优势，相关研究成果具有重要的应用价值，一定程度上推动了大规模数据查询、并行处理技术的应用进程。.在项目资助下，共发表学术论文 10余篇，包括CCF A论文2 篇，被SCI 收录10篇。获国家发明专利8项。项目相关成果获得中国计算机学会 (CCF) 技术发明二等奖1项和湖南省科技进步三等奖1项。