基于内存的大规模空间数据管理和机器学习系统

Due to the ubiquity of spatial data applications and the large amounts of spatial data that these applications generate and process, there is a pressing need for scalable spatial query processing and machine learning. In this work, we present new techniques for spatial query processing and optimization in an in-memory and distributed setup to address scalability. More specifically, we introduce new techniques for handling query skew, which is common in practice, and optimize communication costs accordingly. We propose a distributed query optimizer that use a new cost model to optimize the cost of spatial query processing. The scheduler and query optimizer generate query execution plans that minimize the effect of query skew. The query scheduler employs new spatial indexing techniques based on bitmap filters to forward queries to the appropriate local nodes. Each local computation node is responsible for optimizing and selecting its best local query execution plan based on the indexes and the nature of the spatial queries in that node. We also build a spatial data machine learning systems based on the built spatial query processing framework, the data processing pipeline combines the machine learning and query processing gives more opportunities to reduce the memory usage and runtime of the spatial data processing. All the proposed spatial query processing and optimization techniques are prototyped inside Spark, a distributed memory-based computation system.

空间数据是指带有空间位置信息特征的数据。大规模空间数据的查询和分析，在地理信息系统，城市计算，基于位置的推荐系统，无人驾驶等各个应用场景中，起着基础性的作用。针对现有的空间数据处理平台处理海量数据时存在的高延迟，低吞吐率的问题，我们建立一个基于内存的分布式空间数据计算系统。主要拟开展研究：基于SQL的空间查询计划的优化，空间数据的分布式内存索引，空间查询在计算节点之间的倾斜和冗余传输,分布式内存的动态缓存等。其次，我们将空间数据的机器学习算法 (如聚类和分类算法)和空间数据查询系统相结合，构建统一的空间大数据处理流程，进行计算的全流程的优化，减少相应的内存和CPU开销。最后本项目将提供空间数据查询和分析的SQL接口，以及基于WebGIS空间数据展示。本项目将全部开源，为近一步的空间数据的研究和应用打下坚实的基础。

空间数据是指带有空间位置信息特征的数据。大规模空间数据的查询和分析，在地理信息系统，城市计算，基于位置的推荐系统，无人驾驶等各个应用场景中，起着基础性的作用。(1)针对现有的空间数据处理平台处理海量数据时存在的高延迟，低吞吐率的问题，我们建立一个基于内存的分布式空间数据计算系统。主要拟开展研究：基于SQL的空间查询计划的优化，空间数据的分布式内存索引，空间查询在计算节点之间的倾斜和冗余传输,分布式内存的动态缓存等。(2)其次，我们将空间数据的机器学习算法 (如聚类和分类算法)和空间数据查询系统相结合，构建统一的空间大数据处理流程，进行计算的全流程的优化，减少相应的内存和CPU开销。(3) 同时针对大数据处理过程的数据血缘管理，我们建立一个数据血缘管理的系统，来跟踪保护数据的全生命周期的质量和权限管理. (4) 最后在大数据处理的流程中，我们建立一个云原生的工作流调度系统，支持云端的大数据工作流数据处理和编排。最后，我们实现了空间大数据处理系统LocationSpark, 空间大数据机器学习系统MatFast, 空间大数据数据血缘管理系统Spark-Atlas, 大数据处理工作流调度系统Couler，同时在大数据可视化方面，提出了2个可视化交互算法，相关系统顺利开源，在开源社区取得一定的国际影响力，相关论文发表到ICDE，IEEE TVGG, IEEE VAST 等会议和杂志。