云计算环境下大GML空间数据并行存取与处理关键问题

With the development of earth observation technologies, GML spatial data are growing exponentially year by year (currently in a petabytes even Exabyte scale). Era of big spatial data is coming. The I/O and computation capabilities of spatial database can hardly meet the high performance requirement of processing big spatial data. Cloud computing and NoSQL technologies provide a new solution for distributed storage and processing of semi-structured big GML spatial data. By analyzing existing distributed file system of cloud computing and combining GML Spatial data characteristics , one efficient distributed file system for GML spatial data will be studied and designed. Integrating XML document segmenting algorithms and existing spatial data partitioning algorithms, one new data partitioning algorithms appropriate to GML spatial data distributed storage will be studied and developed. Combining the existing cloud computing distributed data management system and NoSQL database trchnologies, the key problems for massive GML spatial data distributed storage management will be studied. Integrating parallel indexing algorithms for XML document and spatial data, parallel indexing architecture and algorithms appropriate to GML spatial data will be studied, and corresponding parallel query language and query processing and query optimization algorithms will be developed. Parallel spatial data analyzing algorithms and task scheduling policy appropriate to GML spatial data will be studied.Its prototype system will be developed. This research will enrich and develop the theory and application archtecture of distributed spatial database.

随着对地观测等技术的发展，GML空间数据呈爆炸性增长,达到了PB级甚至EB级规模，大空间数据时代已经到来。传统空间数据库的存储、计算及I/O能力难以满足大空间数据高性能处理需求。云计算及NoSQL技术为半结构化的大GML空间数据的分布式存取与处理提供了新的解决途径。分析现有云计算分布式文件系统，结合GML空间数据的特点，研究设计高效的GML空间数据分布式存储系统及并行空间索引机制；兼顾地理要素几何及空间关系完整性，研究适合于GML空间数据分布式存储的数据划分算法及数据放置策略；结合现有云计算分布式数据管理系统及NoSQL数据库技术，研究分布式大GML空间数据管理的关键问题。研究开发适合于GML空间数据的并行查询语言、查询处理及优化算法。研究云计算环境下适合于GML空间数据典型并行分析算法及任务调度策略。最后，研究开发相应的原型系统。项目的研究将进一步丰富分布式空间数据库的理论与应用。

大数据时代，传统空间数据的存储、计算及I/O能力难以满足空间大数据高性能处理需求。云计算及NoSQL技术为GML空间大数据的分布式存取与处理提供了新的解决途径。项目分析现有空间数据划分算法以及GML空间数据特点，兼顾地理要素几何以及拓扑关系等完整性，提出了一种四叉树与Hilbert编码相结合的GML空间大数据划分算法及副本放置策略，设计了云计算环境下GML空间大数据存储模型。结合空间数据划分算法，提出了一种四叉树和R树相结合的GML空间数据两级并行索引结构。针对GML空间数据的特点，采用MapReduce并行计算模型，对分布式XML标准查询语言XQuery、HiveQL进行扩展，增加空间数据类型和空间操作算子，实现了云计算环境下GML空间数据并行查询及相关算法。结合云计算开源框架Hadoop以及MapReduce模型，设计并实现了空间连接操作、缓冲区分析和叠加分析的并行算法；同时，作为数字高程模型的应用，设计并实现了地形特征因子提取、地形形态特征点提取和地形形态特征线提取的MapReduce并行算法；作为出租车轨迹数据的应用，基于Spark平台，利用并行化K-Means算法对居民出行轨迹数据进行空间聚类，提取城市居民工作日、休息日出行热点区域，并对热点区域的数量及分布情况进行动态分析。本项目对GML空间大数据的MongoDB存储、查询进行了探索性研究。最后，开发了GML空间大数据存储管理、空间大数据查询与分析原型系统，对项目研究提出的空间大数据存储模型、空间数据划分算法、空间数据的副本机制、并行空间查询、空间分析算法等进行了测试，验证了项目研究成果可行性、有效性。项目的研究进一步丰富空间大数据存储管理及分析应用体系。