云计算环境下大规模多源遥感数据高效组织方法研究

Large-scale multi-source remote sensing data has brought great challenges for retrieval and access. But the space-time sequence organization models of remote sensing big data, which are often used at the present stage, do not fully consider the spatio-temporal characteristics, resulting in poor logical association between data and low efficiency in data retrieval and access. Therefore, a space-time index-based efficient data organization method is proposed. Firstly, a unified remote sensing metadata format was developed based on the geographic information metadata standard to shield the metadata differences of multi-source heterogeneous remote sensing data. Secondly, the remote sensing image is segmented and GeoSOT grid is used to create spatial identification of the segmented tiles to improve the spatial correlation between the tiles. Then, the spatio-temporal index is built based on the unified spatial and time identification of the tile data and other information to improve the retrieval efficiency of massive tile data. Finally, based on the spatio-temporal index, the tile data associated with spatio-temporal logic is centrally stored in the same data node in the cloud storage to improve the access efficiency of the massive tile data. In addition, based on the Spark computing framework, the large-scale multi-source remote sensing data that has been organized is accessed and analyzed from the time dimension, to verify the effectiveness of the organization method. The innovation lies in proposing an efficient method for organizing large-scale multi-source remote sensing data based on spatio-temporal indexing, enabling quick retrieval and access in cloud computing environments.

大规模多源遥感数据为检索、访问带来了巨大挑战。现阶段常用的遥感数据组织模式没有充分考虑时空特性，数据之间逻辑关联性差，数据检索及访问效率较低。因此，提出基于时空索引的大规模多源遥感数据高效组织方法。首先，基于地理信息元数据标准制定统一的遥感元数据格式，屏蔽多源异构遥感数据的元数据差异；其次，将遥感影像进行切分并利用GeoSOT网格对切分瓦片建立空间标识，以提高瓦片之间的空间关联性；然后，利用统一的空间、时间标识等信息建立时空索引，并基于HBase数据库提高海量遥感瓦片数据的检索效率；最后，基于该时空索引将时空逻辑关联的瓦片数据集中存放在云存储的同一数据节点，以提高海量瓦片数据的访问效率。此外，基于Spark计算框架，从时间维度对组织完成的大规模多源遥感数据进行访问及分析，验证组织方法的有效性。创新点在于提出了基于时空索引的大规模多源遥感数据高效组织方法，在云计算环境下实现了快速检索及访问。

持续不间断的对地观测积累的大规模多源遥感数据，为长时序地表覆被演变监测提供了充足的数据源。然而，受限于卫星轨道设计及卫星开关机策略，长时序遥感数据往往存在时空分布不均匀现象。现阶段常用的遥感数据组织管理模式没有充分考虑遥感数据时空分布不均匀特性，数据之间逻辑关联性差，数据检索及访问效率较低。云计算以其海量存储、高性能计算以及弹性可扩展优势可以为大规模遥感数据的快速检索提供新的解决方案。.因此，本研究提出了基于时空索引的大规模多源遥感数据高效组织方法。首先，针对遥感数据海量、多源、异构等特征造成的数据检索效率不高的问题，构建了统一时空、语义基准下的时空索引模型，提出了基于GeoSOT-ST的时间、空间、数据类型等多属性联合索引构建方法，攻克了大规模、多源遥感数据元数据检索效率低下的技术难题，应用于Landsat、MODIS、HJ等系列遥感数据管理，实现了PB级数据检索秒级响应。其次，针对遥感影像数据单幅体量较大造成的分布式文件系统存储访问效率不高的问题，构建了基于一致性哈希算法的影像瓦片数据存储优化策略，将具有相似时空索引编码的遥感影像瓦片按照一致性哈希算法散列到相同或相近邻的分布式存储节点，攻克了原生分布式文件系统默认的机架感知副本放置策略造成的时空近邻数据访问效率偏低的技术难题，应用于Landsat、MODIS、HJ等系列遥感影像数据的访问，实现了相较于原生HDFS文件系统的40%的数据访问效率提升。最后，利用组织完成的大规模多源遥感数据，针对长时序遥感土地覆被逐时相分类费时费力且精度差的问题，构建了基于变化检测的长时序土地覆被分类模型，利用检测到的时序变化点将长时间序列划分为若干个未发生变化的子区间，然后利用深度学习、DTW等算法模型进行地物分类，从而可以大大提高长时序地物分类的效率及精度，克服了传统方法利用自然年或季节为周期进行分类存在的效率低、精度差的弊端，对于大区域、长时序遥感数据分类具有较大的应用价值。