计算与存储融合的实时GIS数据组织管理方法

It has become the international frontier problem of real-time GIS to efficiently manage real-time accessing sensor data, support dynamic data flowing into online geographic processing and analysis model, and realize the convergence of computing and storage. This project aims at the characteristics of real-time accessing, dynamic computing and massive storage of GIS data, proposes a geographic semantic constraint database model integrating internal and external storage, and a collaborative storage method of distributed file system, memory database and relational database; aiming at the efficiency differences between storage and computing, as well as the differences on structure and particle size of internal and external storage, this research proposes a collaborative indexing method based on geographic semantics, and achieves the optimal retrieval on correlation semantic data; studying the updating method between internal and external storage based on changing semantic constraint to satisfy the real-time updating of collaborative index and maintain consistency. Study the semantic associated real-time GIS data dynamic scheduling method of internal and external storage , the decomposition of data scheduling tasks based on the association between associated geospatial semantics, to achieve the parallel scheduling of geographic temporal data retrieval tasks in internal and external storage, Finally, a prototype system is built to verify the correctness and validity of research results.

如何高效管理实时接入的传感器数据，并支持动态数据在线融入地理过程计算与分析模型中，实现计算与存储的融合，保证分析结果的现势性和有效性，已成为实时GIS数据管理研究的国际前沿难题。本项目针对GIS数据接入的实时性、计算的动态性和存储的海量性等特点，研究提出面向地理语义的内外存一体化数据库模型，以及内存数据库/分布式文件系统/关系型数据库协同存储方法；针对数据存储和计算的效率差异，以及内外存数据组织的结构和粒度差异，提出内外存协同的地理语义索引方法，实现语义关联数据的最优查询检索；研究变化语义约束的内外存动态更新耦合方法，实现内外存协同索引的实时更新与一致性维护；研究语义关联的实时GIS数据内外存动态调度方法，基于地理空间语义关联的数据调度任务分解，实现地理过程时空数据检索任务的内外存并行调度。最后，通过原型系统验证研究成果的正确性和有效性。

项目面向将空间传感数据实时融入地理过程计算和分析模型中，实现计算与存储的融合，保证分析结果的现势性和有效性的需求，针对目前空间和属性信息连续变化过程统一表达难点，设计了统一时空变化对象多维要素的地理视频数据模型，通过空间、时间、属性、尺度和语义五个维度对地理视频数据进行统一表达，为实时GIS数据的存储管理提供基础支撑。针对“先存储，再计算”的组织模式在大数据环境下存在的严重I/O瓶颈，研究了NoSQL-SQL混合存储的地理视频数据库物理模型，可降低在线分析的实时接入数据延迟。针对时空变化对象在几何形态、时空分布等方面差异、内外存数据索引之间的交互映射及一致性维护难点设计了内外存协同的时空索引方法，通过时间轴分割将历史变化对象和活跃变化对象数据分开组织，增加图结构来记录记录节点与节点之间路径关系的结构，减少了3DR树索引节点频繁的内外存交互操作。针对地理视频中富含的变化语义信息，发展了一种顾及变化语义的时空索引方法，通过建立地理位置语义R树索引、变化对象语义文本的倒排索引和对象生命周期的起始时间构建的B树组合索引，实现了地理位置语义约束下的时空变化对象时态查询。针对实时GIS时空数据库中变化语义相似性查询需求，设计了由词项频率和逆文档频率组合的权重值TF-IDF计算公式进行语义相似性度量；针对"对象-行为过程-事件"的关联查询需求，设计了位置-时间、位置-顺序、位置-关系等三类典型模式的时空变化过程要素检索方法，通过对查询的SQL条件语句进行综合重构，有效降低了查询的计算复杂度。针对实时GIS数据应用中内外存的I/O瓶颈和资源竞争问题，建立了基于线程池和数据库连接池的内外存动态调度模型，结合预调度机制，可有效分散磁盘I/O，提高了数据调度效率。项目成果有效整合了时空语义数据的管理、实现了内外存的协同，为智慧城市各类实时传感器数据的高效管理与实时分析计算应用提供了有效途径，丰富和发展了实时GIS基础理论方法。