时间密集型空间大数据实时计算关键方法研究——以精细气象预报产品快速生成为例

Rapid processing and knownledge discovery are urgently and essentially needed under the background of spatial big-data explosion. From the perspective of discrepancies in confidence level and in life-cycle of the hetorogeniously multi-sources spatial data for different time scales, this project propose a hierarchical timescale framwork with mainly focussing on the time-intensive unstructured spatial data. Under the framwork of this hierarchical theory, a layered data management model based on time-series spatial data is developed, and the real-time access of the time-intensive unstructured big data and the fast generation of fine-grid spatial products are deeply explored. Further, the real-time computing of time-intensive big data based on the Cloud GIS platform and fast data processing technology system are established. Finally, the validation and application of these technologies are conducted in combination with the need of meteorological precipitation forecast and flood warning.By acomplishment of the relevant theories and technologie, this study ,on one hand ,significantly improve China's new generation of GIS technology level and international competitiveness; on the other hand, it can support the national, regional and local meteorological disaster forecasting, early warning and emergency decision-making applications.

针对大数据汹涌背景下空间大数据的快速处理及知识发现问题，本项目主要以时间密集型的非结构化空间数据为主要研究对象，从多源异构空间数据在不同时间尺度上的置信度和生命周期差异角度出发，提出一种时间尺度分层模型，基于这种时间尺度分层理论，研究具有时间序列的空间数据分层组织管理模型，并在此基础上进一步开展时间密集型空间大数据的实时接入方法和精细空间信息产品生成方法研究，发展云IS平台支持下的时间密集型空间大数据实时计算技术，建立时间密集型空间大数据快速处理的方法和技术体系，并结合气象降水预报及洪水预警需求，开展技术验证实验与应用研究。通过对相关理论方法的研究及技术实现，一方面显著提升我国新一代GIS的核心技术水平和国际竞争能力，占据新一代GIS发展的技术前沿，另一方面支撑国家、区域及地方不同层次的气象灾害预报预警及应急决策应用。

结合基金项目任务设计的部署，本项目首先在传感网大数据数据模型和数据实时接入技术体系方面开展了研究，在相关理论方法研究的基础上进行了传感网大数据数据库和数据管理服务的设计和研发，最终相关软件模块集成与团队自主研发的空间大数据管理系统（GDOS）之中，并在浙江气象数据管理方面开展了应用实验；其次，结合实际应用需求，针对传感网数据、社会经济数据和基础空间数据的综合分析应用问题，初步研究建立了空间大数据决策器模型，并在此基础上进行了相关算法的初步实现，相关研究成果作为《遥感图谱认知》学术专著中的一部分内容已经形成初稿，预计在2017年出版；在上述理论、方法和技术研究的指导下，对研发的各部分软件模块和工具进行了集成，形成了传感网大数据应用原型系统；在应用实验方面，针对传感网大数据在实际应用过程中多与其他数据综合应用的实际情况，针对如何实现空间大数据融合，开展深层空间知识挖掘和应用的问题，开展了空间大数据决策器模型研究，并对其技术体系进行了初步的研究，对其中基础数据转换和融合方法进行了技术实现，并在基于影像的洪涝信息提取、传感网数据实时接入与展示和基于空间知识迁移的灾情快速评估等相关技术方法基础实验的基础上，结合广西甘蔗种植实际应用需求，开展了面向实际应用的多源空间大数据综合分析与应用试验，保障了研究成果实用性以及后续研究的可持续性。通过相关成果的总结，发表了7篇中英文论文，申请了相关专利1项，获得了软件著作权4项，辅助培养了5研究生，相关成果也在实际行业应用中进行了初步的应用。