空间网络分布式虚拟存储与管理的理论和方法

Spatial information networks (SINs) are faced with many basic challenging storage problems, including low access/query performance, low storage resource utilization, difficulties in personalized management, and high development/operation costs. This study closely addresses the core scientific problems of SINs and aims to achieve high-efficiency virtual storage, high-performance shard access, and highly dynamic coordination. Based on realistic demands, we propose a set of underpinning theoretical methods including abstracted definition and quantitative measures for storage resources and Quality-of-Service, data locality-aware network coding for heterogeneous spatio-temporal data, and statistical modeling/analysis of storage workload characteristics. Supported by underpinning methods, we leverage our previous experiences in computing resource scheduling, multi-objective spatial optimization and spatio-temporal database, and proceed to study file organization for continuous data access, data placement based on multi-objective optimization models, and online storage performance prediction and management using reinforcement learning. The proposed methods and technologies constitute a complete application framework for distributed virtual storage in SINs. This study will significantly promote the efficiency of storage, access, and management of massive spatio-temporal data for SIN. Meanwhile, theories and methodologies of SIN will be dramatically advanced by this study.

空间信息网络在数据存储方面面临访问和查询性能较弱、存储资源利用效率较低、差异化个性化管理难度较高、建设和运维成本较高等基础难题。本研究紧密围绕空间信息网络核心科学问题，针对高效能虚拟存储、高性能共享访问和高动态协同调度的基础目标，结合实际应用需求，研究包括存储资源与质量目标抽象定义与量化量度、异质时空数据局部性约束编码、存储负载行为模式统计建模与分析在内的支撑理论方法。在关键支撑方法的支持指导下，基于项目组在动态计算资源调度、多目标空间优化和时空数据库等方面的研究积累，研究面向连续时空数据接入与访问的文件组织方法、基于多目标优化的数据布局策略、顾及动态负载环境的强化学习在线存储性能预测与管理方法，形成支持空间信息网络分布式虚拟存储与管理的完整应用技术体系框架。本项目的研究成果将显著提高空间信息网络中海量时空数据的存储、访问和管理效率，有力地促进该领域理论与方法的发展。

空间信息网络受到本身资源的限制以及动态变化的环境约束，对分布式虚拟存储提出了新的挑战。本研究紧密围绕空间信息网络核心科学问题，针对高效能分布式虚拟存储和高动态协同调度的基础目标，结合对地观测的实际应用需求，研究了空间信息网络分布式存储资源的描述与质量体系，提出了基于全球剖分的统一时空数据编码，建立了分布式虚拟存储环境下的遥感影像全局元数据管理方法，提出了面向遥感影像在轨处理的虚拟化闪存地址映射与缓存方法，建立了单个节点、虚拟组团和空间信息网络三个层级的多层虚拟化存储模型，研究了机器学习驱动的存储资源调度管理机制，开发实现了交互可视化的三维空间信息网络元数据管理工具。通过研究，我们认为需要为空间信息网络研发专门的分布式虚拟存储方法，多层分布式虚拟存储是应对动态空间信息网络环境的有效手段，元数据管理是空间信息网络分布式虚拟存储的核心方法。项目组经过三年的研究，基本完成了原定的研究目标。研究成果提高了遥感影像在轨处理的IO访问性能，提高了空间信息网络存储资源管理的效率和透明度，初步建立了智能化分布式虚拟存储管理理论与技术体系，预期可推动空间信息网络基础理论与关键技术的协调发展。