云计算环境下海量遥感数据的节能存储研究

With the data expansion and deeply analyzing demand for heterogeneous remote sensing image, the architecture of mass data storage and management face enormous challenges, so does the high energy consumption in cloud computing data center. Existing software and hardware energy-saving technology, such as DVFS, idle node sleep, task merger, virtual machine migration, et al., achieve the energy-efficient computing in distributed storage. However frequent data transmission and configuration will increase additional data spending, meanwhile the dependency and availability of task & data in soft energy-saving technology is easy to cause the instability of upper application and system. In energy-efficient application of mass remote sensing data storage, to support the energy-saving strategy of data layer in distributed file system, this research reconsiders the energy-efficient computing and storage within application & data layer in aspect of data segmentation & index, organization & storage structure, replication strategy, task scheduling, load balancing, virtual machine migration, etc. Combined with the feature of remote sensing images in resolution, space, time and spectrum, the soft energy-saving technology strengthen the energy-efficient computing in application & data layer, which improve the energy efficiency of various remote sensing applications in cloud computing platform. This research could reduce energy consumption and greenhouse gas emissions, and promote the development of Central Asia remote sensing data center and "TianShan Cloud" plan in Xinjiang.

多源异构遥感数据量的不断膨胀和数据深度分析需求的增长对海量数据存储管理架构提出了巨大挑战，云计算数据中心的高能耗问题也日渐突出。现有软硬件节能通过DVFS、休眠空闲节点、任务合并、虚拟机迁移等技术解决分布式存储的高能耗问题，然而数据密集型存储体系中频繁的数据移动和配置会产生额外数据开销，软节能技术中的任务数据依赖和可用性问题还容易引起上层应用与系统的不稳定。本项目在海量遥感数据节能存储应用背景下，针对分布式文件系统对数据层节能计算缺乏有效支持的问题，从数据分割与索引、存储组织结构、副本策略、任务调度、负载均衡、虚拟机迁移等方面全面考虑应用数据层节能计算和存储问题，结合遥感数据分片的分辨率、时空和光谱等特征，利用软节能技术加强应用数据层对节能计算的支持，提高云平台下各类遥感应用的能耗利用率，对减少能源消耗和温室气体排放具有重要意义，对新疆"天山云"计划和中亚遥感数据中心的发展具有促进作用。

多源异构遥感数据量的不断膨胀和数据深度分析需求的增长对海量数据存储管理架构提出了巨大挑战，云计算数据中心的高能耗问题也日渐突出。现有软硬件节能技术通过DVFS、休眠空闲节点、任务合并、虚拟机迁移等技术解决分布式存储的高能耗问题，然而数据密集型存储体系中频繁的数据移动和配置会产生额外数据开销，软节能技术中的任务数据依赖和可用性问题还容易引起上层应用与系统的不稳定。本项目在海量遥感数据节能存储应用背景下，针对分布式文件系统对数据层节能计算缺乏有效支持的问题，从数据分割与索引、存储组织结构、副本策略、任务调度、负载均衡、虚拟机迁移等方面全面考虑应用数据层节能计算和存储问题，结合遥感数据分片的分辨率、时空和光谱等特征，利用软节能技术加强应用数据层对节能计算的支持，提高云平台下各类遥感应用的能耗利用率，课题组在典型的Hadoop、Spark和Storm等分布式存储和计算框架下，提出了诸多分布式环境下的高效节能存储策略、数据分块缓存策略、虚拟机动态迁移策略、数据块聚类节能策略等一系列云环境下的能耗节约方案，分析研究现有分布式文件系统对数据层节能缺乏支持的关键点，并进行了局部数据优先拉取策略、渐进填充分区映射策略、自动检查点策略、分类节能等优化，针对棉花分类、水体识别等典型海量遥感数据应用开展了分布式文件系统下的存储计算模型应用计算，尝试根据地理访问热度合理规划数据存储，这些成果均可在不降低云平台服务质量和整体性能的前提下，利用软件节能技术提高海量遥感数据对云计算环境下数据层节能计算的适应能力，对提高云计算环境下各类遥感应用的能耗利用率具有重要意义。