面向森林变化监测的海量遥感数据并行处理技术研究

With the development of remote sensing technology and applicating the remote sensing image in forestry application in depth, it has becoming one of the hot spot of current research to carry out forest type fine-grained identification and forest resource dynamic monitoring with applicating medium and high spatial resolution remote-sensing image. With the rapid development of earth observation technology, especially the coming of the era of high resolution earth observation, the remote sensing images data presents explosive growth, how to use of remote sensing image data better, as well as various kinds of near-real-time applications in solving the forest change monitoring, have become a research hotspot in recent years. The study in order to satisfies(满足) requirements of accurate and efficient real-time processing the mass remote sensing images in forest resources changes monitoring, we begin the study from the "two points one line", while "two points" are parallel programming model with pointers based on Spark, the model realizes the instantiation of MapReduce by improving the abstraction level of parallel programming and programming paradigm which is supported, implicitly realizes parallel details and establish the global data storage model of distributed memory as well as SuperMap application oriented distributed remote sensing image storage framework, and "A line" refers to the dynamic changes of forest resources oriented the quantitative model of remote sensing data-intensive parallel computing

随着遥感技术的发展和遥感影像林业应用的深入，应用中高空间分辨率遥感影像开展森林类型精细识别和森林资源动态变化监测成为目前研究的热点之一。随着对地观测技术的快速发展，尤其是高分辨率对地观测时代的来临，遥感图像呈数据的爆炸式增长，如何更好的利用海量的遥感影像数据，近实时的解决森林变化监测中各类应用，已成为近年来研究的热点。本项研究面向森林资源变化监测中的海量遥感图像准确、高效实时处理要求，从“二点一线”展开研究，两点分别是指针基于Spark的并行编程模型，该模型通过提高并行编程的抽象层次和支持的编程范式来实现MapReducede的实例化，隐式实现并行细节以及建立的分布式内存全局数据存储模型和面向SuperMap应用的分布式遥感图像存储框架，而一线是指面向森林资源动态变化的遥感数据密集型并行计算的量化模型。

森林生长状态、林分结构以及物理参数对于森林经营管理具有重要意义，由于森林具有分布范围广且多在地形复杂的地区，仅仅依靠外业调查的方式很难得到全面、客观的数据。同时，外业调查需要花费大量时间，从而难以保证调查数据的时效性。近年来，随着遥感影像的时空分辨率不断提高，对地观测技术对于森林监测精度的提高具有重要意义。但是越来越庞大的数据量为计算带来极大挑战。一方面，当前存储系统对于海量空间数据格式缺乏有效支持，因此存储能力无法充分发挥，并且在计算过程中数据IO效率比较低；另一方面，处理海量空间数据需要消耗大量计算资源，并且针对多维空间数据处理需要进一步优化其内存结构。本研究主要研究基于遥感和主流并行计算框架的森林变化监测关键技术。（1）首先，以Spark作为基本的计算引擎用于空间数据处理与转换，针对空间数据设计面向数据密集型的并行编程模型，实现了遥感计算任务的并行模板框架，并重点对于影像镶嵌进行优化。（2）为了提高Spark对多维空间数据的支持，本研究对Spark存储进行优化，设计了面向矢量和栅格数据的内存结构，为进一步的空间数据处理提供了平台支撑。（3）针对海量遥感影像的持久化存储设计了基于HDFS的遥感影像并行存储系统，基于瓦片金字塔实现了面向多尺度的遥感影像存储结构，并面向SuperMap设计了数据转换接口，实现数据的跨平台支持。（4）基于提出的计算与存储结构，本研究分别实现了基于GPU的遥感影像并行训练与分类，以及基于Spark的森林生物量并行反演，采用面向对象的图像融合算法实现林业遥感的变化监测。本研究以森林变化监测的精度和效率为出发点，基于并行计算与遥感技术从数据存储，内存结构以及并行模型等方面研究大尺度森林变化监测需要面临的重要挑战与关键技术，研究结果对于森林经理和智慧林业的发展具有重要的推动意义。