“数字海洋”中海量复杂类型数据的质量检验及存储问题研究

The data of digital ocean is charactered by large scale, various types, complex construction, obvious spatiality.The way how to effectivly conduct the quality inspection and data storage has become a challenge in the construction of digital ocean.In essence, the data of digital ocean is massive and complex-type data, which are various, isomerism, uncertainty and time-ordered. Thus,the existing technology of the storage and quality inspection of data is not able to inspect the quality of the data in the digital ocean. According to the particularity of ocean data, the reseach focus on:1) a multiscale sampling model for the quality inspection of the massive ocean data is proposed, which has the advantage of performing quality inspection for ocean data. And there are several the special characteristics of the ocean data, such as multidimension, many source, mulit-types, and dynamic nature; 2) the optimal spatial sampling method is studied based on the heterogeneous and spatial correlations data, which can supply the reliable information for the data quality inspection.3）a new method and technology for the storage of the massive and complex-type data in digital ocean is designed. The reseach will solve the crictal problems in the massive data management in the digital ocean, and play important role in the construction of the digital ocean.

"数字海洋"中的数据具有规模庞大、种类繁多、结构复杂、时空特性明显等特征，如何高效地对这些数据进行质量检验及存储是"数字海洋"建设面临的一个挑战。从本质上看，"数字海洋"中的数据是一种集多样性、异构性、不确定性、时序性等于一体的复杂类型海量数据，因此，现有的海量数据质量检验及存储技术难以满足要求，亟需新的技术和方法。本项目从海洋领域数据的特殊性出发，重点研究：1）海量海洋数据的多尺度质量抽样检验模型，实现多维、多源、多类以及动态海洋数据的质量抽样检验；2)海洋数据的最佳空间抽样方法，实现具有异构性、空间相关性等特征的海洋空间数据的最佳布样，为质量抽样检验的实施提供可靠的信息；3） 适合于"数字海洋"中海量复杂类型数据的存储技术和方法。研究成果将解决"数字海洋"中海量数据管理遇到的关键问题，对推进我国"数字海洋"的建设进程具有重要意义。

“数字海洋”中的数据具有规模庞大、种类繁多、结构复杂、时空特性明显等特征，如何高效地对这些数据进行质量检验及存储是“数字海洋”建设面临的一个挑战。从本质上看，“数字海洋”中的数据是一种集多样性、异构性、不确定性、时序性等于一体的复杂类型海量数据，因此，现有的海量数据质量检验及存储技术难以满足要求，亟需新的技术和方法。本项目从海洋领域数据的特殊性出发，构建了海量海洋数据的多尺度质量抽样检验模型，实现了多维、多源、多类以及动态海洋数据的质量抽样检验；开展了海洋数据的最佳空间抽样方法研究，实现了具有异构性、空间相关性等特征的海洋空间数据的最佳布样，为质量抽样检验的实施提供可靠的信息；搭建了基于Spark的云计算平台，研究了“数字海洋”中海量复杂类型数据的存储技术和方法，研究成果有效地解决“数字海洋”中海量数据管理过程中遇到的关键问题，对推进我国“数字海洋”的建设进程具有重要的意义。