面向非欧几何数据的分布式内存数据库存储方法研究

Non-Euclidean domain presents data with multiple dimensions, dynamic features, and ultra-large quantities. Building an effective storage on such data framework challenges data-intensive computing. Targeting at large quantities of non-Euclidean geometric data with complex features in tempo-spatial-frequency domain and enormous quantity, our proposal aims at studying highly effective storage methods for non-Euclidean data objects. The project starts with understanding characteristics of Non-Euclidean data from Manifold data representation, then focuses on the highly representative discrete modeling on non-Euclidean data, following the data analysis procedure (i.e.,preprocessing--classification--modeling). Using a modified Multi-Choice Secretary Algorithm (MCSA), our project combines the distributed in-memory storage mechanism within the non-Euclidean data analysis. Lastly, the project aims at optimzing the distributed in-memory data storage design, including realizing general distributed in-memory database methodology for non-Euclidean data, and completing the related performance analysis and optimization strategies. Our research further completes the theory behind the distributed in-memory database design for heterogeneous objects, upon which, we could design effective methods for non-Euclidean computing, such as deep learning, in a general heterogeneous environment.

在数据维度动态变化、数据特征复杂多样、数据规模特别庞大、计算任务需求不一的非欧几何数据领域中如何进行高效通用的分布式内存数据存储对于数据密集计算提出了新挑战。面向来自于不同时域、空间域和频域的大规模非欧数据及其密集计算任务，本项目主要研究目标是面向非欧几何数据的高效存储方法研究。项目从离散流形数据表征角度深入理解非欧数据的时空频域复杂特征，按照数据分析中预处理-分类-建模的流程，聚焦非欧几何数据与数据模式联合建模的高效表达，借助多司选择改进算法，将分布式内存数据库存储方法与非欧数据密集计算机制相结合，建立多层分布式缓存存储框架，实现面向非欧数据的通用分布式内存数据库存储方法原型，并完成分布式非欧数据存储框架的性能评测和优化策略分析。该研究成果可进一步完善分布式内存数据库存储方法理论，从而为非欧几何数据计算，在异构化和泛在化趋势下的数据密集计算方法和性能评估提供有效解决途径。

在数据维度动态变化、数据特征复杂多样、数据规模特别庞大、计算任务需求不一的非欧几何数据领域中如何进行高效通用的分布式内存数据存储对于数据密集计算提出两个主要问题：（1）在动态可变任务需求中，利用近传感器获取先验信息（数据结构，数据特征等），受不同学习任务需求约束下，多特征高维度非欧数据的高效表达问题与（2）具备时、空、频域特征的非欧数据的分布式一致性存储，并保证数据正确性和可扩展性描述与优化问题。本项目面向以上关键科学问题，围绕面向非欧几何数据的高效存储方法研究，重点研究并突破了（1）非欧几何数据表征与数据模式联合建模方法、（2）非欧数据存储框架模型、（3）面向非欧数据的分布式内存数据性能评估和优化技术等关键技术。在此基础上，本项目初步实现多层分布式缓存存储框架，完成面向非欧数据的通用分布式内存数据库存储方法原型，为非欧几何数据在数据密集计算下的高效表达和存储实际应用提供理论和技术支撑。