基于新型存储的大数据存取优化技术研究

How to efficiently store big data and support real-time big data processing and analysis has been the most critical issue in the development of big data technologies. As existing technologies including relational databases, Hadoop, and in-memory databases fail to solve this problem, we present in this proposal a new idea that aims at proposing a novel type of storage architecture to realize efficient big data storage and management. Particularly, based on the challenges of efficient storage and real-time processing in big data storage and management, we will focus on storage class memories, represented by phase change memory (PCM), and study new-storage-based big data storage architecture, distributed memory file systems, and big data storage management. Specially, we will investigate some key issues such as PCM-based new storage architecture, random access technologies on distributed hybrid memories, and heterogeneous cache management for new storage architecture. Consequently, we will construct a prototype system for big data access optimization and conduct performance evaluation with real applications. This project is expected to provide fundamental theories and technologies for new-storage-based big data storage and management and advance the development of big data researches.

如何高效地存储大数据并支持实时大数据处理与分析是大数据技术发展所面临的首要问题。由于现有的关系数据库技术、Hadoop技术、内存数据库技术等都不能很好地解决这一问题，因此本项目提出了在新型存储架构上进行创新和突破进而实现高效大数据存储和管理的思路。具体而言，本项目将以相变存储器（PCM）为代表的存储级主存（SCM）技术为切入点，针对大数据存储与管理中的高效存储、实时处理等方面存在的挑战，研究基于新型存储的大数据存储架构、基于新型存储的分布式内存文件系统、基于新型存储的大数据存储管理机制等核心问题，重点突破基于PCM的新型存储架构、分布式混合内存的随机访问技术、基于新型存储架构的异质缓存管理等关键技术，最终构建基于新型存储的大数据存取优化原型系统，并结合实际应用需求开展验证工作，从而为新型存储架构下的大数据存储与管理提供基础理论和技术支撑，同时促进大数据研究的进一步发展。

如何高效地存储大数据并支持实时大数据处理与分析是大数据技术发展所面临的首要问题。由于现有的关系数据库技术、Hadoop技术、内存数据库技术等都不能很好地解决这一问题，因此本项目提出了在新型存储架构上进行创新和突破进而实现高效大数据存储和管理的思路。本项目针对大数据存储与管理中的高效存储、实时处理等方面存在的挑战，提出了基于新型存储的大数据存储架构，设计了基于新型存储的分布式内存文件系统，并针对基于新型存储的索引、存储管理、查询优化等问题开展了深入研究，提出了一系列创新的设计，并最终构建了异构混合内存模拟系统、大数据存取性能验证系统、基于NVM的键值数据库系统等原型系统进行了实验验证，从而为新型存储架构下的大数据存储与管理提供基础理论和技术支撑。