适应于大数据特性的智能存储技术研究

Big data technology has a profound impact on the development of modern technology and economy. At the same time, it brings a severe challenge to the traditional information processing technology. At present, big data storage and management technology has become a key scientific issue which should be solved first in the analysis of big data. Due to the current information storage techniques do not have the 4V features like big data storage, which are defined as the Volume, Variety, Velocity and the Value. So it has important and practical significance to do the research on intelligent storage technology with the adaptation of big data features. This project proposed four main research contents, which include: (1) big data "low energy" hierarchical storage and data backup method （2) big data storage device security early warning and active migration, and other "intelligent" storage management methods. By doing the research through the above aspects, this project wishes to get a series of research results in big data with the intelligent storage managemet technology.

大数据技术对现代科技与经济的发展带来了深远的影响，同时也对传统的信息处理技术提出了严峻的技术挑战。目前大数据的存储和管理技术已经成为大数据分析和处理技术中首先必须解决的前期关键科学问题，由于现有的信息存储技术不适应大数据的体量大（Volume）、模式多（Variety）、变化快（Velocity）和价值密度低（Value）等4V特性方面的存储需求，所以开展适应大数据特性的智能存储技术研究有重要的现实意义。本项目拟研究的主要内容包括：（1）大数据“低能耗”分层存储和数据备份方法（2）大数据存储设备安全预警和数据主动迁移“智能”存储管理方法。本项目希望通过上述两个方面的研究，期望在大数据的智能化存储管理技术方面取得一系列研究成果.

大数据技术对现代科技与经济的发展带来了深远的影响，同时也对传统的信息处理技术提出了严峻的技术挑战。目前大数据的存储和管理技术已经成为大数据分析和处理技术中首先必须解决的前期关键科学问题。现有的信息存储技术不适应大数据的体量大（Volume）、模式多（Variety）、变化快（Velocity）和价值密度低（Value）的4V特性方面的存储需求，所以开展适应大数据特性的智能存储技术研究有重要的科学意义和现实意义。. 因为本项目是一个研究期限为1年的小额资助项目，所以本次项目主要聚焦于大数据的“Value” 特性来展开研究，本项目的主要内容包括：适应于大数据“Value”特性的基于文件价值的大数据“低能耗”分层存储与数据备份方法、大数据存储设备安全预警和数据主动迁移存储管理方法两个方面的研究内容。. 项目组首先研究并提出了一种能够适应于大数据 “Value”特性的大数据“低能耗”分层存储和数据备份方法。该方法的主要思想是：（a）给出了大数据存储系统中大数据的文件价值判定方法（b）根据大数据存储系统中文件访问模式和不同存储设备之间的性能差异，提出了大数据存储系统中的自动分层存储系统的结构和分层存储管理方法（c）研究实现了大数据存储系统中的基于文件价值的低能耗管理策略来实现数据的主动迁移等数据管理功能的方法。. 其次，项目组研究并提出了一种能够适应于大数据存储系统的ABC故障模型检测方法，并提出了“智能”化的存储设备安全预警和数据主动迁移策略。. 在1年的项目研究期间，项目组已经在国外重要刊物和国际会议上发表学术论文5 篇（内含3篇SCI论文），申请了3件计算机软件著作版权，参加了1次国际学术会议和1次国内学术会议，培养了3 名硕士研究生。. 上述这些研究在大数据存储系统的管理方法上具有一定的智能特征，它对进一步开展大数据存储技术和大数据分析处理工作有重要的理论意义和实际参考作用。