大数据高效能存储与管理方法研究

With the explosive growth of data size and data complexity, it is no doubt that we are stepping into the "Big Data" era. However, the diversity and continued increment of both data and users' requirements put forward new challenges on the existing data storage and management systems. In order to achieve high efficiency in terms of both hardware utilization at different levels and the number of data.items processed per unit time, this project aims to develop a set of Big Data storage and management technologies, including the way to construct I/O-specific (application customizable) storage systems on-demand, the method to implement dynamic self-tuning of the constructed system, and the mechanism to simultaneously run multiple big data organization and management models on a pool of various.devices. More specifically, the project focuses on three aspects of high-efficient big data storage and management (i.e., architecture, supporting techniques and application verification) and tries to solve such problems as how to construct an application customizable storage system on demand and to tune it dynamically, how to efficiently sense and classify I/O behavior of applications and automatically feed the result back to the storage management system, how to effectively and efficiently manage the storage of various high-concurrent complex data, how to gather and scatter data, how to schedule storage tasks in a storage-compute-transfer-aware way, and how to evaluate a storage system that allows for the simultaneous run of multiple application customizable storage systems. Finally, a system will be developed and evaluated with real data from satellite remote sensing and ocean monitoring.

随着数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据时代。大数据的多样化与持续快速增长、用户对大数据处理与存储的多种类需求等都对大数据的存储与管理提出了新挑战。本项目开展大数据高效能存储与管理方法研究，提出针对大数据应用I/O特征定制的按需构建机制和可自调整运行优化方法，支持多个大数据组织与管理模式的同时运行机制，实现多层次存储介质硬件部件的整体利用率和单位时间内大数据处理条目数两方面的综合效能提升。项目从大数据高效能存储与管理体系、支撑技术和应用验证三个方面，解决应用定制存储系统的按需定制与动态调整、应用存储特性灵敏感知与自回馈机制、高并发多种类复杂数据存储的效能管理、数据动态聚散机制、存算传融合的存储调度、多应用定制存储系统共存的系统效能评测方法等问题，最后通过卫星遥感大数据流式数据管理和分析、海洋环境监测大数据统计分析等开展应用验证。

本项目针对大数据体量大、复杂度高、变化快等特性所带来的存储挑战，结合内存、相变存储、固态硬盘、磁盘等不同类型存储介质的性能及能耗特征，探索并利用大数据的关联性、异质性、异构性等特征对存储效能的影响模式，围绕大数据高效能存储与管理体系、支撑技术和上层应用三个层次开展大数据高效能存储与管理方法的研究。项目解决了应用定制存储系统的按需定制与动态调整、应用存储特性灵敏感知与自回馈机制、高并发多种类复杂数据存储的效能管理、数据动态聚散机制、存算传融合的存储调度、多应用定制存储系统共存的系统效能评测方法等问题，最后通过卫星遥感大数据流式数据管理和分析、海洋环境监测大数据统计分析等开展应用验证。截止到2018年底，项目组已在项目计划中全部八个研究方向，共23个研究点展开了研究工作，攻克了数十个研究难点，并取得了多项研究成果。.项目主要成果包括在TOC、TPDS等期刊和OSDI、ATC、VLDB等会议上发表论文60篇，其中CCF A类论文共计23篇，SCI检索论文26篇，申请/授权27项发明专利和1项软件著作权。此外，项目组还发表专著3项，开源系统7项。项目组通过积极参与相关领域主流国际会议、邀请国外专家访问等方式，与同行进行了深入的学术交流合作。组织国际学术会议CCGrid一次，组织国际性的大数据存储与管理研讨会4次。本项目共培养了25名研究生，其中19名博士生，6名硕士生。目前16人已毕业，9人在读。.项目组获得国家级奖励1项，省部级奖励3项，还获得IEEE TCSC最佳博士毕业论文1项，CCF优秀博士论文1项，CCF BigData 2017 最佳论文1篇，沈阳市自然科学学术成果一等奖1项。项目组与中国移动、宝钢、国家海洋局等企业展开合作，就各种大数据的存储与管理型应用开展联合研究，项目成果具有重要应用价值，具体包括：卫星遥感大数据流式管理和分析型应用、海洋环境监控大数据在线查询统计分析型应用、中国移动社交网络大数据迭代分析型应用、宝钢过程监控大数据质量控制型应用。