网络公用存储服务的系统结构和数据组织研究

Aiming at the contradictions between quality of service and cost, between availability and storage efficiency, between scalability and inquiry performance existed within network public storage service, we plan to conduct research from aspects of new architecture, data structure and on-demand scheduling to provide ubiquitous storage service with high quality assurance. The project proposes user-oriented network public storage service architecture characterizing by three layers of group-peer-center storage space. Data is stored in the central storage space in the form of erasure code, group space and peer space can not only serve as cache for central space to improve quality of service, but also stand as redundant data space for central space to enhance availability. We also propose attribute set based data organization for network public storage service. Data are organized into data views satisfying different service goals according to attribute set and narrowing data searching scope. Semantic-aggregated data is put into different data bucket to support related data pre-fetch in unit of bucket. We will study quality of service model and on-demand scheduling model, propose correlated replication technology through the binding of erasure coding and replication to realize on-demand scheduling and guarantee quality of service. Prototype system will be implemented for verification on basis of research on theories and key technologies.

针对网络公用存储服务中存在服务质量-成本、可用性-存储效率、扩展性-查询性能之间的矛盾，本项目提出从新型系统结构、数据组织和按需调度三方面开展研究，以提供泛在的有服务质量保证的网络公用存储服务。提出以用户为中心、由组-对等-中心存储构成的网络公用存储服务系统结构，数据以容错编码的方式存放在中心存储，组空间和对等空间既可以作为中心存储的数据缓存，起到提高服务质量的作用，又可以作为中心存储的冗余数据放置空间，起到提高可用性的作用。提出基于属性集的数据组织方法，按照属性集将数据组织成为满足不同服务目标的数据视图，缩小数据查找定位范围；将按照语义聚集的数据分类存放到不同的数据桶，支持以数据桶为单位的关联数据预取。研究服务质量模型和按需调度模型，提出将纠删码冗余分片与副本相关联的关联副本技术，以实现按需调度，保障服务质量。在理论、关键技术研究的基础上，实现原型系统加以验证。

本项目围绕如何提供泛在的、有服务质量保障的网络公用存储服务开展研究，主要研究内容包括网络公用存储服务系统结构、网络公用存储服务系统数据组织方式和面向服务质量的按需调度三个方面。. 经过5年的研究，提出了一种以用户为中心、由组-对等-中心存储构成的混合网络公用存储系统架构，并研究了多种数据组织方式和资源调度技术，较好地缓解了服务质量-成本、扩展性-查询性能之间的矛盾。代表性研究成果如下。. 在系统结构方面，提出一个新的指标“TUE”来标识个人云存储服务的（数据同步）节流效率，开发了一个位于用户文件系统和云存储应用之间的中间件，有效地避免了由频繁短促数据更新所导致的流量滥用问题；在数据组织方面，提出一种可变大数据集的数据管理方法动态布隆过滤器阵列（Dynamic Bloom filter Array, DBA），用于索引存储系统中的可扩展数据集并快速判断其中的重复元素，其内存访问效率比DBF（Dynamic Bloom Filter）高出常数倍；在按需调度方面，对网络公用存储资源调度等问题建立综合数学模型，并提出可行的分布式求解算法DREAM（-L），较大地降低了云平台开销。. 本项目一共发表学术论文56篇，其中在CCF的A类国际期刊和会议上发表论文27篇、B类论文19篇，出版1部专著；申请发明专利33项，获得发明专利授权46项；主持制定3项国家标准；培养博士生13名；主办1次国内会议和2次国际会议分会。. 本项目成功研制了混合网络公用存储系统M-Cloud1.0/2.0/3.0，其关键技术分布式资源调度算法DREAM-L应用在深圳市迅雷网络技术有限公司的数据平台中，极大地降低了平台运营成本，增强了用户下载体验；DBA应用在中兴通讯股份有限公司的云存储产品ZXCLOUD CSS2000中，解决了该产品在单节点10亿文件数量级下的文件查找性能问题，极大增强了产品的技术性能和市场竞争力；大容量固态盘缓存技术应用在深圳市腾讯计算机系统有限公司的云存储平台中，极大提高了性能并降低了TCO。. 本项目获得2014年湖北省科技进步一等奖1项、2015年中国电子学会科学技术奖科技进步一等奖1项和2017年第三届“互联网+”大学生创新创业大赛金奖1项。