大规模数据存储系统能耗优化方法的研究

数据存储系统的规模不断扩大导致系统能耗以及相关运行维护费用大幅提高，如何在确保应用获得连续快捷的数据服务的同时，降低系统运行能耗，成为大规模数据存储亟需解决的问题。本项目从存储系统全局出发，在保持系统整体服务质量的前提下，提出存储系统的能耗优化方法，根据节点级负载的特性以及在时间、空间上分布的要求，定义负载模型，解决资源最小集合的问题，确定能耗优化的下界；在部件、节点和系统三个层面建立电力消耗的测量反馈以及相关的调节策略，解决复杂系统自适应动态调度问题；根据节能机制在系统的不同层次的作用范围、效果和成本之间的差异，从整体能耗优化入手，提出多级、多约束优化能耗融合的方法；对于大规模存储系统的测量涉及到的多采样点和测试对象，如温度、负载、电流等，提出多点时空域采样机制，采用霍尔效应，将温度、负载、性能、可靠性和功耗测量纳入到一个体系之中。

项目围绕大规模存储系统能耗优化这一主旨，按计划研究存储设备、数据布局和存取过程的综合能效协同提升原理及优化技术，并已达成了预期研究目标。具体研究成果包括：（1）提出一系列高效能数据布局，在不降低性能与可靠性等服务质量的前提下，采用更少的存储空间，提高了存储利用率；（2）提出了多种改善机制，在保障不牺牲系统性能的同时，节省了系统整体功耗；（3）采用新型存储器件或新型存储原理来提高存储系统能效性；（4）针对典型存储应用及特定I/O负载，设计相应的能效优化方法。具体如下：.1．数据布局在提高存储能效方面具有基础性作用。提出一系列高效布局，包括：基于分组的短链Code-M编码；提升跨行写并行性的H-Code编码；横向校验块均匀分布的HDP编码；副本节能的PERAID布局；旋转日志架构和相应分散式同步的RoLo；日志技术优化写的RAID6L；在线可用性升级的附属校验加入方法SPA；提高重构性能的V2-Code编码；数据分布方案S2-RAID。.2. 为了保证节能优化的同时不牺牲系统性能，提出多种改善性能的机制，包括：优化后台重构和前台I/O性能的VDF算法；基于多级Cache算法中数据隐示的Hint-K算法；一种具有最小迁移数据量的基于校验块迁移方法PBM；面向异构纠删码存储集群的感知服务质量的读优化策略ROS；纠删码集群存储节能机制ECS2等。.3. 利用新型存储器件是提高存储系统能效的基本思路，提出分离元数据和数据的SSD和PCM混合架构；设计混合瓦记录磁盘系统HWSR；研究NAND闪存的寿命模型和写放大特性；开发基于PCI-E接口高效能全固态存储卡。.4. 最后设计面向典型存储应用的能效优化方法。针对重复数据删除提出相似性SiLo方法；针对海量元数据提出分布式语义感知的元数据组织系统SmartStore；设计溯源信息的图结构及其压缩机制中实现数据的长期高效存储。.本项目实施过程中，在IEEE TC、IEEE TPDS和ACM TOS等国际期刊和本领域重要的国际会议（ATC，DSN，ICS，ICDCS，IPDPS，MSST，Cluster等）上发表论文70篇，其中SCI期刊发表论文10篇，EI论文58篇。培养毕业研究生40名，申请/授权国家发明专利21项。项目组通过积极参与相关领域主流国际会议、邀请国外专家访问等方式，与国外同行进行了深入的学术交流与合作。