基于负载分类的实时嵌入式网络化NAND闪存存储系统及分析方法

With the advance of embedded applications, embedded systems require more powerful real time network storage capability. Although mass flash memory storage and real time switch network could be used to build such systems,they could not achieve the goal by themselves: (1)current flash memory management layer is designed to adopt single management algorithm. Designers wish the algorithm to be able to adapt to more than one situations. However, this could not be achieved in embedded systems with lots of heterogenous storage accessing workloads with real time constraints. (2)current network storage architectures and protocols are too complex to be deployed upon a set of embedded nodes with very different ability. (3)because real time storage and real time switch network have different unit to schedule, techniques adopted to guarantee and verify real time constraints in real time switch network could not be used for real time storage without modification. To solve the first problem, we propose to build a lightweighted network storage architecture to avoid current complex archtiecture and protocols of storage. To solve the second problem,we propose to introduce a domain based flash memory management framework which could adopt different algorithms for different style of workloads and to analyze the real time features of each kind of flash management mechanisms. And then based on current real time network analysis and scheduling techniques, we propose a new approach to analyze and verify real time storage data streams. Based on these techniques, we will construct a prototype systems and simulation environments to verify and validate these ideas.

随着嵌入式应用的不断发展，嵌入式系统对网络化实时存储的要求越来越迫切要求。大容量闪存存储和交换式实时网络技术的发展为实现这一目标奠定了重要基础。然而，现有闪存管理机制采用的单一管理算法模式不能满足异构负载类型对实时性的不同要求；复杂的网络存储体系结构与协议难以部署在能力差异极大的嵌入式节点上；由于调度单位不同，现有实时网络的实时调度与验证机制无法直接用来保障存储数据流的实时性要求。为解决上述问题，本课题申请提出构建轻量级网络存储架构，避免构造复杂存储协议和重量级架构；提出对闪存管理算法的实时性分析技术，设计可区分负载类型独立管理的闪存管理机制；以实时网络分析与调度技术为基础，设计适用于实时存储的分析方法和调度管理技术。基于上述技术，本课题将构造原型系统和仿真环境，对关键技术进行理论分析和仿真试验验证。

在嵌入式实时系统中，闪存介质因其非易失性和无机械结构等特点，得到广泛应用。目前，嵌入式系统中的闪存存储容量已经达到TB甚至上百TB的级别。然而，闪存介质因存在写前擦除的特性，无法满足这类系统对于实时性的要求。本研究的主要目标就是解决闪存存储实时性方面存在的问题，满足嵌入式实时系统对存储服务访问响应时间的要求。. 本项目主要研究内容包括闪存存储实时性保证和网络存储协议实时性保证两个方面。在闪存存储实时性保证方面，从缓存管理算法、FTL算法等多个角度探索了影响闪存存储实时性的主要因素，并确定了FTL算法是影响闪存实时性的关键因素。而后，针对闪存FTL算法的实时改造这一关键问题，进行了多项改进，并进行了实验论证。在网络存储协议实时性的方面，提出了符合嵌入式系统的存储QoS保证框架；并根据嵌入式系统的特点对NBD（Network Block Device）这一轻量级协议进行改造，增加了带宽预留的能力，满足网络化嵌入式系统中节点计算能力弱无法支持完整存储协议栈的问题。. 本研究取得的结果和科学意义如下：. 首先提出了新的FTL实时化方法，在无Cache且存储利用率接近1/2的条件下（无其他over provisioning），可保证最坏延迟不大于一个数据块的擦除时间，写性能为芯片物理写性能的1/2。对该算法进行了两项优化，在存储利用率为1/6时，利用三个存储芯片，可将最坏延迟降低到一个数据块儿的写入时间（一般比擦除时间少一个数量级左右）；通过主动copy块中数据，可保持组内所有块的擦除平衡性。此外，通过调整存储利用率，可调节读写速率和最坏响应时间，为存储QoS提供保证。所提出了实时存储系统的QoS保证框架，设计了基于NBD协议存储QoS保证机制，为不同类型的节点提供轻量级存储QoS协议。. 该技术可用于保证闪存存储系统底层存储介质层的实时响应特性，避免因SSD盘或全闪阵列中垃圾回收等引起的响应时间波动导致的实时性无法保证的问题。