结合逻辑与物理I/O访问信息的存储系统优化策略的研究

This project aims to propose a framework to effectively support I/O optimization strategies for overcoming the shortcomings in conventional active storage systems. We first trace both logical I/O operations on the client side and physical I/O operations on the storage server side related to the applications. Then the proposed framework employs directed acyclic graphs (DAGs) to record, optimize and manage all I/O events to explore the dependency among all events. Next, the mapping relationship between logical and physical I/O operations will be explored and used to predict the logical and physical I/O access patterns. Therefore, according to the obtained logical I/O access patterns and its relevant physical access patterns, we can predict both I/O access patterns in the near future exactly, which can benefit to data pre-fetching and dynamical data re-striping in the active storage systems. Finally, the proposed framework that equipped with certain I/O optimization strategies can not only improve I/O data throughput of the I/O systems, but also reduce the execution times of the applications. As a result, the overall system's performance can be boosted to a great extent.

本项目拟研究主动式存储系统的I/O优化策略，以克服当前主动式存储系统模型的不足。通过捕获应用程序的逻辑I/O访问信息和其在存储服务器上的物理I/O访问信息，采用有向无环图（DAG, Directed Acyclic Graph）记录、合并优化和管理所有I/O事件；同时构建I/O事件之间的依赖关系。通过建立应用程序的逻辑I/O访问和物理I/O访问之间的映射联系，利用基于概率计算的预测模型预测并分析逻辑和物理I/O访问模式，结合I/O事件的依赖关系，为以并行文件系统为基础设施的主动式存储系统准确地执行数据预取和数据物理分布的优化操作提供基本决策信息，从而提高I/O子系统的吞吐率并减少应用程序本身的执行时间，最终达到提高系统整体性能的目标。

本项目研究分布式存储系统的I/O优化策略，以克服当前分布式存储系统模型的不足。通过捕获应用程序的逻辑I/O访问信息和其在存储服务器上的物理I/O访问信息，采用有向无环图（Directed Acyclic Graph, DAG）记录、合并优化和管理所有I/O事件，有助于构建I/O事件的依赖关系。通过建立应用程序的逻辑I/O访问和物理I/O访问之间的映射联系，利用基于概率计算的预测模型预测并分析逻辑和物理I/O访问模式，结合I/O事件的依赖关系，为以并行文件系统为基础设施的主动式存储系统准确地引导数据预取和数据物理分布的优化策略提供基本决策信息，从而提高I/O子系统的吞吐率并减少应用程序本身的执行时间，最终达到提高系统整体性能的目标。 . 特别地，本项目通过研究实现部署在存储结点和I/O结点的存储服务器端的自底而上的I/O优化机制（包括基于磁盘块访问模式的推送式数据预)，从而减少计算结点参与I/O优化操作的力度进而加速应用程序执行并大幅提升存储系统输入/输出性能，最终解决或者缓解I/O性能与计算性能不匹配的问题。从实验结果看，本项目所研究的存储服务器端的I/O优化机制能够有效地减少客户端机器参与I/O优化的力度达30%以上。简单之，本项目研究实现的分布式文件系统支持数据预取和物理块优化分布等I/O优化机制，从而达到提供快速I/O响应并提高I/O数据吞吐量的目标。因而，该分布式存储系统非常适合作为云计算平台（Fat Server/Thin Client Platform）的存储系统基础设施。