面向E级计算的纠删码机群文件系统研究

With the rapid development of information technology, Exascale supercomputer will be developed in recent years. The storage system of supercomputer need to address challenges at reliability and scalability. Cluster file system need to provide high reliable data storage and high I/O bandwidth. Adopting erasure code to provide fault tolerance service can achieve high utilization of data storage, which can reduce the cost to maintain mass data storage. However, when data is encoding or decoding, the overhead of computing and I/O is too high to apply erasure code to high performance computing. To improve the performance of data encoding and decoding in erasure coded cluster file system, this project will do research on reducing the overhead of data decoding, optimizing data encoding based on CPU SIMD Instruction set and improving the performance of data updating. To evaluate this project, we will implement the new erasure code algorithm in a cluster file system. Then data I/O and data reliability experiment of the cluster file system will be designed to evaluate our research.

随着E级超级计算机的到来，高性能计算机的存储系统在可靠性和可扩展性等方面面临巨大的挑战。机群文件系统在提供高可靠的数据存储的同时还需提高数据的读写性能。采用纠删码的数据容错方法具备高效的存储空间利用率，能够有效降低海量数据存储的维护成本。然而数据在编码和解码过程的高计算开销和高磁盘访问开销限制了纠删码技术在高性能计算领域的运用。为了提高基于纠删码的机群文件系统的数据读写性能，本项目将在降低纠删码存储的恢复开销、优化基于处理器SIMD指集令的数据编码方法以及降低数据更新等方面进行深入研究。为评价本项目研究工作的价值，我们会将研究结果实现于纠删码机群文件系统上，并通过测试机群文件系统在数据存储和数据恢复等方面的性能作为评价该项目研究价值的重要依据。

随着E级超级计算机的到来，高性能计算机的存储系统在可靠性和可扩展性等方面面临巨大的挑战。机群文件系统在提供高可靠的数据存储的同时还需提高数据的读写性能。采用纠删码的数据容错方法具备高效的存储空间利用率，能够有效降低海量数据存储的维护成本。然而数据在编码和解码过程的高计算开销和高磁盘访问开销限制了纠删码技术在高性能计算领域的运用。为了提高基于纠删码的机群文件系统的数据读写性能，本项目在降低纠删码存储的编码开销、降低数据更新开销和提高数据恢复效率等方面进行了深入研究。在降低纠删码编码开销方面，我们提出了一种低延迟并发编码实现机制。该方法并行数据编码和数据传输的流程，以降低机群文件系统中数据写入过程的编码开销。在降低纠删码更新效率方面，我们提出了一种基于副本日志的更新方法。它以日志形式对数据和校验数据进行记录，并维护多份副本。该方法可以合并重复更新请求，并将连续更新请求进行聚合。此外，副本机制可以保证数据的一致性，并使数据更新效率接近副本更新。在提高纠删码恢复效率方面，我们提出了一种结合数据放置和数据调度的数据恢复方法。该方法在数据写入系统中就依据数据恢复路径进行数据放置，并在数据恢复期间，通过衡量不同恢复路径的开销，选择最短的恢复路径，从而提高数据恢复效率。为评价本项目研究工作的价值，我们将研究结果实现于自研发的纠删码机群文件系统上。测试表明，在降低纠删码编码开销方面，我们能将编码效率提高20%以上；在降低纠删码更新开销方面，我们达到副本维护方式的更新效率；在降低纠删码恢复开销方面，我们提高了磁盘恢复过程的聚合IO带宽，能够以80%以上的磁盘利用率进行磁盘重建。研究结果表明了我们的工作能够在多个方面降低纠删码存储开销，使得纠删码存储在提供高效率存储的同时提供高性能的IO服务，满足了高性能计算应用以及其他大数据应用对存储系统的需求。