面向NVST海量高速观测数据的分布式存储系统研究与实现

NVST observation system has characteristics of multi-channel concurrent observing, acquisition with high temporal resolution and continuous real-time data storage, and this leads to PB level data produced. These data are growing at TB(terabytes) per day. It has proposed a huge challenge to the storage system which must be high performance, scalability and high reliability. This project will summarize and discuss the advantages and disadvantages of the domestic application of distributed storage technology. Based on these, the distributed storage key technologies and methods will be further studied, and a distributed storage system (AstroStor) for the NVST massive and high performance observing data will be invented. Three key aspects will be researched: 1) the concurrent image data storage and the optimization of concurrent performance, 2) the scalability of dynamic storage performance and capacity, and 3) the mechanism of continuous data reliable storage. This study provides a theoretical method and technical support for the design of distributed large-scale astronomical real-time data storage system. The research and implementation of the AstroStor can not only effectively support the NVST to carry out high precision and fine solar observation, but also could provide the reference for the storage system to other scientific fields.

NVST观测系统具有高速、高时空分辨率以及多通道多波段同步观测等特点，已产生了PB 级海量观测数据，这些数据正在以每天TB级速率增长，数据存储问题越来越严峻，因此迫切需要一套具备高性能、高扩展性以及高可靠性的存储系统。本项目拟分析和总结国内外分布式存储技术在天文上应用的优缺点，探索满足太阳观测需要的分布式存储应用模式，在此基础上，进一步研究该场景下的分布式存储理论方法和关键技术，实现一套面向NVST的分布式存储系统—AstroStor，针对该系统重点进行三个方面的研究：1) 数据并发存储及性能优化； 2)存储性能和容量的动态均衡扩展；3)持续数据存储的可靠性保障机制。AstroStor的研究与实现不仅能够有效地支撑NVST开展高精度、精细化太阳观测活动，同时也能够为天文海量高速观测数据的分布式存储系统的设计提供理论方法和技术支持，对其他科学领域的海量数据存储具有借鉴和参考价值。

本课题以解决NVST海量数据存储难题为目标，研究了面向NVST的领域化分布式存储系统AstroStor的关键技术。在项目的支持下获得了多项与该课题密切相关的研究成果，包括：发表了2篇的SCI，4篇中文核心论文；提交了3项发明专利，其中2项已受理，1项已公布；1名团队主要成员获得博士学位；1名获得硕士学位。分布式存储方法已经在NVST上得到实际应用，对NVST的日常观测提供了关键性支持。课题主要研究工作包括：1)基于分布式文件系统的海量太阳观测数据高速存储系统原理和实现技术，重点研究了分布式存储过程中数据条带化、并行化、数据恢复、可靠性和可扩展性方面的理论和方法；2)利用FITS特性聚合小文件实现顺序I/O来提高存储吞吐量，并给出了聚合块大小的优化方法；3)实现了基于条带化分片技术，提出了基于规则移动的数据恢复算法提高聚合数据分块后的数据安全性。4)利用Zookeeper实现了存储节点的动态配置管理，降低了AstroStor的设计和实现复杂性；5)利用Fastbit实现了服务太阳观测数据存储的高性能索引和检索。研究理论和方法也为未来国内外类似NVST太阳望远镜海量观测数据的存储和优化提供了参考，具有一定的应用和推广价值。