基于NoSQL集群数据库的下一代托卡马克实验数据存储技术研究

As the tokamak discharge goes towards long pulse and faster digitizers are used in more sophisticated diagnostics, the scientific data generated during the experiment pulse is getting extremely larger. The future tokamaks like ITER and CFETR will produce hundreds times of data than today’s major tokamaks. Through their life, the demands will keep growing. Current available technologies in fusion community are hard to scale and cannot handle big data efficiently, they may barely meet the requirement of future tokamaks. This project attempts to find a solution for large tokamak scientific data archiving by using NoSQL cluster database technology. It will provide a storage and management system that can out performance the current available solutions and easily scale-out its capability, performance at low cost, but relies on no specific hardware technology. This technology will satisfy the continuously growing need for large scientific data storage of the future tokamaks and provide a good reference for future tokamak scientific data storage development.

随着托卡马克实验向长脉冲发展和高速、高精度的数据采集的应用，托卡马克实验产生的数据量也在高速增长，ITER、CFETR等未来托卡马克装置产生的数据量将是目前装置的上百倍，且会随着装置的发展和持续运行不断增长。这对目前聚变领域现有的存储技术在高性能、高扩展性、高可靠性等方面提出了严峻的挑战，因此非常有必要对托卡马克实验数据存储技术进行前瞻性探索研究。本项目将探索利用新兴的NoSQL集群数据库技术，研究并实现一种容量与性能可方便地横向扩展，具有高并发性能、高可靠性的下一代托卡马克实验数据存储技术。所研究的数据存储技术不依赖任何特定的存储硬件，可大大降低实现成本。本项目有望给出基于NoSQL集群数据库的下一代托卡马克实验数据存储技术方案，为ITER、CFETR等未来托卡马克数据存储系统的研制提供重要参考。

托卡马克实验数据存储系统存储来自诊断系统的所有科学数据，并提供管理、检索、访问这些数据的方法以实现实验数据分析，是托卡马克实验研究开展必需的系统。随着托卡马克实验向稳态长脉冲发展，以及诊断技术的发展，托卡马克实验产生的科学数据急剧增长。未来托卡马克装置数据存储系统必须具有更高的性能和容量，还需要在不影响实验的情况下方便地对系统的容量和读写性能进行扩展。目前主流的并行文件系统如GlusterFS、Lustre等技术本质上是由Object Storage集群实现，上层封装兼容POSIX文件系统API，对于聚变实验数据这种自身非结构化的数据来说存在额外性能开销。.本项目研究中成功的使用MongoDB与Cassandra NoSQL集群数据库分别实现了两种用于聚变实验存储的系统，在不实现POSIX文件系统API的情况下实现对聚变装置实验数据的存储服务。通过研究和优化测试，我们采用Cassandra集群数据库设计了优化的负载平衡策略，实现聚变实验数据的存储引擎，采用MongoDB实现了结构化的实验数据Metadata存储，并设计了一整套聚变实验数据存储系统原型。.该项目中研发的J-TEXT Cloud Database（JCDB）存储系统集群在数据量增加并且获得了接近线性的增加节点性能提升，在应用于聚变实验诊断数据存储时，性能超过主流的GlusterFS，与ITER计划采用方案BeeGFS与HDF5文件格式性能相当。在此研究成果上，我们实现了J-TEXT破裂数据库系统，实现高效的破裂相关诊断实验数据的存储与检索，为破裂预测研究提供了支持。本项目证明了NoSQL用于聚变实验数据存储的可能性，给出了其实现方案，与现有先进技术进行了对比，为未来聚变装置实验数据存储提供了参考和候选方案。.