面向南极天文观测的高效可靠专用存储系统研究

Dome A in Antarctic is one of the best place for astronomical observation on the Earth. While with the limited power, limited bandwidth of network, and almost without manual operation during the whole year, the amount of observed data is increasing and the astronomers will have to analyze the data remotely as the data can't be transferred back to China timely. The storage system for astronomical observation in Antarctic is facing the challenges of power saving, high reliability, high performance and friendly usability. This project will co-design research the solutions for these challenges, to get a special storage system based on controllable disks (which can be powered off separately). The users and the applications can operate the data directly as using regular file system, and the location of data, on/off of disks and data duplication will be performed automatically. The optimized data layout will reduce the number of working disks and the number of on/off operations of disks, with high performance in data searching and read/write operation. The system will support two working modes: observing mode, and science analysis mode. And the optimized configurations will provided for these two modes. The production of this project will support the astronomical science in Antarctic directly, and also will provide references for the research on the theory and practice of green storage.

南极DomeA是最理想的地基天文观测台址之一，但能源、网络带宽严格受限且近乎全年无人值守，观测数据规模也在不断增加，且需进行远程现场数据分析。南极天文观测数据存储系统在节能、可靠性、性能和易用性等方面都面临挑战。本课题将探索上述问题的解决方案，基于可控磁盘阵列研发高效节能且易用可靠的专用存储系统。结合存储硬件设备和天文观测数据特性，在对可控磁盘进行功能划分的基础上，研究软硬件结合的专用存储系统架构和设计专用文件系统，让数据定位、磁盘开闭、数据拷贝等操作均在后台自动完成， 使用户和应用程序仍可通过常规文件路径直接访问数据； 研究数据存储优化布局方案，最大限度减少同时开启磁盘数量和磁盘开闭次数，且保证数据检索和读写性能；支持观测与数据分析两种工作模式，根据数据流程特点提出相应最优化方案。预期研究成果将可直接应用于南极天文科考，也将在节能存储理论研究与实践领域有所产出。

南极DomeA作为最理想的地基天文观测台址之一，其能源、网络带宽严格受限且近乎全年无人值守。随着观测数据规模的不断增加，且需进行远程现场数据分析，天文观测数据存储系统在节能、可靠性、性能和易用性等方面都面临挑战。本项目研究了面向此特殊天文观测环境的节能存储系统，以解决大规模存储造成的能耗严重、海量观测数据的快速检索等问题。.本项目专门设计并实现了一套软硬件协同的天文数据节能存储系统。其硬件部分基于可控磁盘阵列，由控制系统、磁盘阵列和保障系统三部分组成。软件部分则通过结合多级缓存策略和文件预取策略，提出了相适应的存储模型，将磁盘分为一级缓存磁盘组、二级缓存磁盘组和数据磁盘组。.同时，本项目还研究了面向时域天文学的时空数据和长周期归档数据的存储布局，并针对天文应用的特点提出了相应的存储调度方案。面向天文观测过程的时空数据布局方案将磁盘矩阵和观测天区进行结合并一一对应，使用缓存磁盘将原始的观测数据从按照时间排序转为按照空间排序，再存储到天区对应的磁盘中。对于长周期天文观测数据，本项目提出了相应的存储布局转换方案，并开发了相应的布局转换工具AstroLayout。感知天文应用的基于多级缓存策略的节能存储调度方案将磁盘分为数据磁盘组和缓存磁盘组，通过分析请求数据之间的相关性，将关联数据提前预取到缓存磁盘。同时，根据访问请求的空闲时间间隔序列，提出了自适应的磁盘电源管理策略，使磁盘在动态的工作负载环境下可以调整超时阈值，最大限度地节省能源消耗。