数量级地提高脉冲星搜索速度及构建世界首个脉冲星搜索数据库

As the improved sampling rate and digital terminal techniques are used in Large, modern radio astronomical telescopes, amount of pulsar survey data has reached petabytes. Study on pulsar search acceleration algorithms, construction of the first pulsar-search database and analytic or mining tools on it, particularly its application on pulsar searching, is not only a hot field in data processing/sharing of radio astronomy, but also one of the main goals of the Five-hundred-meter Aperture Spherical radio Telescope (FAST)...Pulsar astronomy or pulsar searching, in particular, is one of the primary science target for FAST. Therefore, the proposed project aims at pulsar data processing with basing on the drift-scan pulsar survey of the early FAST operation, we will study on pulsar search acceleration algorithms and develop a novel distributed storage, parallel computing models or architectures to solve a high-concurrency I/O problems in pulsar search and search acceleration by decade(s), we also plan to build the world's first pulsar-search database,in which the astronomers can retrieve data analysis process, and also to achieve centralized management of observational data and analyze process data. This project will directly help and improve the prospect of FAST pulsar survey in a high efficiency.

现代大型天文观测设备的数字终端技术和数据采样率的提升，将使脉冲星巡天项目的采集数据量达到PB量级。研究脉冲星搜寻的加速算法和构建专门面向大规模脉冲星搜寻过程的数据库系统以及基于数据库分析的挖掘工具，不仅是对实现天文大数据共享、结果引用和验证实验的挑战，而且是即将建成的五百米口径球面射电望远镜(FAST)早期科学中脉冲星巡天项目面临的重要前沿课题。.脉冲星搜索是FAST的主要科学目标之一。本项目旨在针对FAST早期科学阶段的脉冲星巡天项目的数据处理，开展加速搜寻方法研究，自主发展大规模脉冲星数据的分布式存储和并行计算模式和架构，解决高并发下I/O问题，实现整体10-100倍的搜寻加速，并构建世界首个脉冲星搜索数据库，实现数据分析处理过程的可检索和可回溯功能，达到观测数据和分析过程数据的集中管理。这将非常有助于未来FAST脉冲星巡天项目的高效实施。

随着现代大型射电天文观测设备数字终端技术、数据采样率快速提升，脉冲星巡天项目采集数据量从TB进入PB时代。急剧新增的数据集将可能形成不可随意清理的数据垃圾，这对数据存储和检索造成巨大压力，并严重影响潜在的重要科研产出。由此，面向PB量级数据集的快速分析处理研究工作变得尤为重要。.项目主要针对射电天文数据、计算和信息提取应用开展基础性研究，研究脉冲星搜寻的加速算法和构建专门面向大规模脉冲星搜寻过程的数据库系统，自主发展大规模脉冲星数据的分布式存储和并行计算模式和架构，解决高并发下I/O问题，实现整体10-100倍的搜寻加速，实现数据分析处理过程的可检索和可回溯功能，为搜寻新脉冲星提供计算支撑。脉冲星搜索是FAST早期科学的主要科学目标之一，自FAST投入使用后，开展的脉冲星巡天项目已经累计采集数据近2PB，存储于我们FAST早期科学数据中心，数据管理、分析工作切实、急迫。项目成果应用场景是解决FAST的脉冲星数据处理技术问题。.得益于基金委的项目资金支持，通过该项目构建的并行计算加速方法及面向搜索过程的数据库系统，能够对100M的单个数据文件处理速度由原来的35分钟提升到35秒。帮助FAST巡天项目CRAFTS、19波束巡天项目处理数据1.5 PB，得到候选体300多万，通过数据库分析比对筛选结果，发现脉冲星200余颗。其中，成功获得新脉冲星102颗，另外有50多颗待确认优质候选体。极大的提高了FAST脉冲星巡天项目数据处理速度，在一定程度上减轻了FAST数据存储压力，这将有利于节约FAST在数据处理方面有限而宝贵的人力、计算资源、存储资源和管理等成本。第二，针对该项目的产生的百万量级候选体比对分析工作，我们还研发了一套候选体管理系统。第三，在人才培养方面，该项目实施过程中培养了相关领域硕士8名，贵州师范大学学7人，国台1人。团队将继续优化项目建成的数据库系统、规模化数据处理方法，成果将服务于FAST后续的其他项目巡天数据处理分析工作。