新疆天文台脉冲星数据发布关键技术研究

Xinjiang Astronomical Observatory has accumulated a large number of pulsar timing data after the observation of nearly 20 years. How to efficiently manage the massive pulsar observation data in explosive growth, as well as rapidly releasing the huge amounts of data generated by the larger telescopes are urgent problems that need to be resolved. The main purpose of this project is using the hierarchical management methods to solve the problem of massive pulsar data management and publishing. Data servers deal with the raw data obtained from telescopes based on a predefined integration strategy, extracting the different levels of raw data stack from the mass data, forming a multi-level data set, and construct an object database and data warehouse management system.This project will develop a data retrieval and query system of our massive pulsar data based on the standards of virtual observatory and archived pulsar data. And establish a cone search service and a service with multi-constrains condition retrival. Aiming at the need of data analysis and processing,preprocessing the retrieval results and display the Pulse Profile at the same time. Improving the efficiency of data retrieval by adopting the parallel computing method and eventually make the scale of tens of millions of data retrieval returns within a few seconds.

经过近二十年观测，新疆天文台积累了大量脉冲星到达时间等相关数据。如何高效管理海量快速增长的脉冲星数据、如何实现未来更大口径望远镜产生的海量数据的快速发布是目前新疆天文台急需解决的问题。项目主要研究脉冲星数据的发布问题，首先对海量脉冲星数据采用分层管理方法，构建多层次数据存储模型，对海量的原始数据进行不同层次的抽取，形成多层次数据。在脉冲星归档数据的基础上，建立脉冲星数据锥形检索服务及多约束检索。针对数据分析及处理的需要在检索结果返回的同时对数据进行预处理，显示脉冲星的脉冲轮廓信息、各通道信息、子积分信息，方便科研人员对数据质量进行预评估。采用并行计算技术提高检索与脉冲轮廓的返回速度，最终使百万量级的数据检索返回时间在几秒之内。

实现了脉冲星数据的分层管理方法，构建了多层次数据存储模型，对海量天文原始数据进行了不同层次抽取，形成了多层次数据。在脉冲星归档数据的基础上，建立了脉冲星数据在线发布与检索平台，实现了锥形检索及多约束检索服务。截止2018年12月底已发布脉冲星观测数据87000多条,最大文件1GB，脉冲星数据格式为PSRFITS。新疆天文台产生的脉冲星观测数据已对全世界范围内的科研人员实现元数据共享，所有用户均可以在线检索新疆天文台近20年产生的脉冲星观测数据。脉冲星数据发布基于虚拟天文台标准并已将脉冲星数据服务注册到国际虚拟天文台联盟，用户可通过标准虚拟天文台工具实现检索、访问与处理。数据服务平台实现了检索结果返回的同时对数据进行预处理，脉冲轮廓信息显示及数据可视化，采用并行计算技术提高了检索与脉冲轮廓的返回速度，实现了项目预定研究目标。