面向大视场时域巡天观测的大数据检索与融合方法研究

Transient sky survey telescopes cover very wide sky area and expose in a short time, which can quickly detect changes in the sky. To support the detection of transient sources, it is necessary to perform a quick search in the large-scale astronomical catalog to obtain the properties of all targets to discover the variable objects and issue transient event. The entire data processing needs to be completed in one exposure cycle to avoid affecting next cycle. However, the catalogs are growing fast to exceed billions of rows, and it is extremely difficult to query, filter and export big data in a large sky area such as GWAC with an exposure of more than 700 square degrees or LIGO with several hundreds of square degrees. Further, to understand more physical characteristics of the targets, data fusion on multi-wavelength catalogs is needed to applied. Current cross-matching methods mainly focus on quick matching between two catalogues, how to cross-match multi-catalog still faces great difficulties. This project will explore the multi-wavelength cross-matching method, and study the large-scale catalog fast retrieval in super-large sky area under intranet distributed architecture. The research result might benefit the search for electromagnetic counterpart of gravitational wave. It also will help future wide-field instruments, e.g. EP, Sitian, et al., to solve the big data application problems encounter in transient source detection.

暂现源巡天观测设备曝光时间短、覆盖天区广，可以快速发现天空中出现的变化。为了支撑暂现源的检测，需要在大规模星表中进行快速检索以取得所有目标的属性，以发现正在变化的目标，发出预警信息。整个数据处理流程需要在一个曝光周期内完成，以避免影响下一周期的曝光。但是当前积累的星表动辄超十亿行规模，在GWAC一次曝光高达700平方度或LIGO数百平方度的超大天区中进行大数据快速检索、过滤与导出异常困难。而为了了解目标的更多物理特性，还需要通过融合多个波段的数据，取得目标的能谱分布。但当前的星表交叉证认主要解决的是二表交叉证认问题，对于如何扩展到多表交叉证认仍面临较大困难。本课题将对大规模多波段星表的多表交叉证认方法进行探索，并在局域网分布式架构下对超大天区内的大规模星表快速检索方法进行研究。本课题的研究成果也有助于引力波电磁对应体搜寻及未来EP、司天等大视场设备解决其在暂现源探测中遇到的大数据应用难题。

大视场暂现源巡天观测设备曝光时间短、覆盖天区广、观测目标众多。在处理其观测数据时，为了支撑暂现源的实时发现，需要在大规模星表中进行快速检索以取得所有目标的属性，发现正在变化的目标，发出预警信息。本项目针对此需求实现了对大规模星表数据的高效检索与交叉证认方法。为了解决大规模星表在单机节点速度受限的问题，项目组尝试使用了多个计算节点组成的分布式系统进行了优化。为了能够将星表尽量均匀地分发到各个节点、平衡节点负载，项目组使用了文件作为星表的存储载体。在充分研究天文星表的特点后，提出了基于HEALPix的多层级自适应密度星表划分算法。经过实际测试，该算法相较于已有的算法能够实现更均匀的切分。项目组还基于开源序列化框架，设计了一套适合天文星表的序列化方法，提升了天文星表数据在存储和网络传输时的效率。在此基础上，项目组使用了容器的方式对程序进行了封装了，极大降低了系统应用部署难度。当前，本项目的研究成果已经在GWAC望远镜的数据处理中得到实际应用，未来还将针对应用中发现的问题进行进一步优化、改进，以应用到更多时域观测项目中。