大规模星表数据的高效时序重构算法研究

The sequential reconstruction of the catalog data refers to the process of do astrological identification between massive catalogs with same target sources to determine the correspondence between different observations of each star, and sort to generate temporal data for each object. It is the basis of time domain analysis and light curve fitting. With the continuous development of astronomical observation to large view field and high frequency sampling under the background of time domain astronomy, the efficient sequential reconstruction of large-scale catalog data poses a typical challenge. This project intends to realize the efficient localization and access of the time and space data subsets by optimizing the index and layout strategies of the catalogs, and study the load-free access model of the original data based on file pointers for the NoSQL model, in order to reduce the big time and space cost of data transfer in the traditional scheme. And research on the Xmatch method based on position alignment of the local sky area, to reduce the computation complexity of distance calculation in traditional Xmatch. Through the design of the phased identification strategy combined with the information of magnitude, the filtering of different kinds of celestial bodies and the precise configuration of accuracy and efficiency of each stage are realized. In this project, we plan to realize the high-performance of catalog sequential reconstruction through the above research on data access and storage, and design of the identification method, in order to improve the generation efficiency of astronomical temporal data product, and accelerate the research development of Time Domain Astronomy in our country.

星表数据的时序重构是指对有相同目标源的批量星表进行天体证认确定每一星体在不同观测记录间的对应关系，排序生成每个天体的时间序列数据的过程。它是拟合光变曲线、开展时域分析研究的基础。随着时域天文学背景下天文观测向大视场、高频率采样方向的不断发展，大规模星表数据的高效时序重构成了典型挑战。本项目拟通过对星表的索引和存储策略优化实现时空子集的高效定位和访问，通过NoSQL模型下基于文件指针的数据直接访问模式的扩展研究减少传统方案下数据转存的时空开销；研究基于局部天区位置校正的证认算法，减少传统交叉证认中距离计算的计算量；通过结合星等信息的分阶段证认策略设计，实现不同类别天体的过滤，以及各阶段准确度和效率的精细配置。项目拟通过上述访存和证认算法上的研究实现海量星表的高效时序重构，提高天文时序数据产品的生成效率，促进我国时域天文学研究的快速发展。

星表数据的时序重构是拟合光变曲线、开展时域分析研究的基础。随着时域天文学背景下天文观测向大视场、高频率采样方向的不断发展，大规模星表数据的高效时序重构成了典型挑战。. 项目首先研究面向天文时空子集提取的访问存储优化策略。设计了基于HEALPix最大均衡层的数据划分方法、使用图划分和空间聚合算法计算出一个最优的Fits文件数据布局策略，并设计出AstroLayout工具用以聚合FITS文件的邻近观测区域，从而优化数据访问性能。然后，优化时序证认计算过程的星体证认性能和准确度。为了提升证认过程的并行执行效率，针对分布式环境和多核环境，分别设计了基于阶段性静态-动态加权轮询分配算法的负载均衡算法和基于动态规划的改进背包问题的负载均衡算法；此外，针对数据分割后的分块边缘产生的边界漏源问题，设计了两种解决方案，其一为基于重叠索引方法和内存引用表的处理方法，其二为基于传输与计算重叠的处理方法，从而在保证星体证认准确度的同时尽可能提升性能。再后，进行了NoSQL模式下原始数据免加载技术的研究和面向图像时空子集提取的批处理模式感知的缓存管理算法的研究。此外，针对天文数据处理常用的云平台科学工作流进行了资源分配和任务调度的优化研究，分别设计了基于改进PSO算法和改进遗传算法的批处理科学工作流调度算法，以进一步提高证认任务执行效率。最后，针对所生成的天文时序数据和光变曲线数据进行了机器学习算法应用的扩展研究，可变天体光变曲线的全面探索不可缺少机器学习和深度学习的新技术。研究回顾了近年来光变曲线分析的重要进展，总结了机器学习的基本概念及其在光曲线分析中的应用，并总结了在不久的将来光变曲线分析的前景和挑战。. 本项目通过以上关键问题的研究，提高海量天文时序数据产品的生成效率，以促进我国时域天文学数据软件的发展。