SKA望远镜可见度函数标注关键技术研究

The Square Kilometre Array (SKA), which is about to build in near future, would be the largest radio telescope around the world. Due to the activities of human beings, it is necessary to mitigate Radio Frequency Interference (RFI) or to flag the visibility function so as to guarantee the imaging quality. However, current techniques on flagging have a series of drawbacks such as low accuracy, low performance and no supporting different observational objects, which is hard to meet the requirements of SKA data processing. In this study, considering the SKA data processing, we will focus on the challenges of visibility function flagging. A series of researches will be implemented including the construction of standard data sets of normal and abnormal apparatus status, multi-parameter combined flagging techniques based on time series, automatic flagging techniques based on machine learning, and result assessment technique based on sky-model and dirty map. The achievements of this study would solve the problem of RFI mitigation and contribute to the development of SKA telescope. Meanwhile, it is quite important for the construction of SKA Regional Center in the near future.

即将开始建设的平方公里阵望远镜SKA将是全世界最大的射电望远镜。对SKA观测获得的可见度函数进行射频干扰去除或标注处理将是保证最终成像质量的重要环节。现有标注方法一般基于信号强度趋势变化分析，存在无法支持不同观测目标、准确率低、性能较差等问题，不能满足SKA数据处理的需要。本项目拟基于SKA仿真观测数据和先导阵实际数据，结合SKA数据处理的性能要求，重点研究并力争解决SKA可见度函数标注中存在的问题，具体研究利用仿真方法建立SKA仪器状态与可见度函数标准集，基于时序的多参数组合自动标记方法，基于机器学习的针对目标异常状况的自动标记方法，以及利用天空模型与脏图检验标注结果，对采用的可见度函数标注算法的可用性进行对比分析。项目研究成果可应用于SKA的数据处理，提高科学数据质量，同时也可为国内区域科学数据中心的数据处理提供支撑，推动后续科学研究工作的开展。

经过项目组3年时间的努力，全面完成了申报书里既定的研究目标。对可见度函数标注的关键在于对射频干扰（RFI）进行标注。项目组首先对RFI的模拟方法进行了研究，根据SKA-LOW望远镜的配置和已获得的台站附近的射频干扰，参考美国氢原子再电离时代阵列HERA的模拟方法，模拟了GLEAM寻天项目里的部分射电源，以及四种类型的RFI（宽带爆发型、窄带爆发型、宽带持续型、窄带持续型以及点状干扰）。项目组在模拟数据和SKA先导阵列真实数据的基础上，研究了基于机器学习的RFI自动识别方法，提出了一种鲁棒的基于卷积神经网络(CNN)的RFI识别方法、基于LightGBM的RFI识别方法，针对弱RFI提出了基于信噪比卷积核的弱RFI识别方法。对两种机器学习方法以及已有的方法（AOFlagger、Tfcrop、Rflag）进行了对比实验；从平均指标的结果来看，两种基于机器学习的方法具有较高的平均精度和平均召回率，AOFlagger在识别RFI时采用了高召回率的策略，以保证尽可能多的RFI被识别出来，但精度相对较差，识别结果中存在较多的假阳性标签；Tfcrop和Rflag使用高精确度策略，以尽量减少对RFI的错误识别，但它的召回率较差，而且有更多的假阴性结果；速度方面，LightGBM有显著优势，CNN最慢。项目组的整个研究过程利用了射电天文校准、成像算法参考库RASCIL进行数据模拟，为了与AOFlagger、Tfcrop、Rflag进行对比，导出MS文件，导入到CASA，因此项目组还研究了基于Python-casacore的射电测量集文件生成方法，基线依赖平均算法（BDA）对可见度数据的压缩性能和可用性。项目执行期，发表有基金标注的论文16篇，其中SCI论文13篇；专利2项；软件著作权7项；学术专著一部；培养硕士7名，其中4名毕业（2名继续博士深造），3名在读；完成一部射电干涉数据处理英文教材的翻译和程序升级。项目成果已经被SKA研发团队采用，完成的测量集文件、UVFITS文件的快速生成，BDA算法实现、RFI标注功能已经集成到SKA的算法参考库RASCIL，也应用到子午工程二期建设，特别是明安图射电成像仪的新版数据处理程序中。