使用人工智能技术发现和研究HXMT卫星观测数据中的暴发现象

Artificial intelligence technology is widely used in astronomy research. Using AI technology, on the one hand, it can replace the manual to identify and judge various phenomena in data, improve the accuracy and speed of discovery; on the other hand, it can broaden the coverage of traditional algorithms and research methods and introduce new research fields. In the era of astronomy big data, every instrument is generating a large amount of observation data, using artificial methods, inevitably there are missing or deviations; while traditional algorithms are limited to the programmer's pre-set model. The use of AI technology can effectively solve these problems. Specifically, in HXMT observation data, we look forward to introducing AI algorithm for the discovery and identification of various data anomalies and burst phenomena. Which greatly improves the efficiency of discovery and identification of burst phenomena, and further studies of these burst phenomena will be carried out using the powerful clustering analysis ability of artificial intelligence.

人工智能技术在天文研究中正在被广泛应用。使用该技术，一方面可以取代传统人工，来识别和判断数据的各种现象，提高判断的准确率和速度；另一方面可以拓宽传统算法和研究方法覆盖的范围，引入新的研究领域。在天文大数据的时代，每个观测设备都在产生海量的观测数据，使用人工方法研究，难免有遗漏或者偏差；而传统算法，又局限于编程者预先设定的模型。使用人工智能技术则可以有效解决这些问题。具体在HXMT卫星的观测数据中，我们期待引入人工智能算法，用于数据中各种数据异常和暴发现象的发现和识别，大幅度提高目前对于暴发现象发现和证认的效率；进而使用人工智能的强大的聚类分析的能力，对这些暴发现象进一步开展研究。

本课题主要研究内容为将人工智能技术和大数据方法应用于慧眼（HXMT）卫星数据，用于发现和研究数据中的暴发现象。在研究的同时还发展了大数据存储、分布式存储相关的软硬件技术。具体分为四个方向：一是利用人工智能算法在慧眼数据中搜索暴发现象，通过对不同方法的比较筛选，我们选择孤立森林算法，辅以小波滤波为主的数据预处理方法，可以有效发现数据中的各类暴发现象；二是利用机器学习做暴发现象的聚类研究，初步拟定有监督的机器学习+无监督的自主分类想融合的聚类方法；三是使用大数据方法存储HXMT工程和事例数据，作为暴发现象分类研究的辅助工具；四是存储即计算的快速数据处理系统，可对特定领域的应用提供良好的处理效率。以上研究内容基本已经完成：人工智能搜索算法比传统算法更有效地发现暴发现象，以GRB为例，相比传统算法发现率提升10-20%；基于Hadoop技术构建的HXMT科学数据库原型，有效地提升了大数据应用和数据挖掘算法的工作效率；以存储即计算思想构建的快速数据处理系统原型正在测试和优化，有望大幅度提升数据处理效率。由于疫情影响，项目主要的数据成果有待整理和发表，存储系统相关专利在准备中。与项目有关的其他非主要成果论文共计6篇，4篇已发表，2篇投稿中。