一米新真空太阳望远镜数据系统优化与集成

Since its official operation in 2012, the one-meter new vacuum solar telescope (NVST) has obtained a number of original research results in solar physics，such as the trigger mechanism of solar activity, magnetic reconnection, and small-scale activities, etc. . With the in-depth development of scientific research, NVST's data system can no longer meet the requirements of observation and scientific research, mainly reflected in: 1, the data processing capability can not meet the needs; 2, the data matching of different channels is not accurate enough; 3; the base of data diagnosis is insufficient, means of data query is too simple, all these aspects limited the depth of data mining. In order to solve the above problems, it is necessary to adhere to the scientific goals and explore new data solutions strategies based on the current hardware platform(including computation platform). The main research contents will include: 1. Improve the core algorithm of mass data processing, optimize the data processing flow; 2. Study the automatic data calibration method, effectively integrate observation data from different instruments and different channels (bands); 3. Improve data diagnosis Model, establish a complete database, ensure the depth of data mining; 4, the necessary upgrades to the relevant hardware. If the project can be implemented, it will greatly improve NVST's data quality and efficiency , and significantly increase the scientific output of NVST.

一米新真空太阳望远镜（NVST）自2012年正式运行以来在太阳活动触发机制、磁重联以及小尺度活动等太阳物理热点研究领域取得一批原创性研究成果。随着科研工作深入开展，NVST数据系统已不能满足观测和科研的要求，主要体现在：1，数据处理能力不能满足需要；2，不同通道的数据匹配不够准确；3；数据查询方式单一，诊断依据不足，限制了数据挖掘深度。为解决以上问题，需要坚持以科学目标为导向，以现有硬件平台（包括计算平台）为基础，探索出新的数据解决策略。主要研究内容包括：1，改进高分辨率数据处理核心算法，优化数据处理流程；2，研究数据自动配准方法，有效整合来自不同仪器和不同通道（波段）的观测数据；3，建立完备的数据库，完善数据查询方式，保障数据挖掘深度；4，整合并集成有关硬件系统，完成必要的升级改造。项目如能实施将极大提升NVST数据质量和使用效率，显著提高NVST科学产出。

太阳物理及空间科学的发展对地面大口径太阳望远镜高分辨率数据产生了强烈需求，但NVST现有数据处理系统,在数据传输，处理，数据库等方面有缺陷，只能暂时采用色球优先的数据解决方案：优先处理采集数据中的色球数据（主要为Ha），满足高分辨率色球数据为基础的研究工作，光球数据则按需处理。该数据解决方案暂时实现了NVST高分辨率色球数据的准实时发布，保障了国内研究团队在太阳活动的触发机制、小尺度磁重联、暗条和日珥的精细结构等前沿研究领域取得多项重要突破。同时，该方案的缺点非常明显，即忽视了以光球数据和其他数据（如光谱）为基础的研究需要，同时历史数据积压严重。.基于上述情况，本项目以NVST科学目标为导向，主要研究内容为：1制定NVST具体的数据解决方案；2改进NVST高分辨率数据处理核心算法，优化数据处理流程；3研究数据自动配准方法，有效整合来自不同仪器和不同通道（波段）的观测数据；4建立完备的数据库，完善数据查询方式，保障数据挖掘深度，初步实现基于AI的观测数据自动分类；5对相关硬件系统进行整合与集成，完成必要的升级改造。.经过项目组4年来的努力，项目预期目标基本完成：.1在NVST制定并实施了全新数据解决方案，基本实现NVST常规观测数据(光球色球等)的全面开放和准实时发布。.2完成高分辨率数据处理流程优化及核心算法改进，将NVST的数据处理时间缩短为原来的1/2 以下。.3开发完成观测数据精确配准工具包（软件），基本实现可对NVST的各种观测数据进行精确配准，亦可进行NVST观测数据与其他望远镜观测数据的精确配准。.4建成物理容量为1.3PB的观测数据分布式存储池，以及开发并部署历史数据处理流水线，并开始基于视宁度分级的历史数据处理。.5建成可全面检索和查询NVST所有高分辨率数据的数据库，数据库具备多种查询方式，初步实现基于AI的观测目标自动分类，基本满足基于NVST观测数据的相关科研工作需要。