LAMOST数据流优化与光谱质量控制研究

With LAMOST regular survey's proceeding, the forth batch of spectral data has been released in December last year. At the same time, a core database-centric dataflow has been constructed, which assembling organicaly the followning process, observation program generation,data reduction,parameter measurement,eyecheck. On the one hand, in order to achieve , process and analyze data and any problem happened during data processing more efficiently, and carry out work flow more efficiently, database structure and dataflow has to be optimized; On the other hand, through strict spectral quality control and all aspects of the spectral output, high quality spectrum resources can be achieved.This program will firstly analyze LAMOST massive data processing, research advanced database technology and data flow management technology, drawing on mainstream web technologies and big data analysis technique, study the key technology which is fit for LAMOST massive data analysis and spectral quality contral, finally, establish LAMOST massive spectral quality control system.

随着LAMOST正式巡天的顺利进行，中心于去年12月份对外释放第4批光谱数据。与此同时我们形成了以核心数据库为中心的包括观测计划生成、数据处理、参数测量、人工检查在内各个环节有机组织在一起的LAMOST数据流。一方面，为了更高效地获取、处理、分析数据和数据处理过程中出现的问题，更高效展开工作，需要进一步优化数据库结构和数据流；另一方面，严格控制光谱质量和光谱产出各个环节能够为优质的光谱资源的释放提供保障。因此，本课题拟通过分析和归纳LAMOST海量数据处理流程，引进先进的数据库技术和数据流管理技术，同时借鉴主流web技术和大数据分析技术，研究适合于LAMOST海量数据分析、处理和产出的数据流优化和光谱质量控制的关键技术，建立LAMOST海量光谱质量控制系统。

截止正式巡天第七年，郭守敬望远镜（LAMOST）观测天区总数达到5606个，发布光谱总数达到 1448 万条。如此海量的光谱数据处理过程涉及观测计划生成、二维和一维数据分析、参数测量、质量控制和光谱释放等诸多环节。为了更高效地获取、处理、分析数据和发布数据以及及时解决数据处理过程中出现的问题,取得最大的科学成果， LAMOST 必须拥有一套完整的自动化观测、数据处理和存储的软件系统，以及一个系统级的数据处理数据库用于存储从观测计划生成到光谱产品产出整个数据处理过程中涉及到的一系列有用信息。一方面，基于这样的一个核心数据库可以建立LAMOST 数据处理系统数据流并优化我们的数据流和工作流程，围绕着该数据流高效地展开我们的日常工作。另一方面，光谱自观测到产出都应该严格地遵循一定的质量控制机制，从而保证光谱的高质量产出。因此，本课题通过分析和归纳LAMOST 海量数据处理流程，引进国内外先进的数据库技术和数据流管理技术，同时借鉴主流web技术和大数据分析技术，研究了适合于LAMOST 海量数据分析、处理和产出的数据流优化和光谱质量控制的关键技术，建立LAMOST 海量光谱质量控制系统。本课题深入研究LAMOST系统数据流和工作流程,结合关系型数据库进行数据建模,实现基于Linux的MySQL数据库系统,将数据处理和发布各个环节有机串联并融合在一起;然后,基于该数据库系统,定义光谱质量控制模型,建立光谱质量控制系统,严格控制光谱质量和光谱产出各个环节,从而为优质的光谱资源的释放提供保障。最后,在实际使用过程中验证该数据流与光谱质量控制系统是可以很好的满足LAMOST数据处理和数据管理的需要,是可以扩展至同类望远镜系统进行数据处理的一种有效方案。