新一代厘米-分米波射电日像仪数据处理分析系统关键技术研究与实现

The infrastructure of Chinese Spectral RadioHeliograph in CM-DM Range (CSRH) has been completed, and all kinds of principles validation and algorithm testing have been implemented. The hardware part of decimetric wave (CSRH-I) has been built in 2011 as well. These achievement has made International counterparts pay high attention on this project. In this application, we aim to provide data processing and analysis platform for CSRH, and make it play an important role as a new generation of solar radio observation equipment. Based on the layout, structure, location of antenna array and receivers, image reproduction algorithms and parameters optimization methods will be designed and analysised carefully in order to ensure high quality and high-precision results. The very high speed data processing pipeline using distributed storage and GPU parallel technology will be implemented in processing massive data of multi-channels in milliseconds. The results will be shared through the WEB and SSW interface. The platform of data processing and analysis which will be achieved in this project will be installed in the National Astronomical Observatory, integrated with CSRH and support CSRH observation. The results of the project will not only directly apply to the observation on CRSH, but also will be the foundation work for parallel high-performance computing application in solar radio astronomy. They can provide an important reference for astronomical massive data processing and storage technology.

得到国际同行高度关注的新一代厘米-分米波射电日像仪已完成米波阵设备安装，正在进行系统联调和校准，校准和试观测期间将会产生大量观测数据，数据处理方法研究和硬件平台搭建成为CSRH最为紧迫的工作。本项目将研究数据处理与分析平台，实现CSRH从建设阶段到常规观测和科研产出阶段的过渡，以充分发挥其作为新一代太阳射电观测设备的重要作用。本研究将结合阵列和接收机等自身特点，给出针对性的优化图像还原算法和优化的洁化算法，确保获得高质量、高精度观测结果。通过分布和GPU技术实现快速数据处理和海量数据存储，实现毫秒级多通道（比现有设备高一个量级）数据处理的自动流水线，并通过WEB与SSW接口提供数据发布与共享。最终完成的数据处理分析平台将放置在国家天文台，与CSRH集成，为发挥CSRH 的重要作用提供支撑。项目成果也将为并行高性能计算在太阳射电天文中的应用打下基础，并为天文海量存储数据处理技术提供借鉴作用。

为了推动太阳射电观测技术的发展， 由我国天文学家所提出的400Mhz-15GHz 范围内的厘米-分米波日像仪(MUSER)首次在多波段上实现同时以高空间、高时间和高频率分辨率观测太阳活动的动力学性质，对太阳从色球层到高日冕的广大区域中进行高分辨率的三维动态成像观测，填补国际科学界在太阳耀斑、日冕物质抛射等爆发活动的能量初始释放区高分辨射电成像观测的空白，揭示太阳剧烈活动的起源和发生规律，并取得一批原创性的研究成果，大大提升我国在太阳活动预报方面的能力，为航空、航天、卫星通讯和国防建设等提供有效保障，对推动学科发展及相关高技术领域的建设具有重要作用。.本研究项目正是针对MUSER迫切需求而开展的关键研究工作，以确保MUSER实现从原型验证阶段到常规观测阶段的过渡，从而充分发挥其作为新一代太阳射电观测设备的重要作用。经过4年的努力，项目组完成了一套全自主知识产权的分布式海量数据系统，系统解决了从数据采集、存储 、归档、预处理、成图、洁化、发布中所有的关键技术问题。通过一套自研的OpenCluster分布计算框架，实现了面向异构计算环境的高可用分布实时数据处理，切实保障了MUSER的日常观测和科学产出。同时，项目组在海量数据索引、高性能数据管理、干涉阵数据积分处理、实时数据Flag等方面均取得一系列成果，.总体来看，通过研究MUSER的数据处理与存储相关技术，构建数据处理分析平台并实现与MUSER 的集成，满足MUSER日常观测和科学产出的需要。同时，项目成果也为并行处理和集群技术在太阳射电天文中的应用打下基础，为国内大型天文仪器的海量数据处理能力提供重要的技术借鉴。此外，项目组在领域内天文技术相关著名期刊上发表了一系列论文，获得了多项软件著作权等知识产权。.项目成果得到了国际同行和其它射电干涉阵的关注，如SKA-SDP等，进一步加强了我国在射电干涉阵数据处理方面的实力与认可度。