针对太阳高分辨观测图像的高性能实时处理方法研究

The real-time processing for solar high resolution observational images plays an important role in the transformation of raw data from solar telescope into scientific output. High performance computing is the mainstream solution to deal with this link in the current big data environment. However, the mature and high performance computing schemes have some shortcomings in the processing in the preliminary research, and can not achieve the scientific goal of real-time processing. Based on the real-time image reconstruction for New Vacuum Solar Telescope (NVST), the project scheme mainly includes as follows: (1) Establish a common module of parallel processing framework for solar images; (2) Improve the Bulk Synchronous Parallel (BSP) model of subimage partitioning; (3) Optimize fast distribution method for huge intermediate data. The project research mainly focuses on how to realize the real-time processing for high resolution image based on heterogeneous cluster in the big data environment by ensuing data consistency, improving parallelism and reducing communication overhead, and realizes single-frame real-time reconstruction and multi-channel real-time reconstruction for high resolution images from NVST. The project results include as follows: (1) General framework for real-time processing for solar observational images; (2) High performance computing model for mass solar observational data; (3) Single-frame and batched real-time reconstruction for NVST. In addition, the project not only has practical value for helping increasing scientific out for NVST, but also can be applied to other current and future solar telescopes, such as Optical and Near-infrared Solar Eruption Tracer of Nanjing University (ONSET).

太阳高分辨观测图像的实时处理是太阳望远镜观测原始数据转化为科学产出的重要环节，其中高性能计算是当前大数据环境下处理这一环节的主流解决方案，然而前期采用的高性能方案存在未能实现算法的细粒度并行化、部分计算任务的反复操作且通信开销大等问题，从而无法实现实时处理的目标。针对这一问题，本项目以NVST高分辨图像实时重建为出发点，拟建立通用模块并行处理框架、改进图像子块划分方式的BSP模型和优化中间大数据分发算法等，重点研究在大数据环境下，基于异构集群如何实现图像的实时处理，即保证数据一致性、提高并行性和减少通信开销，并实现NVST高分辨图像单帧实时重建（秒级）和批量实时重建（当日观测当日发布）。预期研究成果如太阳图像实时处理的通用框架、针对海量太阳观测数据的高性能计算模型、NVST单帧及批量实时重建等，不仅能促进NVST原始数据转化为科学产出，也可以应用到当前其他和未来太阳望远镜（ONSET等）。

利用地基大口径太阳望远镜对太阳进行多层多波段成像观测，一直是世界前沿科学问题，但其受地球大气湍流的影响，需要对太阳观测图像进行高分辨重建，才能实现衍射极限成像。高分辨重建处理的观测图像数据量巨大，多通道高分辨同步观测情况下每天产生的数据量在TB量级以上。高分辨观测图像重建算法复杂、处理过程耗时，并且产生巨大的中间数据，这使得国内外地基大口径太阳望远镜所获得的高分辨图像面临至今仍未实现实时重建与发布的难题。本研究针对地基大口径太阳观测设备产生的海量数据实时重建的迫切需求，重点研究集群并行环境下高分辨图像实时重建的关键技术。分析高分辨观测图像重建整体过程性能，挖掘重建过程中耗时的多个处理模块，对其进行并行化研究与实现。通过研究中间大数据快速分发与整合技术，以减少数据分发时间，提高计算性能。通过研究高可靠的多通道数据并行重建方案，提高系统的容错能力，并在此基础上，实现一套多通道观测图像实时处理流水线系统。具体完成工作包括：（1）基于MPI的并行重建模型构建与实现；（2）基于GPU的并行重建设计与实现，优化算法，将并行重建速率相比最初的IDL重建速率提高到100倍以上；（3）基于高性能计算模型的重建技术研究，构建一套秒级的多通道流水线重建系统；（4）在此工作基础上，进一步研究新的计算机理论在高分辨太阳观测图像处理中应用；（5）培养研究生2名，培养江苏省“青蓝工程”中青年学术带头人和优秀骨干教师各1名，完成相关学术论文4篇，申请专利3项（已公示），获得2021年江苏省高等学校科学技术研究成果奖1项。