基于GPU实现射电干涉阵列信号实时处理的加速研究

The cross-correlator of an radio interferometer, which is the key and most complex computational segment during the realtime processing of the signal, usually includes two main parts: one is the Fourier transform of the time serial signals from each antenna channel, and the other one is the cross correlation between all the dual channels. With the increasing of the number N of the antenna in the interferometer, the computational complexity sharply increases as the O(N^2). Facing the current exascale computational requirements, the traditional ways is to developing the special FPGAs or ASICs for the concrete projects. However, its expensive cost and the inflexibility limits its widely usage in the future large interferometer array. Fortunately, the rapid developing of GPU brings a revolutionary way to handle this intractable tasks. Basing on our experiments, we find another better way to meet the requirements using the advanced GPU cards. In this way, a novel and creative implementation of cross correlator could be realized in this project with much lower cost and much higher performance for the large radio interferometer array, especially useful for "TianLai" or "VLBI" etc.

射电干涉仪的相关器通常包括射电干涉仪信号的傅里叶变换和信号间交叉互关联两部分，它是射电干涉仪数据实时处理过程中最关键也是计算量最大的部分，随着干涉仪阵元数目N的增加，信号间交叉相关的计算量以O(N^2)急剧增加，如何以低廉而有效的办法来解决目前万亿次每秒甚至亿亿次每秒的实时计算需求，一直是国际关注的一个问题。近年GPU的迅速发展为这一难题的解决带来了新的机遇，我们基于先导实验，找到了一种比传统方法更佳的解决方案。传统的解决方案往往需要为具体项目专门研制FPGA或专用集成电路ASIC等硬件，而该方案基于GPU以软件的形式来实现，具有开发周期较短、扩展性和通用性强，同时费用低廉等优势。该课题的研发成果可为我国重大基础科学工程，尤其射电设备（如“天籁计划”、VLBI等）的实时数据处理带来一种通用、低廉且具有高性能的解决方案。

随着射电干涉技术的不断提升，干涉阵列规模越来越大，其观测能力逐渐增强，但随之而来的是超大数据的实时处理问题。针对这样的问题，我们分三个阶段逐步深入地开展了GPU相关器课题的研究：（1）小型先导实验，该实验的目的主要是进一步确定最佳研究方案；（2）单GPU相关器的研发，将GMRT现有的CPU相关器升级改造为GPU相关器，主要目的是积累更多射电干涉信号处理的实际经验；（3）GPU集群相关器的研发，这里着重围绕我国天籁计划的项目需求，开发一套性价比高、升级灵活的GPU相关器，该阶段将完成该项目最重要的研究内容。..经过三个阶段的研究，我们最终研发了一套ROACH2-GPU集群相关器，该相关器主要分F-engine和X-engine两部分。基于ROACH2实现F-engine模块，该模块分别完成数据的采集、AD数模转换、信号的PFB滤波、傅立叶变换、分频分发等功能；利用GPU技术实现了X-engine模块，该模块首先根据射电信号的关联计算特性，按频段将计算任务分配到不同GPU节点，并合理均衡各节点网络负载，然后由不同GPU节点独立完成各自的计算任务并将计算结果实时送往存储节点，最终完成射电干涉阵信号的实时处理。..该ROACH2-GPU集群相关器现已经成功安装部署在新疆“天籁计划”的射电干涉阵中，并通过了正确性、计算及传输性能等测试。相对于传统方案的相关器，该GPU集群的相关器具有开发周期短、可扩展性强、部署简单等优势。