基于ROACH2-GPU的集群相关器研究——X-engine模块的设计与实现

随着射电干涉技术的不断提升,干涉阵列规模越来越大,观测能力逐渐增强,但随之而来的是超大数据的实时处理问题。针对该问题,结合射电干涉仪相关器在数据运算和传输等方面的需求以及射电干涉阵列信号的特征,研制了一套基于图形处理器集群的通用相关器并用于"天籁计划"的数据处理:首先根据射电信号的关联计算特性,按频段将计算任务分配到不同图形处理器节点,并合理均衡各节点网络负载;然后由不同图形处理器节点独立完成各自的计算任务并将计算结果实时送往存储节点;最后按图形处理器集群通用相关器的设计方案成功安装部署系统并根据"天籁计划"一期的需求进行了性能测试。该图形处理器集群相关器计算性能约为理论峰值性能的46%;相对于传统方案的相关器,基于图形处理器集群的相关器具有开发周期短、可扩展性强、部署简单等优势。     

基于Mark5B＋GPU脉冲星观测系统

云南天文台40m射电望远镜进行的脉冲星观测数据量巨大,必须实现数据的实时处理,否则将会产生海量的数据积压.为实现这一目标,采用图形处理器架构,对Mark5B数据进行解码、消色散、折叠等处理.实验结果表明,对以1s8MB的实时采样,可以在0.51s内处理完成,从而实现了实时处理的要求.首先介绍这一观测系统各部分的图形处理器实现,然后相对于传统中央处理器构架,对各部分的运算速度进行了详细的对比.针对时间开销最大的消色散部分,分析了单次傅里叶变换的数据量大小对执行效率的影响.从系统最终的输出轮廓和柱状图上可以看到实时处理的结果符合要求.最后对存在的问题和未来的工作进行了讨论.     

基于多进程并行加速的太阳高分辨图像重建方法

目前,太阳高分辨图像重建往往采用斑点干涉术和斑点掩模法重建目标的模和相位,由于分组分块数据量大,算法复杂等因素,难以满足实时重建的需求。为了缓解数据处理的压力,在现有的单组分块数据中央处理器/图形处理器混合计算方法的基础上,提出通过多进程将多组分块数据分配到图形处理器上同时并行处理的方法。实验结果表明,基于多进程并行加速方法可提高中央处理器和图形处理器的资源利用率,图形处理器能同时处理多组分块数据,显著提高图像分块处理的速度,加速比达到4.7左右。相关研究可以为天文数据并行化处理提供借鉴参考。     

一种面向FAST PB量级脉冲星数据处理加速方法及系统

500 m口径球面射电望远镜(Five-hundred-meter Aperture Spherical Telescope, FAST)已投入科学运行,其中脉冲星漂移扫描巡天采集数据量已达数PB,预计每年至少新增5 PB。现有的数据处理软件如PRESTO,SIGPROC等无法满足PB量级数据的快速处理要求。提出了一种基于PRESTO的分布式并行计算方法,整合利用数据库技术和异地异构计算资源,构建了一套命名为Craber的计算加速系统,由FAST早期科学数据中心与国家天文台共同设计实现。启用Craber子网计算集群D中55个计算节点,应用澳大利亚帕克斯(Parkes)望远镜多波束巡天数据集和500 m口径球面射电望远镜漂移扫描数据验证了系统流程和搜索数据库。单个100 MB帕克斯巡天数据文件平均耗时36 s,单个128 MB 500 m口径球面射电望远镜巡天数据文件平均耗时22 s。该系统目前已实际参与数据处理并发现了数十颗脉冲星,有效帮助500 m口径球面射电望远镜加速数据处理和扩大新样本数量。     

基于CUDA的射电天文多相滤波器组设计

采用图形处理器和最新的通用并行计算架构设计了射电天文多相滤波器组,并对其性能指标进行了测试和分析。利用图形处理器强大的浮点数计算和高效并行执行能力实现了多相滤波器、快速傅里叶变换算法加速,改善了多相滤波器组算法的执行效率。实验结果表明,设计的多相滤波器组具有一定的灵活性和可扩展性,能够实现射电信号的高速滤波及信道化,可有效提高射电望远镜数字终端算法的并行数据处理能力和计算效率。     

Hα全日面云污染实时识别和修复系统

高空云层导致所观测的Hα全日面像上覆盖有一层云污染,使得图像上的太阳活动细节变得模糊不清。为了能够实时探测云污染,并及时显示修复后的图像,采用图形处理器技术实现了一个Hα全日面云污染实时识别和修复系统。该系统主要在统一计算设备架构(Compute Unified Device Architecture,CUDA)环境下利用图形处理器并行实现:(1)二值化图像椭圆长短轴比值法识别重度云污染图像;(2)临边昏暗曲线中心对称法识别可修复云污染图像;(3)频域巴特沃斯低通滤波法去除云污染。通过对系统中各运算在图形处理器中花费的时间进行详细测量,发现傅里叶正反变换和频域滤波占用了图形处理器总处理时间的52.9%,是系统中最耗时的。然而,相对于1 min的观测时间间隔,约0.7 s的总处理时间可以满足实时显示的需要。另外,通过对修复后的图像做质量评价,验证了所采用的修复算法可以有效地去除云污染,并对太阳活动细节影响较小。最后讨论了系统存在的不足和需要进行的改进。     

基于ROACH2-GPU集群相关器的研究——F-engine模块的设计与实现

相关器在射电天文中具有重要作用。以往的相关器多采用现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者特定用途集成电路(Application Specific Integrated Circuit,ASIC)技术,开发周期长,不便扩展和改进升级。近年来许多新研制的射电干涉阵相关器采用具有通用架构的现场可编程门阵列和图形处理器的相关器。针对暗能量射电探测实验(天籁计划)的需求,开发了一套基于可重构开放架构计算硬件(Reconfigurable Open Architecture Computing Hardware,ROACH2)和图形处理器的异构相关器,将相关器的数据采集、快速傅里叶变换(Fast Fourier Transform,FFT)等功能与复数乘累加运算功能分开,充分利用了现场可编程门阵列的硬件资源和图形处理器的运算速度。该相关器易于扩展,且运算负载可根据实际运算能力进行不同节点的分配,非常灵活。目前已经应用到天籁计划项目中。     

无缝光谱仪用紫外透射闪耀光栅的制作

无缝光谱巡天是如今国际天文学研究的重点方向, 相比较地基巡天任务, 空间巡天可获取更多紫外波段与红外波段的光谱信息, 其发展受到色散元件的制约, 针对紫外波段的核心色散元件---紫外透射闪耀光栅开展了一系列研究. 通过全息干涉光刻产生图形, 离子束垂直刻蚀将图形转移至基底形成光栅掩模, 利用光栅掩模对倾斜离子束的遮挡作用, 使得槽底不同部位受到离子束的轰击通量不同, 从而获得非对称的槽形结构. 实验分析了倾斜离子束刻蚀中沉积物的主要组成以及对槽形和闪耀角度的影响, 并在去除沉积物影响的情况下, 成功制作了线密度为333lines/mm, 闪耀角度分别为13.2°、10.5°的紫外透射闪耀光栅, 峰值衍射效率分别可达理论值的88%以及92%, 为制作高衍射效率紫外透射闪耀光栅奠定了基础.     

应用于射电天文的高效实时管道数据流传输与处理技术

针对超宽带及多波束接收系统海量天文信号实时高效传输与处理问题,对基于现场可编程门阵列(Field Programmable Gate Array, FPGA)+图形处理器(Graphics Processing Unit, GPU)的主流终端设备软件系统进行了测试分析。超宽带接收设备要求终端系统软件能够在更宽带宽、更高时间分辨率和频率分辨率的条件下,实现数据流实时传输与处理。结合大口径射电观测设备未来发展的方向,提出了利用高速并行环形缓冲区实现数据流缓存,基于图形处理器集群实现数据流实时处理,基于BeeGFS实现分布式并行数据存储,模块化构建射电天文信号传输管道软件的设计思路。     

基于GPU加速的FRB实时搜寻算法研究与测试

新疆天文台接收机团组以南山25 m射电望远镜科研需求和计划建设的奇台110m射电望远镜(QiTai radio Telescope,简称QTT)关键技术研究为背景,在原有的基于CPU(Central Processing Unit)的快速射电暴(Fast Radio Burst,简称FRB)搜寻算法基础上,研究了基于图形处理器(Graphics Processing Unit,简称GPU)加速的FRB搜寻算法,并搭建了相应的FRB实时搜寻系统平台.对CPU系统和GPU系统进行了对比与分析,测试结果表明:在保证搜寻精度的基础上,使用GPU加速的FRB实时搜寻算法相比CPU算法计算速度可提高35–45倍.     

硬件相关处理机数据回放模块研究

硬件相关处理机系统需从数据记录缓存器读取台站数据,经数据预处理后进行下一步的相关处理。为了满足高速实时数据的传输及预处理要求,设计了VLBI数据回放模块,该模块通过千兆网络传输观测站数据,控制数据收发,并针对VLBI数据特点进行数据解码、数据校验、数据异常处理等。测试结果表明,该模块处理速率可达1 Gbit/s,在硬件相关处理机进行单台站数据速率64 Mbit/s的实时数据处理时能稳定正常工作。该模块己应用于嫦娥3号任务的硬件相关处理系统中。     

基于MPI-CUDA的K-T算法太阳高分辨图像重建

大气湍流导致地基望远镜成像模糊,高分辨图像重建是解决这一问题的有效方法,K-T高分辨图像重建方法是其中常用的一种,但存在数据大、计算复杂等因素的制约,导致重建非常耗时。针对当前中央处理器与图形处理器混合架构下的高分辨图像重建开展研究,采用MPI-CUDA混合并行技术,最终实现了一套在单机图形处理器环境下基于斑点图像重建技术的高分辨太阳图像重建系统。通过实验验证,与单一的信息传递接口并行相比,图像子块的处理速度有了显著提升,在8个子进程下整个流程的加速比达到了2。实验结果表明,MPI-CUDA混合并行的有效性,能够为天文研究中的大规模计算任务提供借鉴和参考。     

基于Spark Streaming的明安图射电频谱日像仪实时数据处理

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。     

四通道可拓展射电数字接收机系统

针对目前射电观测设备对数字接收机高采样率、宽带宽、多通道幅相一致,以及高速率直接采样和时域数据存储的需求,通过调研分析多个射电观测设备的数字处理系统的技术架构和功能,提出了基于ZYNQ SOC和ADS54J60等核心器件实现的4通道数字接收机系统方案。单通道最高可实现1 GSPS采样率,具有灵活可拓展的优势,可以通过添加板卡实现采样通道数的增加,能够满足未来大规模可拓展射电干涉阵列的需求。系统由高速数据采集卡、光通信接收卡、服务器3部分设备组成,基于SerDes的高速串行接口技术目前实现16位量化精度、300 MSPS的直接采样功能,具备60 dB满量程信噪比、40 Gbps的SFP+数据传输带宽、1.5 GB/s的PCIe通信带宽,可对4.5～150 MHz范围内中频模拟信号进行采集,目前该系统已经完成软硬件设计和测试。在测试中对频率为10 MHz、幅度为125 mV的正弦波信号进行采样,得到4通道间幅度差小于1 mV,相位延时小于3.3 ns。系统集成可编程SFP+通信接口和多机同步机制,可适应多元阵列同步采集的需要,可同时对原始射电信号的数据进行存储,为射电研究提供更详细的时域数...     

频率稳定度实时评估系统的设计与实现

为了实时计算原子钟的频率稳定度,设计了一种频率稳定度实时评估系统.利用现有理论基础(稳定度测量原理及其算法等)以及软件技术开发了一种实时计算并以图形显示原子钟稳定度的测量分析软件.该软件使用VC++的多媒体定时器实现数据的实时不间断采集及计算,同时采用双缓存绘图技术显示计算结果.测试结果表明该软件工作稳定,计算结果可靠、可信.     

基于OpenStack的天文台站计算节点自动管理研究

天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势。针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。     

GWAC海量星表数据处理的数据库系统选型研究

为应对我国的宽视场地基广角相机阵在大数据管理和实时处理上带来的挑战,提出一种基于列存储数据库Monet DB的时序数据处理与管理系统设计方案。本方案充分利用Monet DB兼具数据处理和管理于一体的数据库平台特点,通过将交叉认证等核心数据处理算法内嵌于数据库中,从而实现将"计算带到数据中"的设计理念。同时,对本方案开展了多项关键技术的研究与测试:TPC-H基准性能测试;大数据加载能力测试及优化研究;基于Monet DB的Zone算法实现与测试;可定制函数开发功能的测试。初步的预研结果表明,列存储切实可行,同时对本设计方案作详细的介绍。提出的基于列存储Monet DB数据库设计的海量星表数据处理应用方案,是高效的数据处理与管理为一体的天文数据库解决方案。     

云南天文台40米射电望远镜S波段总流量观测系统研制和测试

为提高云南天文台40 m射电望远镜射电源流量观测性能,针对S波段现有问题,设计并研制了一套流量观测系统.研发硬件包括抗干扰射频模块、K因子辐射计.同时开发了与新系统配合工作的观测软件,用于数据采集、实时显示、储存及处理.系统研制完成后,进行了安装测试.测试方式为河外致密源ON/OFF流量观测.观测结果表明,实测灵敏度接近理论值水平,新研制系统性能较旧设备有显著提高.     

天秤座EH光变周期变化新探

我们于1980年5月18、19日及6月15日和1981年1月15日四夜,用高速光电光度计观测了天秤座EHLib,获得6个光度极大时刻。与前人的观测资料综合分析,得出该星的观测极大时刻与计算极大时刻间的差值(O—C)随周期数E的变化,可以定性地表示为其中T_o=H.J.D.2433438.6088,P_o=0.0884132445天,β6.0×10~(-13)天/周-2.4×10~(-9)天/年-2.8×10~(-8)/年,A0.0015天,E_o70700P_o6250天17.1年。假如用双星系统的光时效应来解释其中的正弦项,则双星系统轨道的半长径α近似为0.28天文单位,轨道视向速度峰值投影K=(2παsini)/(E_o)0.45km/s,质量函数f(m)6×10~(-5)M_☉。     

一个爆发日珥速度场的观测研究

用"多云模型"光谱方法分析1991年3月5日喷泉状爆发日珥的Hα光谱观测资料,导出了该日珥视向速度的二维分布;通过速度场分析,我们探测到日珥喷射速度和旋转角速度随高度的分布,结果表明该日珥的蓝移速度占绝对优势,速度变化范围为8～110km/s,速度分布不均衡、不对称,日珥中部和底部速度较大、顶部速度较小;日珥南边缘的速度梯度比北边缘的更大;日珥的喷射除表现为上升运动外还显示出向着观测者的、平均速度约为50km/s的视向运动;该日珥的旋转角速度约为7×10-4rad/s,两者随高度的变化显示出相反的特征。