基于机器学习的单脉冲搜索候选体识别对FAST观测CRAFTS数据的应用研究

单脉冲搜索作为脉冲星探测的有力工具,在探测旋转射电暂现源以及快速射电暴中扮演着重要角色。为了从海量的射电巡天数据中快速筛选出最有价值的单脉冲搜索候选体,候选体识别已经从早期启发式阈值判断发展到基于机器学习自动识别。对于FAST观测,研究了基于机器学习的单脉冲搜索候选体识别应用到CRAFTS (the commensal radio astronomy FAST survey)超宽带脉冲星数据的性能表现。在评估过程中,使用单脉冲事件组识别(SPEGID)和单脉冲搜索器(SPS)两类自动识别方法,通过7种不同机器学习分类器对CRAFTS基准数据集产生的单脉冲搜索候选体进行自动识别;作为对比,也使用了启发式阈值判断的方法 (RRATtrap和Clusterrank)。结果表明,SPEGID具有最好的性能表现(最高的F1-score值95.1%、次高的召回率95.4%、最低的假阳性率4.7%),SPS具有最快的筛选速度(平均每小时筛选4 010个候选体)。通过对比分析结果,探讨了如何基于FAST观测数据开展高效的单脉冲搜索候选体识别。     

基于卷积神经网络的快速射电暴候选体分类

针对目前从海量的快速射电暴(Fast Radio Burst, FRB)候选体中人工筛选FRB事件难以为继的现状,提出了一种基于卷积神经网络(Convolutional Neural Networks, CNN)的FRB候选体分类方法.首先,通过真实的观测数据和仿真FRB组成训练和测试样本集.其次,建立了二输入的深度卷积神经网络模型,并对其进行训练、测试和优化,获取FRB候选体分类器.最后,利用来自脉冲星的单脉冲数据对该分类器的有效性和性能进行了验证.实验结果表明,该方法可以快速从大量候选体中准确识别出单脉冲事件,极大地提高了FRB候选体的处理速率和效率.     

基于Python的SKA-RASCIL中的天线增益校准实现

天线增益校准是射电天文观测数据处理过程中的一个关键步骤.分析了经典的天线增益校准算法Antsol的基本原理,并基于Python对Antsol算法进行了高性能实现,所完成的程序代码已经集成到平方公里阵列(Square Kilometre Array,SKA)的射电天文模拟校准成像软件(Radio Astronomy Si...     

脉冲星搜索技术及FAST望远镜脉冲星搜索展望

分析现有的脉冲星搜索方法对于即将开展的FAST望远镜早期脉冲星搜索的可行性和必要性,尝试脉冲星搜索数据处理的软、硬件加速。回顾并总结了现有的脉冲星搜索方法和这些方法对应的发现,分析这些方法的特点。编写了基于PRESTO的并行数据处理程序。估计了使用显卡计算加速来完成单脉冲搜索的可行性和效率。编写的基于PRESTO的并行数据处理程序使得处理帕克斯望远镜多波束巡天的一个典型大小(100 MB)的文件的时间从约95 min缩短到短于10 min。使用显卡加速的单脉冲搜索实现了大约20倍的加速,数据处理时间短于获取观测数据的时间。对于使用望远镜早期观测数据进行脉冲星搜索而言,用于短轨道周期脉冲星搜索的相位调制搜索算法是没有必要的,用于搜索较长轨道周期的加速搜索算法也不十分必要,而用于长自转周期脉冲星搜索的快速折叠算法仅在需要搜索长自转周期的弱脉冲星时才需要使用。在数据处理过程中,软、硬件等方面可以加快数据处理的速度,可以使数据处理用时短于获取数据的时间。     

基于小波变换的射频干扰消除方法的研究

在射电天文观测中,射频干扰(Radio Frequency Interference, RFI)会以多种形式混入望远镜接收系统,给观测带来误判或者降低观测信噪比.近年来国内国际射电天文快速发展,国内国际大型射电望远镜和阵列先后建设,观测灵敏度大为提高,射频干扰的影响尤为突出.随着科技发展和人类活动的加剧,射频干扰日益严重且不可逆转.提出利用2维离散小波变换的方法分析射电天文观测的数据,对望远镜系统输出的时间频率序列进行小波变换,根据小波系数分离出原始信号中各分量,每个分量统计得到相应的阈值,将各分量与阈值相比较识别干扰成分并标记去除.利用该方法对实际观测数据进行了处理,结果表明该方法能够很好地标记并消减干扰信号,且提高了观测的信噪比.     

基于MPI的高性能UVFITS数据合成研究与应用

中国明安图超宽频谱射电日像仪(Mingantu Ultrawide Spectral Radioheliograph,MUSER)进入实际观测后,每3 ms产生一帧100 k B左右的数据,每天的原始观测数据约3.5 TB。由于射电日像仪的原始数据采用自定义格式,为了后续数据分析和共享的需要,有必要根据数据存储需求把这些原始数据转换成天文常用的文件格式。在前期工作中已经实现了原始数据格式到UVFITS文件的转换,在此基础上研究了基于MPI的集群并行环境下UVFITS合成系统的性能优化。通过实验验证,在改进后的并行环境下,UVFITS合成系统的性能达到了需求的2.5倍,可以有效处理当前及未来一定时间内射电日像仪的海量观测数据。同时,改进后的系统具有良好的横向扩展能力,能够为相关项目的数据处理提供借鉴和参考。     

基于RASCIL的W-projection和W-stacking并行算法实测研究

在射电干涉阵的大视场成像中,W-projection和W-stacking是两类主要成像方法,本文对这两种成像方法进行了并行实测研究。首先分析了两种成像方法的基本原理框架,在此基础上对两种成像方法并行实现的关键因素进行讨论和分析。利用已经校准的射电干涉阵观测数据对两种成像方法基于射电天文模拟、校准和成像库(Radio Astronomy Simulation, Calibration, and Imaging Library, RASCIL)分别进行并行策略研究和并行计算实验。通过对并行计算时间、并行效率和并行资源配置模式的分析,得到了两种成像方法基于RASCIL(https://gitlab.com/ska-telescope/external/rascil)的并行计算性能,结果表明,两种成像方法都适合采用Strong Scaling的并行资源配置模式进行并行计算,基于RASCIL的W-stacking并行计算还有比较大的性能提升空间。     

2003年10月26日至11月3日CME事件的射电初步分析

基于我国的太阳射电宽带频谱仪(0．625～7．600GHz)在2003年10月22日～11月3日观测到8个伴生日冕物质抛射(CME)的太阳射电爆发,结合Nobeyama Radio Polarimeter(NORP)的单频观测、Nobeyama Radioheliograph (NORH)、Siberian Solar Radio Telescope(SSRT)的成像观测以及Culgoora和WAVE／WIND的低频射电频谱观测,对8个射电爆发的射电辐射特征进行了初步分析．试图从中寻找与CME伴生的射电爆发的特征。     

重复快速射电暴的白矮星和中子星双星模型

快速射电暴(Fast Radio Bursts, FRBs)是来自河外的短暂而明亮的射电能量脉冲,有重复快速射电暴和非重复快速射电暴两种类型。重复快速射电暴的重复爆发行为可能源于一个具有强偶极磁场的中子星和磁化的白矮星组成的致密双星系统。当白矮星充满它的洛希瓣时,物质将通过内拉格朗日点转移到中子星表面。一次爆发之后,白矮星可能被踢开,在演化过程中再次吸积,实现重复爆发现象。根据重复射电暴FRB 121102和FRB 180916重复爆发的观测数据,研究了白矮星-中子星的双星模型中两次爆发的时间间隔和两次爆发中前次爆发的流量之间的关系,通过理论值和观测值的比较,肯定了这样一个间歇的洛希瓣外流机制可能解释重复快速射电暴的重复爆发行为。     

基于CLEAN算法的嫦娥四号低频射电频谱仪信号干扰抑制

嫦娥四号低频射电频谱仪(Low Frequency Radio Spectrometer,LFRS)放置在月球背面,观测条件得天独厚.然而,嫦娥四号平台存在约10-15 W/(m2·Hz)的强干扰,并且干扰在每道时域数据中存在明显差异,大大削弱了低频射电频谱仪的观测灵敏度.为此,从两组信号的相关性出发,提出基于CLEA...     

快速射电暴观测数据干扰缓解方法研究

从海量的天文观测数据中快速搜寻罕见的快速射电暴(Fast Radio Burst, FRB)事件, 干扰缓解是其中一项关键而具有挑战的工作. 射频干扰(Radio Frequency Interference, RFI)会淹没真实的天文事件, 还会导致搜寻管线输出大量的假阳性候选体. 由于干扰来源及其种类的复杂性, 目前并没有一种通用的方法可以解决这个问题. 为了降低干扰对FRB观测搜寻的影响, 分析和研究了南山26m射电望远镜L波段观测数据中的干扰情况, 针对主要的窄带干扰和宽带干扰建立了3层次的干扰缓解处理流程, 从而有效缓解了观测数据的干扰污染情况. 将该流程嵌入到FRB色散动态谱搜寻(Dispersed Dynamic Spectra Search, DDSS)管线中, 实验结果表明, 搜寻管线的检测率和检测精度得到了进一步的提高. 该方法为FRB观测数据干扰缓解处理提供了有价值的参考.     

基于Python-casacore的射电测量集文件生成方法

测量集(MeasurementSet, MS)是射电天文领域重要的文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件的支持,在阿塔卡玛大型毫米波天线阵(Atacama Large Millimeter Array, ALMA)、LOFAR等射电望远镜系统中已经深入应用。但长期以来,测量集格式在国内应用较少,介绍了测量集格式的基本概念、目录结构和字段设计,在此基础上讨论了利用Python-casacore调用底层Casacore生成测量集文件的方法,将实现程序集成到射电天文模拟校准成像库(Radio Astronomy Simulation, Calibration and Imaging Library, RASCIL),生成仿真观测测量集文件,并利用CASA(Common Astronomy Software Applications)软件加以验证。所完成的测量集文件生成软件在满足平方千米阵工程桥接阶段工作需要的同时,也为其后续的成像、观测模拟和文件存储提供了重要支撑,对我国射电天文数据处理工作有较高的参考价值。     

耀变体CGRaBS J0835+6835的射电准周期振荡及多普勒因子分析

基于欧文斯谷射电天文台(Owens Valley Radio Observatory,OVRO)40 m望远镜观测数据,收集了耀变体CGRaBS J0835+6835在15 GHz射电波段约12年的数据.利用LSP(Lomb-Scargle Periodogram)方法和加权小波Z变换(Weight Wavelet Z...     

基于Spark Streaming的明安图射电频谱日像仪实时数据处理

目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。     

FAST漂移扫描观测:快速射电暴信号模拟与模拟样本

快速射电暴(fast radio burst, FRB)是一种发生在毫秒时标的射电爆发现象。观测发现,它们很可能来自银河系外,对研究致密天体并合、星际介质、宇宙大尺度结构等有着重要意义。中国新近建成的500 m口径球面射电望远镜(Five-hundred-meter Aperture Spherical Telescope, FAST)是世界上最大的单天线射电望远镜,其多波束漂移扫描观测有望在快速射电暴观测方面作出贡献。针对FAST的漂移扫描观测模式,开展了多种参数和分布下的快速射电暴模拟,构建了下述快速射电暴的样本:一个是对快速射电暴在射电观测参数空间进行模拟获得的样本;一个是根据快速射电暴本身距离(红移)与色散之间可能存在的关系,进行物理参数空间模拟获得的样本。每个样本均有50 000个模拟的快速射电暴信号,它们不仅可用来检验应用于FAST巡天扫描观测的快速射电暴搜寻算法的探测效率,还可以用来研究FAST漂移扫描观测和各类快速射电暴搜寻算法的选择效应,从而有可能从实际快速射电暴探测结果反推快速射电暴的内禀物理性质和分布。获得的快速射电暴样本对重复快速射电暴观测和数据分析具有借鉴意义。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

应用于射电天文的高效实时管道数据流传输与处理技术

针对超宽带及多波束接收系统海量天文信号实时高效传输与处理问题,对基于现场可编程门阵列(Field Programmable Gate Array, FPGA)+图形处理器(Graphics Processing Unit, GPU)的主流终端设备软件系统进行了测试分析。超宽带接收设备要求终端系统软件能够在更宽带宽、更高时间分辨率和频率分辨率的条件下,实现数据流实时传输与处理。结合大口径射电观测设备未来发展的方向,提出了利用高速并行环形缓冲区实现数据流缓存,基于图形处理器集群实现数据流实时处理,基于BeeGFS实现分布式并行数据存储,模块化构建射电天文信号传输管道软件的设计思路。     

基于多进程并行加速的太阳高分辨图像重建方法

目前,太阳高分辨图像重建往往采用斑点干涉术和斑点掩模法重建目标的模和相位,由于分组分块数据量大,算法复杂等因素,难以满足实时重建的需求。为了缓解数据处理的压力,在现有的单组分块数据中央处理器/图形处理器混合计算方法的基础上,提出通过多进程将多组分块数据分配到图形处理器上同时并行处理的方法。实验结果表明,基于多进程并行加速方法可提高中央处理器和图形处理器的资源利用率,图形处理器能同时处理多组分块数据,显著提高图像分块处理的速度,加速比达到4.7左右。相关研究可以为天文数据并行化处理提供借鉴参考。     

德令哈13.7m望远镜谱线OTF观测系统

紫金山天文台研制的毫米波段多波束超导成像频谱接收机(简称超导成像频谱仪)于2010年底安装到13.7 m望远镜上.为发挥超导成像频谱仪的观测能力,紫金山天文台研发了基于多波束接收机的快速高效巡天的OTF(On-The-Fly)观测方法,在国际上首次提出并运用了"隔行扫描"的OTF扫描方法,对该方法进行了系统的测试和验证,并做了观测参数的优化.研发了"OTF观测星表生成器"软件,该软件提供参考点查找、观测时间估算、rms(root mean square)估算、最佳观测时段选择等功能.研发了OTF数据预处理软件,该软件具有坏数据剔除、数据修正功能,并能够结合GILDS软件完成数据网格化(Gridding)处理.通过实际观测测试,观测结果与美国五大学射电天文台(Five College Radio Astronomy Observatory,FCRAO)观测相符.该系统2011年用于13.7 m望远镜谱线成图观测,在银河画卷项目观测和其他课题成图观测中得到广泛的应用,取得了很好的观测结果,验证了该系统的有效性.