基于Docker的射电干涉阵软件系统敏捷封装与部署

随着天文技术的发展,天文数据处理软件的需求也不断更迭变化,导致软件运行环境渐趋复杂。对于开发者和使用者,急需提出一种对复杂天文数据处理软件敏捷化封装和部署的方法。我国明安图射电频谱日像仪已进入常规观测,与之配套的数据处理软件也已完成开发并投入使用。由于该软件的部署涉及操作系统环境、图形处理器运行环境及底层依赖软件等配置问题,导致安装过程既繁琐又容易出错。结合容器技术的特点,提出了一种基于Docker容器对日像仪软件系统进行敏捷封装与部署的方法,并对该方法的设计进行介绍,通过实验验证了其可用性,以及相比于传统虚拟机可获得较优异的性能表现。该方法可为未来天文数据处理软件的封装部署提供参考。可以预见,未来容器技术将成为天文海量数据处理的基础支撑技术。     

Docker技术在天文数据档案库系统测试中的应用

随着容器技术的快速发展,越来越多地应用于天文软件应用程序,如何理解容器技术,将容器技术运用到天文软件开发测试工作中,成为每一个相关从业人员应该思考和快速掌握的核心问题。通过对容器技术在天文数据档案库系统测试中的应用,实现对科学数据产品长期存档与数据产品查询检索,支持各级数据产品、工程数据、标定数据、辅助数据的管理,测试科学数据产品存储、检索、提取、维护、分析、控制功能,在传统软件环境部署及测试中,天文软件环境复杂且运行时依赖较多第三方库支持,测试中耗费大量时间定位软件缺陷重现测试环境。介绍容器技术在天文数据档案库系统测试应用中的优势和重要性,实现测试环境标准化、测试数据隔离性、测试功能扩展性,提高测试工作的效率。同时也为容器技术在其它天文软件测试与应用提供借鉴参考。     

基于容器技术的天文应用软件自动部署方法

平方千米阵列即将开始建设,各子工作包也进入关键设计评估阶段。基于云与容器技术是平方千米阵列科学数据处理器未来可能采用的平台技术。针对超大规模海量数据处理面临的天文应用软件快速部署、运行与实测要求,充分考虑天文应用软件运行环境复杂、云计算环境下超大规模计算集群部署困难等问题,系统研究并给出了一种使用容器技术的天文应用软件通用自动部署方法。以目前较为常用的可见度函数校准软件SAGECaL为例,首先分析了SAGECaL的相关特性和分布式部署方面存在的困难,进而给出了基于容器技术的SAGECaL分布式集群的自动部署方法。实验结果表明,自动部署方法极大地提高了SAGECaL分布式集群的部署效率,满足项目组承担平方千米阵列科学数据处理器相关测试工作所需要的基础平台部署与切换等需求,同时也为其它天文软件在云端的快速部署与执行提供了有益的思路。     

人工智能在脉冲星候选体筛选中的应用

脉冲星搜寻是对脉冲星、引力波,以及对快速射电暴(Fast Radio Burst,简称FRB)等暂现源进行研究的基础。搜寻不仅可以扩大脉冲星样本,还可以发现极端性质的致密星。这有助于研究致密天体状态方程、星际介质、脉冲星导航、引力波探测等课题。目前,射电望远镜的单次巡天就可以产生百万数量级的脉冲星候选体。面对这些海量数据,仅仅依赖人工识别筛选,已不能满足数据的时效需求,更不能实现数据的实时处理。机器学习、计算机视觉应用等人工智能技术自诞生以来,其理论和技术已日益发展成熟,并已成功运用到脉冲星候选体筛选等射电天文研究领域。首先将介绍现有脉冲星搜寻的人工智能方法,再统计和分析已有脉冲星候选体筛选方法的性能,最后对FAST脉冲星候选体筛选工作进行展望。     

相干消色散脉冲星观测系统的研究

云南天文台射电天文研究团组利用从美国伯克利大学CASPER天文信号与电子学研究中心购买的现场可编程门阵列(Field-Programmable Gate Array,FPGA)接收机平台ROACH2,实现了512 MHz输入带宽,512 MHz带宽分为128通道输出(每个通道4 M带宽),8比特采样和双极化输入(1 024 MHz)的基带数据采集终端。海量数据传输方式通过SFP+万兆网口实现,利用编写的脚本文件调用DSPSR程序包实现数据的解码、相干消色散、偏振计算和折叠等处理。数据处理结果以PSRFITS格式存储。构建以ROACH2为基带数据采集终端和DSPSR为数据处理核心的脉冲星观测系统,相比于以VLBI观测终端为基础构建的观测系统,在观测模式、数据处理方法、运算效率和观测数据的通用性等方面具有更好的优越性。     

ONSET数据流水线

随着天文大科学设备的投入使用,传统的开发模式面临程序重复开发,环境依赖冲突等问题。另外,集群是一个高度耦合的计算资源,严重的环境冲突可能导致整个集群不可用。为了解决这个问题,采用微服务的概念开发新的流水线框架,这种框架可以实现短期内开发和部署新的流水线。介绍了通过这种框架开发的ONSET数据流水线,为了实现准实时数据处理,采用MPI和GPU技术对核心程序做了优化,并对最后的性能做了评估。结果表明,这种开发模式可以在短期内搭建满足需求的流水线,这种开发模式对未来多波段多终端的天文数据处理有借鉴意义。     

脉冲星VLBI观测软件相关处理进展

VLBI是进行高分辨率脉冲星观测研究的重要手段.脉冲星信号是非常微弱的脉冲序列,其VLBI观测面临多种挑战.在数据相关过程中采用有效技术提取脉冲星信号可提高观测成功率和精度.DiFX(Distributed FX-style Software Correlator)是目前国际上流行的开源软件相关处理机,它采用非相干消色散技术和“脉冲星数据分箱技术”(Pulsar Binning),在脉冲星VLBI观测数据的相关处理方面具有优异的性能.介绍了DiFX的构架,安装、调试方法,并对利用DiFX处理脉冲星VLBI观测数据的进展情况进行论述.利用单机环境下的DiFX,在普通模式和Pulsar Binning模式下对中国VLBI网(CVN)第一次脉冲星观测数据进行相关处理;利用德国马普射电天文研究所集群计算环境下的Bonn-DiFX,在Pulsar Binning模式下对流量仅有2.6 mJy的毫秒脉冲星PSRJ1022+1001的欧洲VLBI网(EVN)观测数据成功进行相关处理.最后,对使用DiFX处理脉冲星观测数据情况进行总结,并展望了今后CVN开展脉冲星观测研究的前景.     

脉冲星搜索技术及FAST望远镜脉冲星搜索展望

分析现有的脉冲星搜索方法对于即将开展的FAST望远镜早期脉冲星搜索的可行性和必要性,尝试脉冲星搜索数据处理的软、硬件加速。回顾并总结了现有的脉冲星搜索方法和这些方法对应的发现,分析这些方法的特点。编写了基于PRESTO的并行数据处理程序。估计了使用显卡计算加速来完成单脉冲搜索的可行性和效率。编写的基于PRESTO的并行数据处理程序使得处理帕克斯望远镜多波束巡天的一个典型大小(100 MB)的文件的时间从约95 min缩短到短于10 min。使用显卡加速的单脉冲搜索实现了大约20倍的加速,数据处理时间短于获取观测数据的时间。对于使用望远镜早期观测数据进行脉冲星搜索而言,用于短轨道周期脉冲星搜索的相位调制搜索算法是没有必要的,用于搜索较长轨道周期的加速搜索算法也不十分必要,而用于长自转周期脉冲星搜索的快速折叠算法仅在需要搜索长自转周期的弱脉冲星时才需要使用。在数据处理过程中,软、硬件等方面可以加快数据处理的速度,可以使数据处理用时短于获取数据的时间。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

脉冲星观测技术

脉冲星的发现和研究取决于射电天文技术的发展。除了两颗脉冲星以外,目前已知的１０００颗脉冲星都是用射电望远镜发现的。９５％以上的脉冲星只观测到射电波段的脉冲辐射。可以说,没有射电天文技术就没有今天的蓬勃发展的脉冲星研究。图１美国阿雷西博直径３０５米球面...     

构建中国虚拟天文台的天文数据结点

随着天文观测数据的爆炸式增长以及数据网格技术等新兴IT技术的日趋成熟,虚拟天文台应运而生。虚拟天文台成为基于数据网格技术的解决复杂海量天文数据的访问和管理的一种有效手段。我们对现有中国虚拟天文台体系结构底层进行设计与实现,并完成了其核心部分一天文数据结点。天文数据结点可发布和管理异构的数据资源,为用户提供统一的数据访问接口,进而为天文学家实现对各种天文数据的无缝透明访问和处理提供了方便。本文重点介绍了我们设计的天文数据结点的体系结构,以及结点各部分的功能,并讨论了其关键技术的实现。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

基于独立成分分析的射频干扰信号消除方法

射电天文已成为人类研究宇宙的重要途径。但随着人类生产、生活的发展,射频干扰信号对射电天文观测的影响越来越严重,观测数据的好坏关系到科学成果的质量甚至结论的真伪。目前广泛采用基于阈值判断射频干扰,对干扰信号直接舍弃部分观测数据的方法。此类方法存在阈值确定困难、观测带宽和时间被缩减等问题。针对脉冲星观测射电信号中,各干扰信号及射电信号统计独立以及呈现出的非高斯性,利用独立成分分析对混合信号进行分解,并根据观测信号中脉冲星信号和干扰信号的分布特点识别脉冲星信号,实现干扰信号消除。使用该方法对云南天文台40 m射电望远镜接收到的脉冲星观测信号进行独立成分分析,分解出独立的射频干扰信号和脉冲星信号,消除射频干扰信号。独立成分分析法在干扰信号消除、射电信号保留及信噪比方面均取得良好效果。     

WWT平台下的脉冲星数据可视化

天文领域的数据越来越多,如何将这些数据向普通大众展示也得到越来越多的关注。本文以脉冲星数据为例,利用WorldWide Telescope（万维天文望远镜,以下简称“WWT”）的Excel插件对脉冲星空间分布进行可视化,并制作了相应的漫游用于教学和科普。本文展示了一个实例,显示出WWT在帮助天文学家将研究数据用于教育科普,以及青少年阳天文爱好者开展探究性学习中都有广阔的应用前景。     

基于OpenStack的天文台站计算节点自动管理研究

天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势。针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。     

ASCOM在选址望远镜远程控制中的可用性研究

天文选址监测一般都处于条件非常艰苦与恶劣的环境中,对选址望远镜进行远程控制可以极大地降低对选址人员的要求,提高选址观测的质量,对于天文选址具有重要的意义.以ASCOM标准为基础,构建了基于TCP套接技术的服务端和客户端,实现了针对选址望远镜远程控制的系统原型.通过在窄带电话拨号网络上进行的实验,证明利用这种技术进行选址望远镜的远程控制是完全可行的.利用ASCOM实现的控制系统具有开发周期短,部署容易等优点,可以满足选址望远镜远程控制的要求.     

一种面向FAST PB量级脉冲星数据处理加速方法及系统

500 m口径球面射电望远镜(Five-hundred-meter Aperture Spherical Telescope, FAST)已投入科学运行,其中脉冲星漂移扫描巡天采集数据量已达数PB,预计每年至少新增5 PB。现有的数据处理软件如PRESTO,SIGPROC等无法满足PB量级数据的快速处理要求。提出了一种基于PRESTO的分布式并行计算方法,整合利用数据库技术和异地异构计算资源,构建了一套命名为Craber的计算加速系统,由FAST早期科学数据中心与国家天文台共同设计实现。启用Craber子网计算集群D中55个计算节点,应用澳大利亚帕克斯(Parkes)望远镜多波束巡天数据集和500 m口径球面射电望远镜漂移扫描数据验证了系统流程和搜索数据库。单个100 MB帕克斯巡天数据文件平均耗时36 s,单个128 MB 500 m口径球面射电望远镜巡天数据文件平均耗时22 s。该系统目前已实际参与数据处理并发现了数十颗脉冲星,有效帮助500 m口径球面射电望远镜加速数据处理和扩大新样本数量。     

一种基于MPI+CUDA的高性能天文数据分发方法

天文海量数据的出现给天文软件的开发带来了诸多挑战。近年来,随着并行计算技术的发展,MPI+GPU逐渐成为当前高性能天文数据处理的主要模式。针对太阳高分辨图像重建中如何提高重建性能这一问题,对其中的数据读取与数据分发方法进行了系统研究。传统的MPI并行处理时,主进程将原图切割成子块,随后将子块发送到各子进程重建,重建后的结果返回主进程。当子进程数量较大且计算节点数量较少时,这种数据分发过程显著增加通讯时长,影响整个重建过程的效率。提出MPI+CUDA的一种树状数据分发方法,给出了算法的基本思路与实现方法。实验结果表明,树状分发方式比一般采用的平行分发方式可以提高速度近一倍,成果对天文海量数据开发处理有一定的借鉴作用。     

新疆天文台数据中心建设与应用

经过多年观测,新疆天文台积累了大量珍贵的观测数据。如何高效管理快速增长的海量观测数据,如何实现全波段观测数据的融合及未来更大口径望远镜产生的海量数据归档与发布是目前新疆天文台急需解决的问题。新疆天文台数据中心面向天文学科研需求提供天文科学数据服务和基础设施,由新疆天文台计算机技术室负责运行与维护。数据中心以最新的虚拟天文台相关标准为基础建设,基本服务包括:为天文观测项目提供数据保存、管理和发布服务;为有价值的天文科学数据及二次处理后的数据提供长期保存和访问服务;为用户提供科学数据归档与发布服务及相关技术支持。数据资源主要有:新疆天文台25 m射电望远镜的脉冲星观测数据;活动星系核观测数据以及分子谱线观测数据。提供的数据服务有:PPMXL星表锥形检索;海量星表数据在线交叉认证;统一内容描述符信息查询等服务。主要介绍新疆天文台数据中心建设及其提供的服务,如何使用已发布的服务在线检索数据及利用标准虚拟天文台工具实现数据操作。     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。