基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。     

用MapReduce框架构建虚拟天文台数据节点

MapReduce是一种大规模分布式并行处理框架,最初被用于互联网服务中的海量数据处理,并逐渐扩展到各个行业领域。目前,虚拟天文台面临着越来越多的地面及空间望远镜观测到的海量天文数据。为了提高中国虚拟天文台数据节点处理海量天文数据的能力,首次提出基于MapReduce框架构建中国虚拟天文台数据节点的方法,并以批量星表交叉认证为例描述了具体实现过程,性能评估结果证明基于MapReduce框架构建虚拟天文台数据节点,可以在性能、扩展性与成本等多方面获得收益。     

一种基于MPI+CUDA的高性能天文数据分发方法

天文海量数据的出现给天文软件的开发带来了诸多挑战。近年来,随着并行计算技术的发展,MPI+GPU逐渐成为当前高性能天文数据处理的主要模式。针对太阳高分辨图像重建中如何提高重建性能这一问题,对其中的数据读取与数据分发方法进行了系统研究。传统的MPI并行处理时,主进程将原图切割成子块,随后将子块发送到各子进程重建,重建后的结果返回主进程。当子进程数量较大且计算节点数量较少时,这种数据分发过程显著增加通讯时长,影响整个重建过程的效率。提出MPI+CUDA的一种树状数据分发方法,给出了算法的基本思路与实现方法。实验结果表明,树状分发方式比一般采用的平行分发方式可以提高速度近一倍,成果对天文海量数据开发处理有一定的借鉴作用。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。     

基于Python的天文软件命令行界面设计与实现

天文数据处理软件的开发是天文技术研究的一个重要组成部分,如何为用户提供一个直观、快捷与友好的交互界面一直是软件开发人员关注的问题。在分析了当前主流命令行界面(CLI)技术与CASA软件命令行的一些不足的基础上,结合新一代中国太阳射电日像仪(CSRH)数据处理系统开发需求,设计并实现了一套基于Python语言的CSRH CLI用户界面系统。介绍了系统的实现框架和整体流程,并重点讨论了命令行中天文数据的数据类型定义、系统权限与视图控制、系统命令匹配、补全和联机帮助等技术难点的实现,进而通过软件开发中一个实际命令说明了在命令行框架下的模块开发方法,最后给出了命令行的运行界面与操作实例。研究成果已应用于太阳射电日像仪数据处理软件的开发中,取得了良好的效果,整个系统对其它天文软件的开发有较好的参考价值。     

天文服务的统一调用及其在SkyMouse系统中的实现

随着虚拟天文台的进一步发展,天文学家可以通过越来越多的服务来辅助完成研究工作.但随着不同种类的服务的进一步增多,也带来了很多的问题.突出表现在某个服务被开发出来天文学家并不知道或是有些服务比较复杂天文学家不易直接使用.SkyMouse系统就是为了解决以上问题而诞生的,它是基于互联网的新一代天文门户,在该门户中整合大多数的天文服务如SIMBAD、NED、ADS、Vizier等,而且其他新开发出来的天文服务也可以方便地整合到SkyMouse系统中.用户可以直接通过SkyMouse系统非常方便的访问世界范围内的天文资源,诸如星表、文献、光谱、图像等,而且通过这种整合的方式,用户还可以使用多个服务的协同调用来完成以往单个服务所不能完成的诸如智能分析检索等工作.基于目前计算机的发展情况和天文服务的开发现状.在天文服务的调用中,常常会遇到各种各样的问题,而这些问题集中表现在不同平台的天文服务互操作的问题和天文服务调用时的性能这两个大的方面.文章针对这些问题提出了一定的解决方案.     

基于GPU的HOTPANTS并行优化

HOTPANTS是天文领域的重要工具,它主要是天文图像相减技术的具体实现,在凌日行星观测、引力透镜观测、寻找超新星以及发现天文现象的数据处理中发挥着重要作用。现阶段HOTPANTS经常被用在天文实时观测数据处理的流水线上,但是HOTPANTS在处理大规模的天文图像(7 K×7 K-10 K×10 K)时十分耗时。在分析HOTPANTS的性能瓶颈之后,提出并实现了基于图形处理器(Graphic Processing Unit,GPU)的HOTPANTS的并行优化方法。优化的HOTPANTS在处理大规模图像时,整体性能提升了2~3.5倍,卷积部分计算效率提升了6~13倍,并且通过图形处理器优化之后HOTPANTS的误差在天文领域是可以接受的。     

基于Docker的射电干涉阵软件系统敏捷封装与部署

随着天文技术的发展,天文数据处理软件的需求也不断更迭变化,导致软件运行环境渐趋复杂。对于开发者和使用者,急需提出一种对复杂天文数据处理软件敏捷化封装和部署的方法。我国明安图射电频谱日像仪已进入常规观测,与之配套的数据处理软件也已完成开发并投入使用。由于该软件的部署涉及操作系统环境、图形处理器运行环境及底层依赖软件等配置问题,导致安装过程既繁琐又容易出错。结合容器技术的特点,提出了一种基于Docker容器对日像仪软件系统进行敏捷封装与部署的方法,并对该方法的设计进行介绍,通过实验验证了其可用性,以及相比于传统虚拟机可获得较优异的性能表现。该方法可为未来天文数据处理软件的封装部署提供参考。可以预见,未来容器技术将成为天文海量数据处理的基础支撑技术。     

基于OpenStack的天文台站计算节点自动管理研究

天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势。针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。     

IERS数据动态提取与更新系统的设计与实现

在高精度的位置计算中需要获取计算时刻所在日期的闰秒,以及UT1-UTC等关键数据,但长期以来这一类数据的维护均是手工进行,出错率高.针对新一代中国太阳射电日像仪观测与数据处理过程中的位置计算需要,实现了一个自动提取国际地球自转服务（IERS）参数的数据更新自维护子系统.系统可以根据需要自动运行、自动下载并分拆IERS网站数据,采用正则表达式从文本中自动获取所需要的实测值与预报值,自动在本地构建一个2004年12月31日以来的IERS数据库,并根据每周所获得的数据维护整个IERS的数据,将最新的实测值与预报值存入数据文件,实现了数据的滚动更新.系统彻底解决了手工维护数据的问题,为中国太阳射电日像仪的自动数据处理流水线打下了较好的基础.同时,本文提出的方法是一种通用的方法,可以方便地集成应用到国内其它天文位置计算领域.     

Building a VO-compliant Radio Astronomical DAta Model for Single-dish radio telescopes (RADAMS)

The Virtual Observatory (VO) is becoming the de-facto standard for astronomical data publication. However, the number of radio astronomical archives is still low in general, and even lower is the number of radio astronomical data available through the VO. In order to facilitate the building of new radio astronomical archives, easing at the same time their interoperability with VO framework, we have developed a VO-compliant data model which provides interoperable data semantics for radio data. That model, which we call the Radio Astronomical DAta Model for Single-dish (RADAMS) has been built using standards of (and recommendations from) the International Virtual Observatory Alliance (IVOA). This article describes the RADAMS and its components, including archived entities and their relationships to VO metadata. We show that by using IVOA principles and concepts, the effort needed for both the development of the archives and their VO compatibility has been lowered, and the joint development of two radio astronomical archives have been possible. We plan to adapt RADAMS to be able to deal with interferometry data in the future.     

基于分布式执行框架的低频射电干涉阵列成像管线优化

平方公里阵列(Square Kilometre Array,SKA)项目是建设全球最大射电望远镜的国际合作项目,其灵敏度和测量速度将比当前所有的射电望远镜都要高出一个数量级.连续谱巡天是SKA的主要观测模式之一,基于连续谱成像建立巡天区域的标准星图,将能为后续天文科学研究奠定重要基础.银河系与河外星系全天默奇森宽场阵列拓展巡天(GaLactic and Extragalactic All-sky Murchison Widefield Array survey eXtended,GLEAM-X)是2018—2020年利用SKA先导望远镜默奇森宽场阵列(Murchison Wide-field Array,MWA)二期拓展阵列开展的新的射电连续谱巡天项目,观测期间积累了大量的低频巡天观测数据.海量观测数据的自动化、大批量处理是SKA望远镜项目所面临的的最大挑战和难题之一,基于分布式执行框架的成像管线优化经验将有助于解决海量数据处理问题.详细介绍了GLEAM-X成像管线并对其进行整合和改进,在中国SKA区域中心原型机(China SKA Regional Centre Prototype,...     

Determining the optimum scan map strategy for Herschel-SPIRE using the SPIRE photometer simulator

The forthcoming Herschel space mission will provide an unprecedented view of the far-infrared/submillimetre Universe, with the SPIRE instrument covering the 200–670 μm wavelength range. To obtain the best quality of astronomical data from such an expensive mission the observing modes must be optimized as far as possible. This paper presents the possible scanning strategies that can be utilized by the SPIRE photometer, within the limitations imposed by the Herschel spacecraft. Each strategy is investigated for effectiveness by performing simulated observations, using the SPIRE photometer simulator. By quantifying the data quality using a simple metric, we have been able to select the optimum scanning strategy for SPIRE when it begins taking science data within the next couple of years.
Additionally, this work has led to the development of a specific SPIRE mapmaking algorithm, based on the CMB code MADmap, to be provided as part of the SPIRE data pipeline processing suite. This will allow every SPIRE user to take full advantage of the optimized scan map strategy, which requires the use of maximum likelihood mapmakers such as MADmap.     

基于虚拟天文台的HXMT卫星数据检索发布系统设计与实现

目前,国际上诸多天文项目均遵循虚拟天文台（Virtual Observatory,VO）标准协议开发各天文数据检索发布系统,对外公开发布数据,并对数据资源进行VO注册,从而使用户通过虚拟天文台门户网站即可访问获取不同天文项目的数据集.硬X射线调制望远镜（HXMT）卫星项目也将虚拟天文台技术引入HXMT卫星数据检索发布系统的设计与实现过程中,既满足HXMT卫星数据发布需求,又将HXMT卫星数据融入虚拟天文台环境,实现国际天文数据的共享共用.系统提出了符合虚拟天文台规范的体系架构,并选取SCS锥形检索、VOTable数据格式等虚拟天文台标准协议加以实现,采用MVC模式、SSH框架以及各种J2EE技术进行软件研发,提供检索访问、浏览下载和可视化功能.实践和应用结果表明,系统在解决天文数据资源互操作、共享发布、检索访问及异构应用集成方面均具有可操作性,对我国空间天文卫星数据检索发布系统的研制具有参考意义.     

The ORAC‐DR data reduction pipeline

The ORAC‐DR data reduction pipeline has been used by the Joint Astronomy Centre since 1998. Originally developed for an infrared spectrometer and a submillimetre bolometer array, it has since expanded to support twenty instruments from nine different telescopes. By using shared code and a common infrastructure, rapid development of an automated data reduction pipeline for nearly any astronomical data is possible. This paper discusses the infrastructure available to developers and estimates the development timescales expected to reduce data for new instruments using ORAC‐DR. (© 2008 WILEY‐VCH Verlag GmbH & Co. KGaA, Weinheim)     

A real-time software backend for the GMRT

The new era of software signal processing has a large impact on radio astronomy instrumentation. Our design and implementation of a 32 antennae, 33 MHz, dual polarization, fully real-time software backend for the GMRT, using only off-the-shelf components, is an example of this. We have built a correlator and a beamformer, using PCI-based ADC cards and a Linux cluster of 48 nodes with dual gigabit inter-node connectivity for real-time data transfer requirements. The highly optimized compute pipeline uses cache efficient, multi-threaded parallel code, with the aid of vectorized processing. This backend allows flexibility in final time and frequency resolutions, and the ability to implement algorithms for radio frequency interference rejection. Our approach has allowed relatively rapid development of a fairly sophisticated and flexible backend receiver system for the GMRT, which will greatly enhance the productivity of the telescope. In this paper we describe some of the first lights using this software processing pipeline. We believe this is the first instance of such a real-time observatory backend for an intermediate sized array like the GMRT.     

Real-time abnormal light curve detection based on a Gated Recurrent Unit network

Targeting the problem of high real-time requirements in astronomical data processing, this paper proposes a real-time early warning model for light curves based on a Gated Recurrent Unit(GRU) network.Using the memory function of the GRU network, a prediction model of the light curve is established, and the model is trained using the collected light curve data, so that the model can predict a star magnitude value for the next moment based on historical star magnitude data. In this paper,we calculate the difference between the model prediction value and the actual observation value and set a threshold. If the difference exceeds the set threshold, the observation value at the next moment is considered to be an abnormal value,and a warning is given. Astronomers can carry out further certification based on the early warning and in combination with other means of observation. The method proposed in this paper can be applied to real-time observations in time domain astronomy.