基于分布式执行框架的低频射电干涉阵列成像管线优化

平方公里阵列(Square Kilometre Array,SKA)项目是建设全球最大射电望远镜的国际合作项目,其灵敏度和测量速度将比当前所有的射电望远镜都要高出一个数量级.连续谱巡天是SKA的主要观测模式之一,基于连续谱成像建立巡天区域的标准星图,将能为后续天文科学研究奠定重要基础.银河系与河外星系全天默奇森宽场阵列拓展巡天(GaLactic and Extragalactic All-sky Murchison Widefield Array survey eXtended,GLEAM-X)是2018—2020年利用SKA先导望远镜默奇森宽场阵列(Murchison Wide-field Array,MWA)二期拓展阵列开展的新的射电连续谱巡天项目,观测期间积累了大量的低频巡天观测数据.海量观测数据的自动化、大批量处理是SKA望远镜项目所面临的的最大挑战和难题之一,基于分布式执行框架的成像管线优化经验将有助于解决海量数据处理问题.详细介绍了GLEAM-X成像管线并对其进行整合和改进,在中国SKA区域中心原型机(China SKA Regional Centre Prototype,...     

基于Cassandra的海量MUSER数据分布式存储与检索研究

明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪的数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在No SQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS);最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性。实验结果表明,MBDMS可以很好地满足数据管理的需要,是解决当前数据存储问题的一种有效方案。     

2.4m望远镜数据管理子系统

2.4m光学望远镜长时间运行必然产生海量数据.这些原始观测数据需要存储以备将来研究.为了利用这些观测数据,需要在2.4m远程观测系统中建立一个数据管理子系统.该系统可实现下列任务:数据的压缩、归档、实时浏览、数据检索、下栽.此系统建立在Linux+MySQL平台上,使用J2EE技术开发.     

uv-faceting成像并行算法研究

uv-faceting成像是目前广泛使用的大视场成像技术之一,将被考虑应用于平方公里阵列(Square Kilometre Array, SKA)第1阶段(简称SKA1)低频阵列的数据处理当中.由于SKA1产生的原始数据规模空前巨大,直接使用uv-faceting成像进行数据处理效率将会非常低.为此,提出了基于MPI (Message Passing Interface)+OpenMP (Open MultiProcessing)的uv-faceting成像算法和基于MPI+CUDA (Compute Uni?ed Device Architecture)的uv-facteing成像算法,对该算法中最耗时的数据读取和栅格化(gridding)这两个步骤进行并行优化.验证性结果显示提出的两种算法得到的结果与当前主流的数据处理软件(Common Astronomy Software Applications, CASA)得到的结果基本相同,表明提出的两种算法基本正确.对准确率和总运行时间的分析表明,无论在正确率还是运行速度上MPI+CUDA的方法比MPI+OpenMP的方法更优.性能测试结果表明提出的算法有效且具有一定的可拓展性.     

国家重点研发计划“SKA前期数据处理系统建设和相关科学预研”简介

在继承平方公里阵列(Square Kilometre Array,SKA)望远镜的中国低频探路者——"宇宙第一缕曙光"探测项目21CMA在十年间所积累的经验和广泛国际合作的基础上,计划小规模改造现有设备,迅速掌握数字多波束合成、高动态大视场成像、前景去除等SKA低频成像的关键核心技术。同时,与SKA低频阵(SKA-low)先导设备MWA(Murchison Widefield Array)开展深层次合作,预选未来用于SKA1-low宇宙再电离深度成像的观测候选区域,为最终利用SKA第一阶段(SKA1)低频阵列,对选定观测候选区域进行深度定点观测做好充分准备,最终实现SKA1既定的首要科学目标。该项目还将建设中国SKA区域中心数据处理原型样机,并以21CMA和MWA实测数据为基础,完成低频射电干涉成像的数据处理流程,为建设中国SKA区域数据中心打下基础。     

基于Paxos的强一致性复制在天文数据存储中的应用研究

随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。     

空间科学虚拟观测台体系结构研究

科学观测数据的海量增长,使得旨在实现资源互操作的虚拟观测台(VO)应运而生,并迅速受到相关学科的支持和重视。国际虚拟天文台联盟(IVOA)、行星科学数据系统(PDS)和空间物理归档检索抽取标准(SPASE)等数据组织,正加快制定数据管理模型,推动VO的发展和跨学科应用。结合空间科学应用研究的特点,在借鉴国内外天文和空间科学VO研究成果的基础上,提出了一种针对空间科学数据的Hybrid型VO体系结构,并基于此体系结构发展了一个支持同步收割、格式化管道和事件关联发现的空间科学VO原型。实践和应用结果表明,基于这种体系结构建立的VO在解决全局资源的实时同步、异构应用的高度集成和面向科学问题的数据发现等问题上,有一定的普适性。     

面向宇宙再电离探测的基本数据处理方法

宇宙再电离时期(epoch of reionization, Eo R)的探测是SKA的重要科学目标之一,也是目前许多SKA探路者阵列的首要科学目标。由于宇宙再电离信号非常微弱,因此在数据处理的过程中存在许多难点,如高精度校准、大视场高动态成像等。对默奇森宽场阵列(Murchison Widefield Array, MWA)、低频阵列(Low Frequency Array, LOFAR)、21CMA阵列(21 Centimeter Array, 21CMA)等SKA低频先导干涉阵列的基本数据处理方法进行了综述,如干扰的识别与去除、数据校准、可视度研究以及成像研究等,并对数据处理时用到的一些常用技术与软件作了相应的介绍与总结。     

应用于射电天文的高效实时管道数据流传输与处理技术

针对超宽带及多波束接收系统海量天文信号实时高效传输与处理问题,对基于现场可编程门阵列(Field Programmable Gate Array, FPGA)+图形处理器(Graphics Processing Unit, GPU)的主流终端设备软件系统进行了测试分析。超宽带接收设备要求终端系统软件能够在更宽带宽、更高时间分辨率和频率分辨率的条件下,实现数据流实时传输与处理。结合大口径射电观测设备未来发展的方向,提出了利用高速并行环形缓冲区实现数据流缓存,基于图形处理器集群实现数据流实时处理,基于BeeGFS实现分布式并行数据存储,模块化构建射电天文信号传输管道软件的设计思路。     

基于SQL/NoSQL的空间目标光学特性数据混合存储策略

为解决海量空间目标光学特性数据入库与检索效率低、非结构化数据存储与管理困难、数据服务扩展性差和无法满足多用户获取实时请求数据的问题,提出一种空间目标光学特性数据混合存储策略.首先,利用光学特性数据中光源与探测角度的规律性,对数据进行处理并构建检索策略;其次,结合空间目标光学特性数据应用领域在数据存储、处理和访问方面的需求特点,构建空间目标光学特性数据混合存储策略,并设计了数据检索体系结构;最后,选取空间目标模拟光学特性数据入库和检索两个场景进行验证.实验结果表明,存储数值数据情况下,混合存储策略数据入库效率较传统关系型数据库提高超过17倍;存储数值数据和图像文件情况下,提高超过34倍;在多用户请求下混合存储策略数据检索效率较传统存储策略有较大提升.提出的混合存储策略能够有效地满足空间目标光学特性相关的仿真、测试与实验对数据的实时请求需求.     

面向海量天文数据的分布式MySQL锥形检索研究

随着巡天观测计划的进行,传统的数据库技术无法满足海量天文数据的存储以及检索性能的需求.针对海量天文数据存储以及锥形检索的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群,充分整合关系型数据库和分布式技术的优点.利用MySQL数据库集成动态索...     

基于图像的天体搜索研究与自动化集成软件开发

天体搜索是天文数据处理流程的一个重要环节,也是以平方公里阵列射电望远镜(Square Kilometre Array, SKA)为代表的下一代射电望远镜在面向海量数据处理中的挑战之一.现今天体自动搜索算法、软件已日趋成熟并投入应用,不过在自动化、兼容性等方面仍具有提升空间.以更自动化、更适应海量数据需求的天体搜索算法研究为宗旨,以现有算法为研究基础,天体自动搜索软件系统得到设计和开发.该系统包含友好的交互式用户操作界面,具备可视化输出数据显示、兼容不同数据输入和输出并包含为实际应用服务的文件管理功能.该系统对于大天区图以及图像集,均能够很好地进行自动化处理.测试结果显示,上述方法对于天体搜索的改进有一定成效.后续将在此基础上对该集成系统做进一步的改进开发,以适应更多的需求.     

新疆天文台数据中心建设与应用

经过多年观测,新疆天文台积累了大量珍贵的观测数据。如何高效管理快速增长的海量观测数据,如何实现全波段观测数据的融合及未来更大口径望远镜产生的海量数据归档与发布是目前新疆天文台急需解决的问题。新疆天文台数据中心面向天文学科研需求提供天文科学数据服务和基础设施,由新疆天文台计算机技术室负责运行与维护。数据中心以最新的虚拟天文台相关标准为基础建设,基本服务包括:为天文观测项目提供数据保存、管理和发布服务;为有价值的天文科学数据及二次处理后的数据提供长期保存和访问服务;为用户提供科学数据归档与发布服务及相关技术支持。数据资源主要有:新疆天文台25 m射电望远镜的脉冲星观测数据;活动星系核观测数据以及分子谱线观测数据。提供的数据服务有:PPMXL星表锥形检索;海量星表数据在线交叉认证;统一内容描述符信息查询等服务。主要介绍新疆天文台数据中心建设及其提供的服务,如何使用已发布的服务在线检索数据及利用标准虚拟天文台工具实现数据操作。     

FITS变长数组在暗物质卫星数据存储中的应用研究

FITS是空间天文领域广泛使用的一种数据格式,空间天文数据文件通常采用定长数据结构存储为FITS文件。作为我国首颗发射的空间科学卫星,暗物质粒子探测卫星科学数据源包具有长度可变的特点。在暗物质卫星数据处理过程中,急需设计支持可变长度数据的存储结构和处理方法。设计了一种支持长度可变数组的FITS格式,并实现了采用该数据结构的数据处理、存储和管理。应用于暗物质卫星地面处理中,验证结果表明,该方法实现了编辑级产品数据存储,显著降低了产品数据量,节约了存储空间,同时提升了处理效率。     

倒“V”型栅板偶极子天线设计

射电天文在HF-VHF频段采用天线组阵的方式进行观测,根据平方公里阵列(Square Kilometre Array, SKA)的要求,每个阵列单元天线的增益、结构一致性、稳定性、阻抗变化趋势和极化纯度等方面需要达到较高指标,才能满足太阳、木星、再电离纪元等多种测量在极化测量、天线跟踪稳定性以及接收机宽带匹配等方面的需求。根据SKA requirement 2165:极化纯度2135-38和每极化方向灵敏度2814-15提出的性能需求,以及在总结原有设计的经验后,针对10～90 MHz频段,设计了一种适用于HF-VHF的新型倒“V”型栅板偶极子天线,具有重量轻、风阻小等优点,在10～90 MHz的超宽频段内阻抗变化缓慢、极化纯度良好。其中,在阻抗变化方面,天线的阻抗实部从0.8Ω到631.132Ω变化,优于低频射电阵列(Low Frequency Array, LOFAR)的天线,降低了接收机匹配难度和噪声;在极化纯度方面,天线整体轴比小于0.41 dB,对于太阳射电爆发等强极化信号具有良好的极化隔离度。     

新疆天文台天文观测数据传输日志系统设计与实现

新疆天文台望远镜产生的观测数据通过数据专线传输到新疆天文台本部数据中心进行长期存储。采用rsync进行数据传输,传输过程中没有详细的日志记录信息,无法对传输情况进行统计分析。通过调研新疆天文台数据传输的需求,设计并开发了新疆天文台观测数据传输日志系统。系统以新疆天文台南山站、奇台站的数据存储服务器和新疆天文台本部长期存储为基础,设计了日志系统的整体架构,实现了数据传输过程的日志记录。系统基于shell多线程技术及Qt框架,开发了后台服务程序及日志系统软件界面,实现了日志分析、统计备份与数据传输的可视化页面。     

相干消色散脉冲星观测系统的研究

云南天文台射电天文研究团组利用从美国伯克利大学CASPER天文信号与电子学研究中心购买的现场可编程门阵列(Field-Programmable Gate Array,FPGA)接收机平台ROACH2,实现了512 MHz输入带宽,512 MHz带宽分为128通道输出(每个通道4 M带宽),8比特采样和双极化输入(1 024 MHz)的基带数据采集终端。海量数据传输方式通过SFP+万兆网口实现,利用编写的脚本文件调用DSPSR程序包实现数据的解码、相干消色散、偏振计算和折叠等处理。数据处理结果以PSRFITS格式存储。构建以ROACH2为基带数据采集终端和DSPSR为数据处理核心的脉冲星观测系统,相比于以VLBI观测终端为基础构建的观测系统,在观测模式、数据处理方法、运算效率和观测数据的通用性等方面具有更好的优越性。     

基于网络的GNSS共视时间比对数据传输系统的设计与实现

为了实现远程时间同步中的共视数据自动、连续传输,提出了基于TCP/IP协议来实现C/S模式的数据传输方案。阐述了数据发送端与接收端的传输原理和实现方案。发送端通过串口采集数据并通过网络将其传输到接收端,接收端接收发送端的数据并对其检验并保存。设计了发送端与接收端自动重连接功能,实现了数据传输的连续性。测试表明:采用基于TCP/IP协议和C/S模式的数据传输系统能够实现共视数据自动、连续、可靠的传输。     

丽江2.4米望远镜观测日志辅助系统的设计与研发

望远镜的观测日志在用户进行数据处理以及台站对观测数据进行存储、归档和发布时都非常重要,观测日志往往能提供很多信息以供用户判断观测数据的质量。在观测过程中,观测日志通过观测助手或用户手工记录,存在信息不全、笔误等多种可能,且纸质的观测日志也不利于后期数据的归档和发布。针对丽江2.4 m望远镜云南暗弱天体成像光谱仪的观测数据,设计研发了一套自动记录观测日志的辅助系统,该系统可以自动记录观测数据的日志信息,并提供修改错误信息的功能;系统中以用户的观测时间申请书编号为唯一代码对数据进行管理,从而实现了根据不同用户进行观测数据打包的功能。在保护观测数据权限的同时,降低了笔误带来的影响,提高了观测日志的准确性,最终提高望远镜的观测效率。     

天文大数据管理工具的设计与实现

随着大型地面和空间观测设备的建设以及大型巡天项目的开展,天文数据以TB字节、PB字节,甚至EB字节计量,天文学进入了"大数据"时代。面对数据海洋,如何有效地存储和管理这些大数据是摆在天文学家面前的核心问题。数据存储和管理不仅仅是天文数据中心的任务,天文学家也需要有效地管理自己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提,而高效的数据索引则是管理数据的核心要素,为此设计开发了天文大数据管理工具Auto DB,使用虚拟终端监视实现海量数据的自动入库,对数据自动创建全新的天空分区索引Q3C(Quad Tree Cube),对天文数据进行二维空间索引以便于高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究中的数据融合、数据分析、数据挖掘提供了根本的保障,尤其对从事大数据的天文学家,拥有自动化的数据库管理工具,可以集中精力致力于科学研究。