基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。     

基于容器技术的天文应用软件自动部署方法

平方千米阵列即将开始建设,各子工作包也进入关键设计评估阶段。基于云与容器技术是平方千米阵列科学数据处理器未来可能采用的平台技术。针对超大规模海量数据处理面临的天文应用软件快速部署、运行与实测要求,充分考虑天文应用软件运行环境复杂、云计算环境下超大规模计算集群部署困难等问题,系统研究并给出了一种使用容器技术的天文应用软件通用自动部署方法。以目前较为常用的可见度函数校准软件SAGECaL为例,首先分析了SAGECaL的相关特性和分布式部署方面存在的困难,进而给出了基于容器技术的SAGECaL分布式集群的自动部署方法。实验结果表明,自动部署方法极大地提高了SAGECaL分布式集群的部署效率,满足项目组承担平方千米阵列科学数据处理器相关测试工作所需要的基础平台部署与切换等需求,同时也为其它天文软件在云端的快速部署与执行提供了有益的思路。     

Docker技术在天文数据档案库系统测试中的应用

随着容器技术的快速发展,越来越多地应用于天文软件应用程序,如何理解容器技术,将容器技术运用到天文软件开发测试工作中,成为每一个相关从业人员应该思考和快速掌握的核心问题。通过对容器技术在天文数据档案库系统测试中的应用,实现对科学数据产品长期存档与数据产品查询检索,支持各级数据产品、工程数据、标定数据、辅助数据的管理,测试科学数据产品存储、检索、提取、维护、分析、控制功能,在传统软件环境部署及测试中,天文软件环境复杂且运行时依赖较多第三方库支持,测试中耗费大量时间定位软件缺陷重现测试环境。介绍容器技术在天文数据档案库系统测试应用中的优势和重要性,实现测试环境标准化、测试数据隔离性、测试功能扩展性,提高测试工作的效率。同时也为容器技术在其它天文软件测试与应用提供借鉴参考。     

中国虚拟天文台软件集成

虚拟天文台是一个通过先进的信息技术把全球范围内的天文研究资源无缝透明地联结起来组成的数据密集型在线天文研究环境。文章首先论述了在虚拟天文台系统中进行现有软件集成的必要性和可行性;并分析了软件集成的粒度问题;其次详细介绍了将现有软件封装为服务的常规方法;最后,介绍了ImageMagick图像处理软件的具体封装和实现流程,并作了详细讨论。     

基于Python的天文软件命令行界面设计与实现

天文数据处理软件的开发是天文技术研究的一个重要组成部分,如何为用户提供一个直观、快捷与友好的交互界面一直是软件开发人员关注的问题。在分析了当前主流命令行界面(CLI)技术与CASA软件命令行的一些不足的基础上,结合新一代中国太阳射电日像仪(CSRH)数据处理系统开发需求,设计并实现了一套基于Python语言的CSRH CLI用户界面系统。介绍了系统的实现框架和整体流程,并重点讨论了命令行中天文数据的数据类型定义、系统权限与视图控制、系统命令匹配、补全和联机帮助等技术难点的实现,进而通过软件开发中一个实际命令说明了在命令行框架下的模块开发方法,最后给出了命令行的运行界面与操作实例。研究成果已应用于太阳射电日像仪数据处理软件的开发中,取得了良好的效果,整个系统对其它天文软件的开发有较好的参考价值。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

光变曲线自动抽取程序

对各类变星的观测研究是时域天文学的重要内容。中国科学院国家天文台兴隆观测站作为亚洲规模最大的光学天文观测基地,拥有一批米级口径望远镜,每年面向全球天文工作者开放申请,承担了大量变星的测光观测任务,但至今没有完全针对兴隆观测站中小口径望远镜的测光数据自动化处理软件。介绍了一种针对兴隆观测站望远镜观测数据的光变曲线自动抽取程序,实现了从原始观测数据到获得光变曲线的全过程。该程序具备模块化和可自定义等特性,通过简单配置也可适用于其他光学天文望远镜数据。还介绍了该程序的结构、特点和使用方法,并以食变星UY UMa的实测数据处理为例展示了处理结果,最后讨论了程序的局限性和未来发展的展望。     

基于OpenStack的天文台站计算节点自动管理研究

天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势。针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。     

基于NGAS的多点观测数据存储与同步方法

平方千米阵列(Square Kilometre Array, SKA)望远镜建成后将具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。SKA天文台与各国区域数据中心间的海量数据同步传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明,新方法在平均数据归档存储效率方面比原有方法快了近40倍,能够基本满足10 GB带宽的全速传输需要,取得了较好的使用效果。     

宽视场成像网格化算法中w-plane最优经验值研究

射电干涉阵列宽视场成像网格化处理过程中必须考虑w项的影响。w-projection和w-stacking是两种重要的宽视场成像网格化处理算法,w-plane参数是算法中影响计算速度和成图质量的一个重要因素。研究了w-projection和w-stacking两种网格化算法,利用SKA-1低频阵台站数据和ASKAP软件包进行模拟观测,对两种算法在不同w-plane参数取值情况下的成图速度和成图质量进行了定量分析对比。结果进一步表明,w-plane是性能改善的重要参数。针对w-projection算法,w-plane取值应比一般给定的经验值大才能得到较好的成像效果。w-stacking算法虽然有很大的速度优势,但算法实现中w-plane的影响更为显著,给出了推荐的w-plane取值。本文的工作是大视场成像算法的基础性研究工作,对未来平方千米阵列科学数据处理中的管线设计有较好的参考价值。     

基于ZeroMQ的观测控制系统底层通信架构分析与测试

观测控制系统是当前的一个研究热点,底层通信是观测控制系统架构的一个重要环节。但传统的观测控制系统一般采用裸套接技术实现,缺少统一的传输控制机制,在密集数据通信时经常存在延迟,影响实时控制的需要;同时缺少广播与组播机制,限制了观测控制系统的设计。针对观测控制系统的要求,研究了基于ZeroMQ不同通信模型及对应的天文控制模式,分析了不同的通信控制架构的可用性,在此基础上通过实验对相应的通信模型进行测试,验证其在天文仪器分布控制中的可用性。测试结果进一步说明,ZeroMQ构建观测控制系统的底层通信架构是可行的,能够满足观测控制系统对设备的各种控制需求。     

地网对VHF天线性能影响的分析研究

基于VHF频段射电天文干涉阵列的天线,研究地网以及不同环境对天线辐射特性包括增益、方向图、谐振点等参数的影响。结果表明,无地网条件下,天线在干燥土壤和沙地的增益分别是3.06 dB和1.44 dB,且存在明显的旁瓣和后瓣;天线在潮湿土壤和沙地的增益分别是4.33 dB和4.25 dB。增加地网后,天线在干燥土壤和沙地的增益分别是4.87 dB和4.97 dB,潮湿土壤和沙地分别是4.39 dB和4.40 dB,方向图不存在明显的后瓣和旁瓣,谐振点稳定在27.0 MHz和69.5 MHz处,且在此之间的频段上,驻波比均满足银河噪声限制条件。由此可以得出结论:在干燥土壤和沙地上铺设地网时,VHF天线性能最好,噪声最低,这对大规模的VHF天线阵列的基础构建环境选择至关重要。     

基于独立成分分析的射频干扰信号消除方法

射电天文已成为人类研究宇宙的重要途径。但随着人类生产、生活的发展,射频干扰信号对射电天文观测的影响越来越严重,观测数据的好坏关系到科学成果的质量甚至结论的真伪。目前广泛采用基于阈值判断射频干扰,对干扰信号直接舍弃部分观测数据的方法。此类方法存在阈值确定困难、观测带宽和时间被缩减等问题。针对脉冲星观测射电信号中,各干扰信号及射电信号统计独立以及呈现出的非高斯性,利用独立成分分析对混合信号进行分解,并根据观测信号中脉冲星信号和干扰信号的分布特点识别脉冲星信号,实现干扰信号消除。使用该方法对云南天文台40 m射电望远镜接收到的脉冲星观测信号进行独立成分分析,分解出独立的射频干扰信号和脉冲星信号,消除射频干扰信号。独立成分分析法在干扰信号消除、射电信号保留及信噪比方面均取得良好效果。     

丽江2.4米望远镜的圆顶侧窗自动化控制系统

丽江2.4 m望远镜的圆顶采用方位随动和滑动式天窗的超半球结构,起初为改善因圆顶和望远镜终端电子设备引起的内外大气湍流,设计了大面积的多组机械式侧窗。但由于高平台手动操作危险、缓慢、不精确且易损坏,为实现侧窗稳定的多组自动控制,开发了基于STM32板的嵌入式圆顶侧窗自动控制系统,利用WiFi模块、串口模块和手柄实现侧窗的远程和多通道控制。同时结合气象数据、圆顶位置信息等使系统能根据气象阈值进行预警、自动开合,并尽量减小风对望远镜振动的影响。侧窗控制系统的设计可满足上层系统集成的需要。该系统稳定可靠,能满足侧窗的自主运行与人为控制。     

脉冲星信号相干消色散与非相干消色散的比较研究

脉冲星信号在星际空间传播的过程中,由于星际介质的存在造成观测到的脉冲星信号发生色散,因此需要对接收的脉冲星信号进行消色散,以获得原始的脉冲星信号。目前,消色散方法主要分为两种:相干消色散和非相干消色散。相对来说相干消色散效果彻底,算法较简单,而且能保留原始数据的时间分辨率,不过计算量较大,但是现在快速进步的计算机技术已经使计算量的问题得到很好的解决。为了精确了解两种消色散方法的区别,利用相关系数的方法定量地比较了相干消色散、非相干消色散两种方法的效果:在一定的频率值之下,前者得到消色散效果优于后者。同时确定两种消色散方法在效果相同时的观测频率。     

基于经验模式分解的太阳南北半球黑子面积的Rieger-type周期相位分析

采用经验模式分解技术研究了从第12到第24太阳活动周黑子面积数据中的Rieger-type周期,以及它们在南北半球上的相位关系。研究发现:(1)Rieger-type周期尺度以及时间尺度在两个半球上是不一样的,从而导致了半球分布的不对称性;(2)平均Rieger-type周期在北半球上的周期长度略大于南半球上的;(3)占主导地位半球的Rieger-type周期的相位不一定是超前的,半球Rieger-type周期尺度相近的也并不一定是相关性强的。