基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。     

基于容器技术的天文应用软件自动部署方法

平方千米阵列即将开始建设,各子工作包也进入关键设计评估阶段。基于云与容器技术是平方千米阵列科学数据处理器未来可能采用的平台技术。针对超大规模海量数据处理面临的天文应用软件快速部署、运行与实测要求,充分考虑天文应用软件运行环境复杂、云计算环境下超大规模计算集群部署困难等问题,系统研究并给出了一种使用容器技术的天文应用软件通用自动部署方法。以目前较为常用的可见度函数校准软件SAGECaL为例,首先分析了SAGECaL的相关特性和分布式部署方面存在的困难,进而给出了基于容器技术的SAGECaL分布式集群的自动部署方法。实验结果表明,自动部署方法极大地提高了SAGECaL分布式集群的部署效率,满足项目组承担平方千米阵列科学数据处理器相关测试工作所需要的基础平台部署与切换等需求,同时也为其它天文软件在云端的快速部署与执行提供了有益的思路。     

Docker技术在天文数据档案库系统测试中的应用

随着容器技术的快速发展,越来越多地应用于天文软件应用程序,如何理解容器技术,将容器技术运用到天文软件开发测试工作中,成为每一个相关从业人员应该思考和快速掌握的核心问题。通过对容器技术在天文数据档案库系统测试中的应用,实现对科学数据产品长期存档与数据产品查询检索,支持各级数据产品、工程数据、标定数据、辅助数据的管理,测试科学数据产品存储、检索、提取、维护、分析、控制功能,在传统软件环境部署及测试中,天文软件环境复杂且运行时依赖较多第三方库支持,测试中耗费大量时间定位软件缺陷重现测试环境。介绍容器技术在天文数据档案库系统测试应用中的优势和重要性,实现测试环境标准化、测试数据隔离性、测试功能扩展性,提高测试工作的效率。同时也为容器技术在其它天文软件测试与应用提供借鉴参考。     

中国虚拟天文台软件集成

虚拟天文台是一个通过先进的信息技术把全球范围内的天文研究资源无缝透明地联结起来组成的数据密集型在线天文研究环境。文章首先论述了在虚拟天文台系统中进行现有软件集成的必要性和可行性;并分析了软件集成的粒度问题;其次详细介绍了将现有软件封装为服务的常规方法;最后,介绍了ImageMagick图像处理软件的具体封装和实现流程,并作了详细讨论。     

基于Python的天文软件命令行界面设计与实现

天文数据处理软件的开发是天文技术研究的一个重要组成部分,如何为用户提供一个直观、快捷与友好的交互界面一直是软件开发人员关注的问题。在分析了当前主流命令行界面(CLI)技术与CASA软件命令行的一些不足的基础上,结合新一代中国太阳射电日像仪(CSRH)数据处理系统开发需求,设计并实现了一套基于Python语言的CSRH CLI用户界面系统。介绍了系统的实现框架和整体流程,并重点讨论了命令行中天文数据的数据类型定义、系统权限与视图控制、系统命令匹配、补全和联机帮助等技术难点的实现,进而通过软件开发中一个实际命令说明了在命令行框架下的模块开发方法,最后给出了命令行的运行界面与操作实例。研究成果已应用于太阳射电日像仪数据处理软件的开发中,取得了良好的效果,整个系统对其它天文软件的开发有较好的参考价值。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

光变曲线自动抽取程序

对各类变星的观测研究是时域天文学的重要内容。中国科学院国家天文台兴隆观测站作为亚洲规模最大的光学天文观测基地,拥有一批米级口径望远镜,每年面向全球天文工作者开放申请,承担了大量变星的测光观测任务,但至今没有完全针对兴隆观测站中小口径望远镜的测光数据自动化处理软件。介绍了一种针对兴隆观测站望远镜观测数据的光变曲线自动抽取程序,实现了从原始观测数据到获得光变曲线的全过程。该程序具备模块化和可自定义等特性,通过简单配置也可适用于其他光学天文望远镜数据。还介绍了该程序的结构、特点和使用方法,并以食变星UY UMa的实测数据处理为例展示了处理结果,最后讨论了程序的局限性和未来发展的展望。     

基于OpenStack的天文台站计算节点自动管理研究

天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势。针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。     

基于WEB的MUSER远程监控数据可视化展现方法

天文远程监控是天文研究的重要组成部分。为及时发现由于天气原因、电磁干扰、天线故障等导致的异常数据,提高数据处理的可靠性,我国明安图频谱射电日像仪迫切需要实现实时观测状态的远程监控。提出了一种基于WEBSOCKET技术的远程监控数据的可视化展现方法,并以观测过程中功率图和频谱图的实时展现为例进行了验证。实验表明,方法可满足实时监控数据可视化展现需求,并且改变了传统的现场监控模式,打破了地域限制,具有可靠性高、实时性好和扩充性广等诸多优点,提高了工作效率和设备利用率,对其它远程监控数据可视化展现系统有一定的参考价值。     

多功能天文经纬仪图像处理系统

多功能天文经纬仪是云南天文台新研制的一种基于通用CCD观测的天体测量望远镜。介绍了多功能天文经纬仪的图像处理系统,从系统的整体框架和主要功能算法两个方面说明了整个图像处理系统的实现流程和工作方法。介绍了星像搜索算法、定心算法和VC＋＋程序设计的流程图。给出了图像处理软件的界面,以及恒星像、人造星像和轴准直星像3种星像的定心结果,并对其结果进行了分析。     

ONSET数据流水线

随着天文大科学设备的投入使用,传统的开发模式面临程序重复开发,环境依赖冲突等问题。另外,集群是一个高度耦合的计算资源,严重的环境冲突可能导致整个集群不可用。为了解决这个问题,采用微服务的概念开发新的流水线框架,这种框架可以实现短期内开发和部署新的流水线。介绍了通过这种框架开发的ONSET数据流水线,为了实现准实时数据处理,采用MPI和GPU技术对核心程序做了优化,并对最后的性能做了评估。结果表明,这种开发模式可以在短期内搭建满足需求的流水线,这种开发模式对未来多波段多终端的天文数据处理有借鉴意义。     

基于Python-casacore的射电测量集文件生成方法

测量集(MeasurementSet, MS)是射电天文领域重要的文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件的支持,在阿塔卡玛大型毫米波天线阵(Atacama Large Millimeter Array, ALMA)、LOFAR等射电望远镜系统中已经深入应用。但长期以来,测量集格式在国内应用较少,介绍了测量集格式的基本概念、目录结构和字段设计,在此基础上讨论了利用Python-casacore调用底层Casacore生成测量集文件的方法,将实现程序集成到射电天文模拟校准成像库(Radio Astronomy Simulation, Calibration and Imaging Library, RASCIL),生成仿真观测测量集文件,并利用CASA(Common Astronomy Software Applications)软件加以验证。所完成的测量集文件生成软件在满足平方千米阵工程桥接阶段工作需要的同时,也为其后续的成像、观测模拟和文件存储提供了重要支撑,对我国射电天文数据处理工作有较高的参考价值。     

LAMOST异构环境信息检索系统的设计与实现

环境信息是大天区面积多目标光纤光谱望远镜(the Large Sky Area Multi-Object Fiber Spectroscopic Telescope, LAMOST,又叫郭守敬望远镜)运行状态的一部分,用于辅助望远镜的日常维护、观测以及后期数据处理。环境信息来源于多个子系统,而子系统的数据存储由不同单位设计,数据存储环境复杂,不利于统一检索。基于异步协程提出了一种异构环境信息检索的方法,该方法利用数据库代理对象工厂(Data Base Agent Factory, DBAF)整合多个数据库及检索字段信息,通过客户端和网络浏览器提供远程服务,以自定义检索命令的方式实现对异构数据库的检索。本方法充分考虑了后期升级的需求,保留多种数据库和应用接口,便于更多数据库和应用的接入。目前基于该方法开发的检索系统已部署于郭守敬望远镜,在运行中简化了运行环境检索操作,提高了环境数据获取的精准度,提升了望远镜的维护和观测效率。     

基于自适应滤波的干扰消除方法研究

射电天文信号非常微弱,电磁环境对射电望远镜观测至关重要,通常可以利用地形、建立无线电宁静区、进行电磁屏蔽与防护等手段来减小电磁干扰.然而,仍有一些干扰难以屏蔽.故提出了一种基于自适应滤波的干扰消除方法,可用于复杂噪声环境中天文信号的提取.该方法借助自适应横向滤波器,采用最小均方(Least Mean Square, LMS)误差算法,以系统误差和收敛性为评判标准,通过改变步长与阶数对滤波效果进行优化,仿真结果显示该滤波器能在保证算法收敛的前提下有效提取信号.为了检验该算法的有效性,选取了新疆天文台南山26 m射电望远镜和Parkes 64 m射电望远镜记录的观测数据,采用设计的滤波器分别对不同的实测数据进行测试,验证了该滤波器的有效性.理论分析与实验结果一致表明该方法能有效消除天文观测中的干扰信号,具有一定的实用性.     

基于方形网格结构的太阳活动目标检测方法

天文图像背景复杂且包含噪声,从图像中自动识别和分割出有效的天文现象是一个热点和难点。提出了一种基于方形网格结构的太阳图像的目标检测方法。此方法将太阳图像划分成等大小的方形网格结构,基于多阈值选取策略和基于方形网格结构的太阳活动目标检测方法分离目标区域和背景区域。实验结果表明,该方法在切割准确度及时间开销方面取得满意的效果,对图像噪声具有良好的抗干扰性。基于方形网格结构的太阳活动目标检测方法为多种类型的太阳活动的研究提供一种通用的图像分割方法,也为解决海量天文数据存储的问题提供了一种可行的方案。     

构建中国虚拟天文台的天文数据结点

随着天文观测数据的爆炸式增长以及数据网格技术等新兴IT技术的日趋成熟,虚拟天文台应运而生。虚拟天文台成为基于数据网格技术的解决复杂海量天文数据的访问和管理的一种有效手段。我们对现有中国虚拟天文台体系结构底层进行设计与实现,并完成了其核心部分一天文数据结点。天文数据结点可发布和管理异构的数据资源,为用户提供统一的数据访问接口,进而为天文学家实现对各种天文数据的无缝透明访问和处理提供了方便。本文重点介绍了我们设计的天文数据结点的体系结构,以及结点各部分的功能,并讨论了其关键技术的实现。     

基于虚拟天文台的HXMT卫星数据检索发布系统设计与实现

目前,国际上诸多天文项目均遵循虚拟天文台（Virtual Observatory,VO）标准协议开发各天文数据检索发布系统,对外公开发布数据,并对数据资源进行VO注册,从而使用户通过虚拟天文台门户网站即可访问获取不同天文项目的数据集.硬X射线调制望远镜（HXMT）卫星项目也将虚拟天文台技术引入HXMT卫星数据检索发布系统的设计与实现过程中,既满足HXMT卫星数据发布需求,又将HXMT卫星数据融入虚拟天文台环境,实现国际天文数据的共享共用.系统提出了符合虚拟天文台规范的体系架构,并选取SCS锥形检索、VOTable数据格式等虚拟天文台标准协议加以实现,采用MVC模式、SSH框架以及各种J2EE技术进行软件研发,提供检索访问、浏览下载和可视化功能.实践和应用结果表明,系统在解决天文数据资源互操作、共享发布、检索访问及异构应用集成方面均具有可操作性,对我国空间天文卫星数据检索发布系统的研制具有参考意义.     

分块DPCM与5/3整数小波变换结合的天文图像无损压缩

针对海量的天文图像数据与有限的存储空间和带宽资源之间矛盾日益突出这一问题,提出一种无损压缩方法,首先将超大天文图像分块,再使用差分脉冲编码调制和5/3整数小波变换,最后使用霍夫曼算法编码。对该方法的原理和具体实现做了详细的分析与介绍,通过实验验证该方法比天文中常用的tar、PKZip、WinZip、WinRar软件在压缩比上分别提高了30%、29%、26%、2%,压缩速度远大于WinZip和WinRar;且该算法实现简单,适合硬件实现和利于并行处理。