基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。     

新疆天文台天文观测数据传输日志系统设计与实现

新疆天文台望远镜产生的观测数据通过数据专线传输到新疆天文台本部数据中心进行长期存储。采用rsync进行数据传输,传输过程中没有详细的日志记录信息,无法对传输情况进行统计分析。通过调研新疆天文台数据传输的需求,设计并开发了新疆天文台观测数据传输日志系统。系统以新疆天文台南山站、奇台站的数据存储服务器和新疆天文台本部长期存储为基础,设计了日志系统的整体架构,实现了数据传输过程的日志记录。系统基于shell多线程技术及Qt框架,开发了后台服务程序及日志系统软件界面,实现了日志分析、统计备份与数据传输的可视化页面。     

新疆天文台NSRT观测数据存储系统

新疆天文台南山26 m射电望远镜经过多年观测积累了大量的科学数据。针对26 m射电望远镜天文观测数据的在线存储与备份问题,建设了远程、异地、容灾备份系统,在新疆天文台本部及南山观测站分别建设了可独立运行的存储系统,实现了两套存储系统间的远程、异地数据实时容灾备份。以基于对象的存储技术Lustre为基础实现了存储系统,并对存储的读写性能进行了详细测试。建设的容灾备份系统有效解决了新疆天文台观测数据及次生数据的在线存储与数据安全问题。