SVOM数据档案库软件原型系统的设计与实现

作为中法天文卫星(Space multi-band Variable Object Monitor,SVOM)中方科学中心的重要组成部分,中法天文卫星数据档案库承担了中方科学数据产品本地存储和管理的任务,提供统一的数据产品管理平台,实现中法天文卫星科学数据产品的归档、检索、检出、维护与管理等功能。作为中法天文卫星科学中心预研的一部分,对中法天文卫星数据档案库原型系统进行了需求分析、系统设计,实现能够运行的原型系统,以演示中法天文卫星数据档案库的基本功能和工作流程,验证设计方案的可行性。档案库原型系统具有开放性和低耦合的特点,能够适应中法天文卫星中方数据产品结构的不断变化,在项目早期即可投入试用并不断完善,满足中法天文卫星的任务需求。     

基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。     

基于容器技术的天文应用软件自动部署方法

平方千米阵列即将开始建设,各子工作包也进入关键设计评估阶段。基于云与容器技术是平方千米阵列科学数据处理器未来可能采用的平台技术。针对超大规模海量数据处理面临的天文应用软件快速部署、运行与实测要求,充分考虑天文应用软件运行环境复杂、云计算环境下超大规模计算集群部署困难等问题,系统研究并给出了一种使用容器技术的天文应用软件通用自动部署方法。以目前较为常用的可见度函数校准软件SAGECaL为例,首先分析了SAGECaL的相关特性和分布式部署方面存在的困难,进而给出了基于容器技术的SAGECaL分布式集群的自动部署方法。实验结果表明,自动部署方法极大地提高了SAGECaL分布式集群的部署效率,满足项目组承担平方千米阵列科学数据处理器相关测试工作所需要的基础平台部署与切换等需求,同时也为其它天文软件在云端的快速部署与执行提供了有益的思路。     

基于虚拟天文台的HXMT卫星数据检索发布系统设计与实现

目前,国际上诸多天文项目均遵循虚拟天文台（Virtual Observatory,VO）标准协议开发各天文数据检索发布系统,对外公开发布数据,并对数据资源进行VO注册,从而使用户通过虚拟天文台门户网站即可访问获取不同天文项目的数据集.硬X射线调制望远镜（HXMT）卫星项目也将虚拟天文台技术引入HXMT卫星数据检索发布系统的设计与实现过程中,既满足HXMT卫星数据发布需求,又将HXMT卫星数据融入虚拟天文台环境,实现国际天文数据的共享共用.系统提出了符合虚拟天文台规范的体系架构,并选取SCS锥形检索、VOTable数据格式等虚拟天文台标准协议加以实现,采用MVC模式、SSH框架以及各种J2EE技术进行软件研发,提供检索访问、浏览下载和可视化功能.实践和应用结果表明,系统在解决天文数据资源互操作、共享发布、检索访问及异构应用集成方面均具有可操作性,对我国空间天文卫星数据检索发布系统的研制具有参考意义.     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。     

基于Docker的射电干涉阵软件系统敏捷封装与部署

随着天文技术的发展,天文数据处理软件的需求也不断更迭变化,导致软件运行环境渐趋复杂。对于开发者和使用者,急需提出一种对复杂天文数据处理软件敏捷化封装和部署的方法。我国明安图射电频谱日像仪已进入常规观测,与之配套的数据处理软件也已完成开发并投入使用。由于该软件的部署涉及操作系统环境、图形处理器运行环境及底层依赖软件等配置问题,导致安装过程既繁琐又容易出错。结合容器技术的特点,提出了一种基于Docker容器对日像仪软件系统进行敏捷封装与部署的方法,并对该方法的设计进行介绍,通过实验验证了其可用性,以及相比于传统虚拟机可获得较优异的性能表现。该方法可为未来天文数据处理软件的封装部署提供参考。可以预见,未来容器技术将成为天文海量数据处理的基础支撑技术。     

软件质量管理在某天文工程中的应用

本文讨论软件工程中有关质量管理方面的概念和技术,以及在天文软件开发工作中的一些应用。特别讨论了天文软件工程的测试问题,给出了测试控制程序的结构,以及测试用例及其数据生成模式。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

面向Web服务的天文数据发布技术

目前主流的天文数据发布主要使用基于Web页面和基于REST风格的Web服务两种发布技术,但存在诸多不足,特别是不利于自动化工具实现机器识别并调用。WebService技术作为一种日趋成熟的分布式计算模型,拥有跨平台与松耦合等很多优势,通过Web服务实现天文数据发布可以提高天文研究工作的灵活性和自动化程度。对Web服务在虚拟天文台中的应用情况及目前主要的天文数据发布技术进行了系统的调研,并在此基础上就如何实现符合IVOA规范且面向Web服务的天文数据发布服务进行了分析,针对一个天文数据发布实例,设计并实现了同时支持SOAP风格和REST风格的锥型检索服务,测试结果表明服务设计是成功的。     

天文数据检索与发布综述

海量观测数据及次生数据的高效存储与检索,天文大数据的快速及时处理,加速天文学研究的科学产出等问题,已成为天文观测和天文研究迫切需要解决的难题。以信息技术为支撑的天文大数据的高效分析和处理,帮助天文学家重新审视和了解宇宙。虚拟天文台的出现为全球范围内研究资源的无缝透明连接提供了协议、标准,以协议为基础规范了天文数据的发布与检索方式。以国内外现有的观测设备为基础,综述目前主流天文机构的数据发布与检索相关情况。     

中国古代天象记录数据库的设计与实现

中国古代天象记录是世界上独一无二的天文观测数据宝库,具有十分重要的科学价值。近年来,随着天文观测与理论的快速发展,对历史超新星、太阳活动周期等问题的研究有了许多新的进展。但古代天象记录的整理工作还停留在上世纪八十年代末的水平,在信息利用方面存在检索不便、文献不全、缺乏相应分析等问题,已难以满足天文研究工作的需求。基于面向文档数据库、全文检索、语法分析、Web等技术,设计开发了中国古代天象记录数据库,实现了对古代天象记录中各类科学和文史信息的数字化存储与检索。这一基础平台的建设和研发为中国古代天象记录更好地服务于全世界天文学家,促进对古代天象记录的校勘、证认、利用等多学科交叉研究打下了基础。     

FITS变长数组在暗物质卫星数据存储中的应用研究

FITS是空间天文领域广泛使用的一种数据格式,空间天文数据文件通常采用定长数据结构存储为FITS文件。作为我国首颗发射的空间科学卫星,暗物质粒子探测卫星科学数据源包具有长度可变的特点。在暗物质卫星数据处理过程中,急需设计支持可变长度数据的存储结构和处理方法。设计了一种支持长度可变数组的FITS格式,并实现了采用该数据结构的数据处理、存储和管理。应用于暗物质卫星地面处理中,验证结果表明,该方法实现了编辑级产品数据存储,显著降低了产品数据量,节约了存储空间,同时提升了处理效率。     

基于Paxos的强一致性复制在天文数据存储中的应用研究

随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。     

异地异构天文数据资源的统一访问

天文观测数据资源具有时间跨度大,数据量大,存储、管理分散,管理工具驳杂等特点.如何提供给天文学家一个统一访问这些异地存放的异构数据资源的方案,是虚拟天文台的一个重要研究课题.本文提出了一种基于网格的解决方案.我们基于OGSA-DAI技术实现了对天文星表数据,图像数据和光谱数据的封装(DataNode).我们设计的虚拟天文台数据访问服务(VO-DAS)实现了对DataNode的自动资源发现以及异地异构数据库的联合访问.这将使天体的多波段交叉证认成为可能.VO-DAS支持国际虚拟天文台联盟(IVOA)的各项相关标准,使得它具有良好的互操作性.它的对外接口简单实用,可以针对不同需求的天文数据用户发展出多种网格应用产品.通过在两个科学范例中应用VO-DAS服务,证明了它的可行性.     

基于Python-casacore的射电测量集文件生成方法

测量集(MeasurementSet, MS)是射电天文领域重要的文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件的支持,在阿塔卡玛大型毫米波天线阵(Atacama Large Millimeter Array, ALMA)、LOFAR等射电望远镜系统中已经深入应用。但长期以来,测量集格式在国内应用较少,介绍了测量集格式的基本概念、目录结构和字段设计,在此基础上讨论了利用Python-casacore调用底层Casacore生成测量集文件的方法,将实现程序集成到射电天文模拟校准成像库(Radio Astronomy Simulation, Calibration and Imaging Library, RASCIL),生成仿真观测测量集文件,并利用CASA(Common Astronomy Software Applications)软件加以验证。所完成的测量集文件生成软件在满足平方千米阵工程桥接阶段工作需要的同时,也为其后续的成像、观测模拟和文件存储提供了重要支撑,对我国射电天文数据处理工作有较高的参考价值。     

空间科学虚拟观测台体系结构研究

科学观测数据的海量增长,使得旨在实现资源互操作的虚拟观测台(VO)应运而生,并迅速受到相关学科的支持和重视。国际虚拟天文台联盟(IVOA)、行星科学数据系统(PDS)和空间物理归档检索抽取标准(SPASE)等数据组织,正加快制定数据管理模型,推动VO的发展和跨学科应用。结合空间科学应用研究的特点,在借鉴国内外天文和空间科学VO研究成果的基础上,提出了一种针对空间科学数据的Hybrid型VO体系结构,并基于此体系结构发展了一个支持同步收割、格式化管道和事件关联发现的空间科学VO原型。实践和应用结果表明,基于这种体系结构建立的VO在解决全局资源的实时同步、异构应用的高度集成和面向科学问题的数据发现等问题上,有一定的普适性。     

天文文献全文检索系统的研究与实现

介绍在对全文数据库和全文检索有关技术研究分析的基础上,以天文文献作为处理对象,开发Internet网络环境下基于Lucene检索引擎的天文文献全文检索系统,实现了无需后台数据库的天文文献全文检索系统。全文检索系统在网络环境下运行。     

科学工作流技术及在天文研究中的应用探讨

近几年来虚拟天文台技术的发展极为迅速,各国虚拟天文台研究相继启动,一系列虚拟天文台标准被提出并投入应用,有效地推动了信息技术在天文研究中的应用。科学工作流技术作为高性能计算与虚拟天文台中的关键技术,一直是研究的重点。但长期以来,受到业务工作流技术的影响,科学工作流的具体功能与作用,一直不被广大天文工作者理解和重视,限制了科学工作流的推广与应用。对科学工作流进行了深入分析,介绍了其基本功能和业务模型,详细比较了与业务工作流的差异。最后讨论了科学工作流在天文研究中的应用方法,对科学工作流的发展进行了展望。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

FITS数据文件的检索和访问

普适图像传输系统(Flexible Image Transport System,FITS)是天文学领域应用最广泛的数据格式.自从20世纪80年代FITS格式被国际天文联合会(IAU)正式公布为国际标准以来,大部分的天文数据都是以FITS文件的形式在世界各地的数据中心和天文学家手中保存和交换.采用文件系统方式保存管理的FITS数据文件,很难适应程序化的检索和定位需求.随着FITS文件数量的不断增加以及虚拟天文台技术的发展,为这些以文件形式保存的天文数据提供检索功能的需求越来越迫切.FITS头以关键词值对的形式确切定义了所属FITS文件的结构,还提供了数据本身诸多特性的重要信息.FITS头中保存的这些信息可以满足大部分FITS数据文件查询检索的需求.将FITS头中的信息利用数据库来保存和管理,可以极大的方便对FITS文件的检索和定位.FITS头归档入库系统(FitHAS)是中国虚拟天文台项目开发的一个简单实用的FITS头信息归档入库工具,能够方便的将单个或者多个FITS文件的主FITS头信息导入到数据库中,为FITS数据文件的查询检索奠定基础,进而为虚拟天文台等更高层次的数据访问服务部署创造条件.本文介绍FITS数据格式,FITS头的基本结构;探讨虚拟天文台环境下FITS数据文件检索定位的实现方式;阐述FitHAS的功能特点、设计开发和使用方法.