天文数据库回顾与展望

随着新一代巡天观测、时域观测等天文项目的推进,当前的天文数据量越来越大。面对天文领域日益增长的大数据集和大数据流,需要一些高效的数据存储和数据处理方法来对数据进行管理。天文数据库以及在其基础上提供的数据服务的出现部分解决了这样的问题。借助于计算机技术和信息技术的进步,一些更加专业的针对天文领域的数据发现、数据挖掘、数据交互等工作正在逐步标准化。基于虚拟天文台技术和天文信息学的新型天文数据服务正深入天文用户的日常科研生活中。首先简单回顾了天文数据库的历史,然后通过对几个典型天文数据库的举例分析,从天文数据库的类型、提供的服务等方面介绍了当前天文数据库的特点和最新进展,并对今后天文数据库的发展做了展望。     

VO数据访问服务客户端系统的设计与实现

虚拟天文台数据访问服务(VO-DAS)基于新兴的数据网格技术,实现异地异构海量天文数据统一联合资源的访问.这些服务对外提供简单、直观的访问操作接口.立足VO-DAS的接口服务,我们设计了一套客户端系统,即VO-DAS的GUI客户端和命令行客户端.数据用户可以通过客户端实现对VO-DAS接口的调用,从而访问分布存储的异构天文数据资源.     

异地异构天文数据资源的统一访问

天文观测数据资源具有时间跨度大,数据量大,存储、管理分散,管理工具驳杂等特点.如何提供给天文学家一个统一访问这些异地存放的异构数据资源的方案,是虚拟天文台的一个重要研究课题.本文提出了一种基于网格的解决方案.我们基于OGSA-DAI技术实现了对天文星表数据,图像数据和光谱数据的封装(DataNode).我们设计的虚拟天文台数据访问服务(VO-DAS)实现了对DataNode的自动资源发现以及异地异构数据库的联合访问.这将使天体的多波段交叉证认成为可能.VO-DAS支持国际虚拟天文台联盟(IVOA)的各项相关标准,使得它具有良好的互操作性.它的对外接口简单实用,可以针对不同需求的天文数据用户发展出多种网格应用产品.通过在两个科学范例中应用VO-DAS服务,证明了它的可行性.     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

SVOM数据档案库软件原型系统的设计与实现

作为中法天文卫星(Space multi-band Variable Object Monitor,SVOM)中方科学中心的重要组成部分,中法天文卫星数据档案库承担了中方科学数据产品本地存储和管理的任务,提供统一的数据产品管理平台,实现中法天文卫星科学数据产品的归档、检索、检出、维护与管理等功能。作为中法天文卫星科学中心预研的一部分,对中法天文卫星数据档案库原型系统进行了需求分析、系统设计,实现能够运行的原型系统,以演示中法天文卫星数据档案库的基本功能和工作流程,验证设计方案的可行性。档案库原型系统具有开放性和低耦合的特点,能够适应中法天文卫星中方数据产品结构的不断变化,在项目早期即可投入试用并不断完善,满足中法天文卫星的任务需求。     

基于虚拟天文台的HXMT卫星数据检索发布系统设计与实现

目前,国际上诸多天文项目均遵循虚拟天文台（Virtual Observatory,VO）标准协议开发各天文数据检索发布系统,对外公开发布数据,并对数据资源进行VO注册,从而使用户通过虚拟天文台门户网站即可访问获取不同天文项目的数据集.硬X射线调制望远镜（HXMT）卫星项目也将虚拟天文台技术引入HXMT卫星数据检索发布系统的设计与实现过程中,既满足HXMT卫星数据发布需求,又将HXMT卫星数据融入虚拟天文台环境,实现国际天文数据的共享共用.系统提出了符合虚拟天文台规范的体系架构,并选取SCS锥形检索、VOTable数据格式等虚拟天文台标准协议加以实现,采用MVC模式、SSH框架以及各种J2EE技术进行软件研发,提供检索访问、浏览下载和可视化功能.实践和应用结果表明,系统在解决天文数据资源互操作、共享发布、检索访问及异构应用集成方面均具有可操作性,对我国空间天文卫星数据检索发布系统的研制具有参考意义.     

新疆天文台数据中心建设与应用

经过多年观测,新疆天文台积累了大量珍贵的观测数据。如何高效管理快速增长的海量观测数据,如何实现全波段观测数据的融合及未来更大口径望远镜产生的海量数据归档与发布是目前新疆天文台急需解决的问题。新疆天文台数据中心面向天文学科研需求提供天文科学数据服务和基础设施,由新疆天文台计算机技术室负责运行与维护。数据中心以最新的虚拟天文台相关标准为基础建设,基本服务包括:为天文观测项目提供数据保存、管理和发布服务;为有价值的天文科学数据及二次处理后的数据提供长期保存和访问服务;为用户提供科学数据归档与发布服务及相关技术支持。数据资源主要有:新疆天文台25 m射电望远镜的脉冲星观测数据;活动星系核观测数据以及分子谱线观测数据。提供的数据服务有:PPMXL星表锥形检索;海量星表数据在线交叉认证;统一内容描述符信息查询等服务。主要介绍新疆天文台数据中心建设及其提供的服务,如何使用已发布的服务在线检索数据及利用标准虚拟天文台工具实现数据操作。     

基于Paxos的强一致性复制在天文数据存储中的应用研究

随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。     

面向海量天文数据的分布式MySQL锥形检索研究

随着巡天观测计划的进行,传统的数据库技术无法满足海量天文数据的存储以及检索性能的需求。针对海量天文数据存储以及锥形检索的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群,充分整合关系型数据库和分布式技术的优点。利用MySQL数据库集成动态索引工具(Dynamic Index Facility, DIF)插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据锥形索引的需求。     

绕月探测工程卫星数据的存储与管理

从数据的类型和产品格式说明开始,对绕月探测工程中的科学探测数据的管理方法进行了研究.通过数据存储架构和软件结构的分析,指出数据存储的软硬件环境;通过数据存储和备份策略的分析,指出数据存储的可靠性.这些存储与管理方法将为更好地管理数据并向外界提供检索和获取服务提供保障.     

中国虚拟天文台研发策略与重点

由于不同的天文和技术背景，不同的虚拟天文台项目采取了不同的研究策略。本文首先介绍了国际上几个典型虚拟天文台项目的研发目标和工作重点；然后讨论了包括中国虚拟天文台在内的小型虚拟天文台项目在研发方面的优势和劣势。中国虚拟天文台项目根据自身所处的具体情况确定自己将走应用路线，争取在某些领域取得突破，研发重点包括五个方面：China-VO系统平台建设、国内外天文数据的统一访问、现有天文工具的虚拟天文台集成、天文设备的虚拟天文台集成、虚拟天文台基础上的公众教育。     

天文大数据管理工具的设计与实现

随着大型地面和空间观测设备的建设以及大型巡天项目的开展,天文数据以TB字节、PB字节,甚至EB字节计量,天文学进入了"大数据"时代。面对数据海洋,如何有效地存储和管理这些大数据是摆在天文学家面前的核心问题。数据存储和管理不仅仅是天文数据中心的任务,天文学家也需要有效地管理自己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提,而高效的数据索引则是管理数据的核心要素,为此设计开发了天文大数据管理工具Auto DB,使用虚拟终端监视实现海量数据的自动入库,对数据自动创建全新的天空分区索引Q3C(Quad Tree Cube),对天文数据进行二维空间索引以便于高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究中的数据融合、数据分析、数据挖掘提供了根本的保障,尤其对从事大数据的天文学家,拥有自动化的数据库管理工具,可以集中精力致力于科学研究。     

构建中国虚拟天文台的天文数据结点

随着天文观测数据的爆炸式增长以及数据网格技术等新兴IT技术的日趋成熟,虚拟天文台应运而生。虚拟天文台成为基于数据网格技术的解决复杂海量天文数据的访问和管理的一种有效手段。我们对现有中国虚拟天文台体系结构底层进行设计与实现,并完成了其核心部分一天文数据结点。天文数据结点可发布和管理异构的数据资源,为用户提供统一的数据访问接口,进而为天文学家实现对各种天文数据的无缝透明访问和处理提供了方便。本文重点介绍了我们设计的天文数据结点的体系结构,以及结点各部分的功能,并讨论了其关键技术的实现。     

FITS变长数组在暗物质卫星数据存储中的应用研究

FITS是空间天文领域广泛使用的一种数据格式,空间天文数据文件通常采用定长数据结构存储为FITS文件。作为我国首颗发射的空间科学卫星,暗物质粒子探测卫星科学数据源包具有长度可变的特点。在暗物质卫星数据处理过程中,急需设计支持可变长度数据的存储结构和处理方法。设计了一种支持长度可变数组的FITS格式,并实现了采用该数据结构的数据处理、存储和管理。应用于暗物质卫星地面处理中,验证结果表明,该方法实现了编辑级产品数据存储,显著降低了产品数据量,节约了存储空间,同时提升了处理效率。     

天文星表入库的自动化

天文数据主要包括星表、星图、光谱、文献资料等,其中星表是包含天体信息的数据表格,是天文学家最常用到的天文数据。目前天文数据分布存储在全球各个数据中心。中国最大的天文数据中心是北京天文数据中心,其数据库的重要部分是天文星表数据库。本文阐述了建设天文星表数据库的意义,着重探讨了星表自动入库工具的实现,并介绍了在天文星表数据库基础上的数据融合和数据挖掘。     

基于Python-casacore的射电测量集文件生成方法

测量集(MeasurementSet, MS)是射电天文领域重要的文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件的支持,在阿塔卡玛大型毫米波天线阵(Atacama Large Millimeter Array, ALMA)、LOFAR等射电望远镜系统中已经深入应用。但长期以来,测量集格式在国内应用较少,介绍了测量集格式的基本概念、目录结构和字段设计,在此基础上讨论了利用Python-casacore调用底层Casacore生成测量集文件的方法,将实现程序集成到射电天文模拟校准成像库(Radio Astronomy Simulation, Calibration and Imaging Library, RASCIL),生成仿真观测测量集文件,并利用CASA(Common Astronomy Software Applications)软件加以验证。所完成的测量集文件生成软件在满足平方千米阵工程桥接阶段工作需要的同时,也为其后续的成像、观测模拟和文件存储提供了重要支撑,对我国射电天文数据处理工作有较高的参考价值。     

VO-DAS Registry系统的设计与实现

为了给天文学家提供一个统一访问分布存储于世界各地数据中心的异构天文数据资源的方案,中国虚拟天文台项目组设计了虚拟天文台数据访问服务(VO-DAS)。VO-DAS支持国际虚拟天文台联盟(IVOA)制订的各项相关标准,使得它具有良好的互操作性。VO-DAS Registry系统是VO-DAS系统的重要组成部分,它为VO-DAS系统获取数据资源的元数据,从而使得VO-DAS更好的管理和应用这些数据资源。在这个过程中,此系统符合IVOA的相关标准。     

基于QT的MUSER观测数据多屏图形化实时显示的设计与实现

对天文望远镜的观测数据或控制过程状态进行实时的图形化显示,是天文仪器研制过程中的一个重要环节。随着Linux操作系统在天文领域的广泛应用,如何开发基于LINUX图形界面的实时图形化显示系统成为一种迫切需求。针对我国明安图超宽频射电日像仪(Mingantu Ultrawide Spectral Radio Heliograph,MUSER,原名为中国射电频谱日像仪,CSRH)实时观测数据图形化显示的要求,给出了一种利用QT架构进行实时、多屏的图形化展现方法,并以互相关与自相关数据实时展现为例进行了验证。实验表明本方法完全可以满足MUSER实时观测监控的要求,并且具有简单、快捷、可移植性好等优点,克服了LINUX下X-WINDOW编程困难等难题,对其它望远镜设计类似功能有一定的参考价值。     

VLBI软件件相关处理机现状和发展趋势

相关处理机是VLBI数据处理系统的核心设备。基于计算机集群和高性能并行计算技术研发的软件相关处理机,正逐渐成为VLBI海量观测数据处理的主流,并以其灵活性、扩展性、易用性等特点,在天文、测地和深空探测领域中获得广泛应用。梳理了国内外主流VLBI软件相关处理机系统发展历史和技术架构,并做归纳比较,最后分析未来的应用需求及发展趋势。     

基于容器的脉冲星数据处理软件部署与测试

随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。