面向海量天文数据的分布式MySQL锥形检索研究

随着巡天观测计划的进行,传统的数据库技术无法满足海量天文数据的存储以及检索性能的需求。针对海量天文数据存储以及锥形检索的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群,充分整合关系型数据库和分布式技术的优点。利用MySQL数据库集成动态索引工具(Dynamic Index Facility, DIF)插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据锥形索引的需求。     

天文数据检索与发布综述

海量观测数据及次生数据的高效存储与检索,天文大数据的快速及时处理,加速天文学研究的科学产出等问题,已成为天文观测和天文研究迫切需要解决的难题。以信息技术为支撑的天文大数据的高效分析和处理,帮助天文学家重新审视和了解宇宙。虚拟天文台的出现为全球范围内研究资源的无缝透明连接提供了协议、标准,以协议为基础规范了天文数据的发布与检索方式。以国内外现有的观测设备为基础,综述目前主流天文机构的数据发布与检索相关情况。     

天文星表入库的自动化

天文数据主要包括星表、星图、光谱、文献资料等,其中星表是包含天体信息的数据表格,是天文学家最常用到的天文数据。目前天文数据分布存储在全球各个数据中心。中国最大的天文数据中心是北京天文数据中心,其数据库的重要部分是天文星表数据库。本文阐述了建设天文星表数据库的意义,着重探讨了星表自动入库工具的实现,并介绍了在天文星表数据库基础上的数据融合和数据挖掘。     

异地异构天文数据资源的统一访问

天文观测数据资源具有时间跨度大,数据量大,存储、管理分散,管理工具驳杂等特点.如何提供给天文学家一个统一访问这些异地存放的异构数据资源的方案,是虚拟天文台的一个重要研究课题.本文提出了一种基于网格的解决方案.我们基于OGSA-DAI技术实现了对天文星表数据,图像数据和光谱数据的封装(DataNode).我们设计的虚拟天文台数据访问服务(VO-DAS)实现了对DataNode的自动资源发现以及异地异构数据库的联合访问.这将使天体的多波段交叉证认成为可能.VO-DAS支持国际虚拟天文台联盟(IVOA)的各项相关标准,使得它具有良好的互操作性.它的对外接口简单实用,可以针对不同需求的天文数据用户发展出多种网格应用产品.通过在两个科学范例中应用VO-DAS服务,证明了它的可行性.     

GWAC海量星表数据处理的数据库系统选型研究

为应对我国的宽视场地基广角相机阵在大数据管理和实时处理上带来的挑战,提出一种基于列存储数据库Monet DB的时序数据处理与管理系统设计方案。本方案充分利用Monet DB兼具数据处理和管理于一体的数据库平台特点,通过将交叉认证等核心数据处理算法内嵌于数据库中,从而实现将"计算带到数据中"的设计理念。同时,对本方案开展了多项关键技术的研究与测试:TPC-H基准性能测试;大数据加载能力测试及优化研究;基于Monet DB的Zone算法实现与测试;可定制函数开发功能的测试。初步的预研结果表明,列存储切实可行,同时对本设计方案作详细的介绍。提出的基于列存储Monet DB数据库设计的海量星表数据处理应用方案,是高效的数据处理与管理为一体的天文数据库解决方案。     

天文数据库回顾与展望

随着新一代巡天观测、时域观测等天文项目的推进,当前的天文数据量越来越大。面对天文领域日益增长的大数据集和大数据流,需要一些高效的数据存储和数据处理方法来对数据进行管理。天文数据库以及在其基础上提供的数据服务的出现部分解决了这样的问题。借助于计算机技术和信息技术的进步,一些更加专业的针对天文领域的数据发现、数据挖掘、数据交互等工作正在逐步标准化。基于虚拟天文台技术和天文信息学的新型天文数据服务正深入天文用户的日常科研生活中。首先简单回顾了天文数据库的历史,然后通过对几个典型天文数据库的举例分析,从天文数据库的类型、提供的服务等方面介绍了当前天文数据库的特点和最新进展,并对今后天文数据库的发展做了展望。     

构建中国虚拟天文台的天文数据结点

随着天文观测数据的爆炸式增长以及数据网格技术等新兴IT技术的日趋成熟,虚拟天文台应运而生。虚拟天文台成为基于数据网格技术的解决复杂海量天文数据的访问和管理的一种有效手段。我们对现有中国虚拟天文台体系结构底层进行设计与实现,并完成了其核心部分一天文数据结点。天文数据结点可发布和管理异构的数据资源,为用户提供统一的数据访问接口,进而为天文学家实现对各种天文数据的无缝透明访问和处理提供了方便。本文重点介绍了我们设计的天文数据结点的体系结构,以及结点各部分的功能,并讨论了其关键技术的实现。     

海量星表融合系统（XMaS_VO）的设计与开发

将不同波段的星表、特别是巡天项目产生的大型星表进行交叉证认,一直是进行多波段天文学研究,尤其是数据挖掘、统计分析研究的瓶颈.本文开发和实现了一个不依赖于特定数据库的海量星表融合系统(简称为XMaS_VO),用户能够方便地使用此系统的服务进行星表的上传及自动入库、交叉证认等工作.此外,XMaS_VO具备可移植性,如果用户需要进行很大数量的或者大型星表的交叉证认服务,可以自己建立数据库,方便地将此工具移植到自己的服务器上,自己使用或者开放服务给他人.随着该系统的进一步发展和应用.天文学家将可以轻松自如地获得他们需要的多波段融合数据,自由地选取参数和匹配的结果.从而可以更加有效地从事海量数据处理和分析工作.     

基于Cassandra的海量MUSER数据分布式存储与检索研究

明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪的数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在No SQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS);最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性。实验结果表明,MBDMS可以很好地满足数据管理的需要,是解决当前数据存储问题的一种有效方案。     

基于Paxos的强一致性复制在天文数据存储中的应用研究

随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。     

蓬勃发展的美国大型天文数据库

近几十年,在建设天文数据库,特别是空间天文数据库方面美国科学家们做了大量的工作,积累了丰富的数据资料。这是美国,也是全世界天文学家的共同宝藏。本文概略介绍了这些美国大型天文数据库的收藏内容、存取方式、以及所提供的服务,旨在使我国天文工作者更加重视这些珍贵的资料,进而去充分开发和利用它们。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

射电望远镜台站的Android手机干扰管理软件设计与实现

无线电监测表明,手机与基站通信产生的干扰信号影响射电天文观测数据,为了抑制射频干扰,天文学家提出屏蔽站内电子设备、设置无线电宁静区等管理办法,其中的手机信号因易移动、基数大而难以监测和管理。然而,开启手机的飞行模式或关机可以降低射频干扰。基于此设计和开发了一款基于安卓(Android)系统的手机干扰管理应用程序,采用定位技术自动判别手机是否处于无线电宁静区,以提醒用户管理手机,并记录用户在宁静区内的操作。测试结果表明,当用户处于无线电宁静区时,应用程序能主动提醒用户开启飞行模式或关机,有效降低手机信号对天文观测数据的影响。     

业余天文学在中国:现状与未来

公众科学(Citizen Science)指的是非职业科学家(如科学爱好者等)组织或参与的科学研究活动,业余天文学(Citizen Astronomy)是公众科学的一个经典分支。受益于科技水平的提升,当代天文爱好者有力地补充了职业天文学家无力或无暇顾及的领域,如时域天文学观测、大数据的人工分析、数据挖掘等。近年来,我国业余天文学发展迅速,我国爱好者在新天体的搜寻和发现上成绩显著,但与欧美国家的业余天文相比,我国爱好者的兴趣点比较单一,对长期监测、数据挖掘等项目的参与度低。调查发现,我国青少年在业余天文学家群体中占有很大的比重,"对天文感兴趣"、"学习天文知识"、"获得乐趣"和"认识朋友"是我国爱好者参与业余天文学研究的主要动机,这两点与欧美国家业余天文学家有着明显不同。随着我国一系列大科学设备的建成运行,公众科学和业余天文学的潜力需要得到重视。应对公众和爱好者进行积极引导,使他们在学习知识和获得乐趣的同时,能为科学研究作出更大贡献。     

天文观测数据开放共享政策与策略分析研究

当代天文学已经进入数据密集型和数据驱动的时代。随着我国天文学研究的不断发展,国内自产的天文观测数据呈现爆炸式增长的趋势。将天文观测数据资源集成并推动数据资源与应用服务的共建共享,建立健全符合科学发展规律的数据资源开放共享政策与制度,使天文科技资源得到高效有序的管理和使用,对国内天文学研究和科普教育的发展至关重要。在充分调研各国政府、部门和国际组织有关政策的基础上,剖析了国外科学数据"完全与公开"的共享原则,介绍了我国科学数据共享有关的管理规定和当前状况,重点论述国际各大天文望远镜项目和天文数据中心天文观测数据资源开放共享的有关政策。对国内天文观测数据资源和开放共享的现状以及存在的问题进行了分析和总结。对我国天文观测数据资源共享工作发展和政策制定提出了具体建议。     

基于图像的天体搜索研究与自动化集成软件开发

天体搜索是天文数据处理流程的一个重要环节,也是以平方公里阵列射电望远镜(Square Kilometre Array, SKA)为代表的下一代射电望远镜在面向海量数据处理中的挑战之一.现今天体自动搜索算法、软件已日趋成熟并投入应用,不过在自动化、兼容性等方面仍具有提升空间.以更自动化、更适应海量数据需求的天体搜索算法研究为宗旨,以现有算法为研究基础,天体自动搜索软件系统得到设计和开发.该系统包含友好的交互式用户操作界面,具备可视化输出数据显示、兼容不同数据输入和输出并包含为实际应用服务的文件管理功能.该系统对于大天区图以及图像集,均能够很好地进行自动化处理.测试结果显示,上述方法对于天体搜索的改进有一定成效.后续将在此基础上对该集成系统做进一步的改进开发,以适应更多的需求.     

中国古代天象记录数据库的设计与实现

中国古代天象记录是世界上独一无二的天文观测数据宝库,具有十分重要的科学价值。近年来,随着天文观测与理论的快速发展,对历史超新星、太阳活动周期等问题的研究有了许多新的进展。但古代天象记录的整理工作还停留在上世纪八十年代末的水平,在信息利用方面存在检索不便、文献不全、缺乏相应分析等问题,已难以满足天文研究工作的需求。基于面向文档数据库、全文检索、语法分析、Web等技术,设计开发了中国古代天象记录数据库,实现了对古代天象记录中各类科学和文史信息的数字化存储与检索。这一基础平台的建设和研发为中国古代天象记录更好地服务于全世界天文学家,促进对古代天象记录的校勘、证认、利用等多学科交叉研究打下了基础。     

应用于射电天文的高效实时管道数据流传输与处理技术

针对超宽带及多波束接收系统海量天文信号实时高效传输与处理问题,对基于现场可编程门阵列(Field Programmable Gate Array, FPGA)+图形处理器(Graphics Processing Unit, GPU)的主流终端设备软件系统进行了测试分析。超宽带接收设备要求终端系统软件能够在更宽带宽、更高时间分辨率和频率分辨率的条件下,实现数据流实时传输与处理。结合大口径射电观测设备未来发展的方向,提出了利用高速并行环形缓冲区实现数据流缓存,基于图形处理器集群实现数据流实时处理,基于BeeGFS实现分布式并行数据存储,模块化构建射电天文信号传输管道软件的设计思路。     

新疆天文台数据中心建设与应用

经过多年观测,新疆天文台积累了大量珍贵的观测数据。如何高效管理快速增长的海量观测数据,如何实现全波段观测数据的融合及未来更大口径望远镜产生的海量数据归档与发布是目前新疆天文台急需解决的问题。新疆天文台数据中心面向天文学科研需求提供天文科学数据服务和基础设施,由新疆天文台计算机技术室负责运行与维护。数据中心以最新的虚拟天文台相关标准为基础建设,基本服务包括:为天文观测项目提供数据保存、管理和发布服务;为有价值的天文科学数据及二次处理后的数据提供长期保存和访问服务;为用户提供科学数据归档与发布服务及相关技术支持。数据资源主要有:新疆天文台25 m射电望远镜的脉冲星观测数据;活动星系核观测数据以及分子谱线观测数据。提供的数据服务有:PPMXL星表锥形检索;海量星表数据在线交叉认证;统一内容描述符信息查询等服务。主要介绍新疆天文台数据中心建设及其提供的服务,如何使用已发布的服务在线检索数据及利用标准虚拟天文台工具实现数据操作。     

瞬变源快速自动响应观测系统的研究与实现

天文瞬变源后随观测对于瞬变源证认具有重要的意义。瞬变源发生的偶然性和光变的快速性要求后随观测系统具有快速自动响应的能力。介绍了基于Python开发的天文瞬变源快速自动响应观测系统的研究和实现,核心是基于Django架构实现数据库交互与模块调度功能。系统有基于VOEvent的警报消息传递、网络端状态监控与交互平台、数据自动处理和结果自动反馈以及望远镜控制接口等主要功能。通过在北京的中法天文卫星科学中心和兴隆观测基地之间的消息数据传递和实际触发观测测试表明,系统能满足中法天文卫星项目地基观测系统瞬变源后随自动响应观测的基本要求,同时系统还具有良好的可移植性,适用于其他类似的自动响应观测系统。