构建中国虚拟天文台的天文数据结点

随着天文观测数据的爆炸式增长以及数据网格技术等新兴IT技术的日趋成熟,虚拟天文台应运而生。虚拟天文台成为基于数据网格技术的解决复杂海量天文数据的访问和管理的一种有效手段。我们对现有中国虚拟天文台体系结构底层进行设计与实现,并完成了其核心部分一天文数据结点。天文数据结点可发布和管理异构的数据资源,为用户提供统一的数据访问接口,进而为天文学家实现对各种天文数据的无缝透明访问和处理提供了方便。本文重点介绍了我们设计的天文数据结点的体系结构,以及结点各部分的功能,并讨论了其关键技术的实现。     

Vondrak平滑因子最佳确定方法及在时间比对数据中的应用

考虑到原子钟比对数据和远程时间比对数据的噪声水平具有时变性,因此选用Vondrak平滑方法对这两种数据进行平滑,并用交叉证认法动态地选取平滑因子。利用模拟数据验证了交叉证认法的有效性,并利用实测的原子钟比对数据及远程时间比对数据对该方法进行分析验证,结果表明交叉证认法可以针对不同类型的数据,计算得到客观、最佳的平滑因子,有效地滤除原子钟比对数据和远程时间比对数据中的大部分噪声,对进一步提高时间保持精度有积极的意义。     

天文观测数据开放共享政策与策略分析研究

当代天文学已经进入数据密集型和数据驱动的时代。随着我国天文学研究的不断发展,国内自产的天文观测数据呈现爆炸式增长的趋势。将天文观测数据资源集成并推动数据资源与应用服务的共建共享,建立健全符合科学发展规律的数据资源开放共享政策与制度,使天文科技资源得到高效有序的管理和使用,对国内天文学研究和科普教育的发展至关重要。在充分调研各国政府、部门和国际组织有关政策的基础上,剖析了国外科学数据"完全与公开"的共享原则,介绍了我国科学数据共享有关的管理规定和当前状况,重点论述国际各大天文望远镜项目和天文数据中心天文观测数据资源开放共享的有关政策。对国内天文观测数据资源和开放共享的现状以及存在的问题进行了分析和总结。对我国天文观测数据资源共享工作发展和政策制定提出了具体建议。     

怀柔太阳观测基地数据流量统计系统设计与实现

基于数据流量的统计功能是评判数据产地应用服务的一项指标;统计不同类型观测数据的使用、共享情况,可为分析数据的使用需求提供参考。因此,设计观测数据流量统计系统具有较强的应用价值。基于中国科学院国家天文台怀柔太阳观测基地的数据服务,以LAMP为开发环境,设计了数据流量实时统计及定时入库、数据流量查询功能、流量可视化功能(包括直方图显示和饼状图显示)等功能模块,以流量统计层、数据层、业务层及用户层4个层次为结构框架,实现了统计及查询任意时段内多种仪器观测的多种数据传输至各用户单位的流量功能,系统具有统计精确、多个关键字进行完整查询、显示直观、扩展性强等优点,能够满足当前及未来应用需求,对其它数据产地的多类型数据的流量统计具有可用性。     

硬件相关处理机数据回放模块研究

硬件相关处理机系统需从数据记录缓存器读取台站数据,经数据预处理后进行下一步的相关处理。为了满足高速实时数据的传输及预处理要求,设计了VLBI数据回放模块,该模块通过千兆网络传输观测站数据,控制数据收发,并针对VLBI数据特点进行数据解码、数据校验、数据异常处理等。测试结果表明,该模块处理速率可达1 Gbit/s,在硬件相关处理机进行单台站数据速率64 Mbit/s的实时数据处理时能稳定正常工作。该模块己应用于嫦娥3号任务的硬件相关处理系统中。     

基于时间频率数据平台的数据分析研究

时间频率数据是国家重要的信息资源,时间频率数据平台设计依托国家授时中心运行产生的时频数据、国际权度局(Bureau International des Poids et Mesures, BIPM)和国际地球自转服务机构(International Earth Rotation and Reference Systems Service, IERS)公布的时间频率相关数据等实现,该数据平台可以为守时技术研究提供丰富的数据资源支撑。首先介绍时间频率数据平台的建设情况,随后利用数据平台汇交的本地守时系统比对和远距离链路比对数据开展守时技术研究,包括原子钟状态评估,主要分析原子钟异常跳变情况,研究跳变数据处理方法,针对不同类型守时钟,分析对比波动情况、稳定度等原子钟性能指标,此外基于ARIMA模型开展钟差预报研究。以上研究结果可为守时系统连续可靠运行提供重要参考。     

利用统计方法判断中天观测数据的参考星表

中天观测数据在建立太阳系高精度行星历表时具有重要作用.在处理由JPL(Jet Propulsion Laboratory)以及IMCCE(Institut De Mecanique Celeste Et De Calcul Des Ephemerides)提供的中天数据时发现,有若干组数据的参考星表没有被明确指出。对于这些信息不完整的数据,无从改正数据由参考星表而引起的系统差。课题研究的主要目的是利用DE421历表确定存在缺陷的这类观测数据的参考星表。通过DE421给出行星在GCRS(Geocentric Celestial Reference System)中的相应位置,并把此位置转换到参考假定的参考星表时行星的理论视位置。通过引入的两个统计量分析原始数据与理论位置的差异显著性,检验假定的数据参考星表是否恰当.结果显示,此方法能够有效区分数据的参考星表,能够确定信息不完整的数据组缺少的参考星表。最后,所有中天数据被转换到GCRS坐标系,以便在历表研制中使用。     

天文大数据管理工具的设计与实现

随着大型地面和空间观测设备的建设以及大型巡天项目的开展,天文数据以TB字节、PB字节,甚至EB字节计量,天文学进入了"大数据"时代。面对数据海洋,如何有效地存储和管理这些大数据是摆在天文学家面前的核心问题。数据存储和管理不仅仅是天文数据中心的任务,天文学家也需要有效地管理自己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提,而高效的数据索引则是管理数据的核心要素,为此设计开发了天文大数据管理工具Auto DB,使用虚拟终端监视实现海量数据的自动入库,对数据自动创建全新的天空分区索引Q3C(Quad Tree Cube),对天文数据进行二维空间索引以便于高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究中的数据融合、数据分析、数据挖掘提供了根本的保障,尤其对从事大数据的天文学家,拥有自动化的数据库管理工具,可以集中精力致力于科学研究。     

绕月探测工程卫星数据的存储与管理

从数据的类型和产品格式说明开始,对绕月探测工程中的科学探测数据的管理方法进行了研究.通过数据存储架构和软件结构的分析,指出数据存储的软硬件环境;通过数据存储和备份策略的分析,指出数据存储的可靠性.这些存储与管理方法将为更好地管理数据并向外界提供检索和获取服务提供保障.     

一种新的多变量时间序列数据异常检测方法

介绍了一种通过建立多变量时间序列数据相似度矩阵,对相似度矩阵进行转换以最大化数据之间的相关性,并采用随机游走模型计算数据点之间的连接系数来检测数据点上异常的方法。该方法充分利用了数据之间的相关性,有效减少了数据中不同程度噪声对异常检测的影响,检测过程中的漏报率和误报率明显减少,通过仿真实验验证了该方法的有效性。     

云南天文台手绘太阳黑子数据系统

中国科学院云南天文台多年来积累了近16 000张手绘太阳黑子观测数据,建立完善的查询与统计系统对这些海量数据进行科学的管理与统计分析成为必要。数字化数据包括太阳黑子记录近9万个,有效记录数据100万余个。系统提供了一个数据管理、数据检索、数据统计分析的平台。借助数据管理系统,可对太阳黑子相关参数进行长周期的统计。     

H-alpha太阳全日面像数据管理系统的建立

云南天文台的H-alpha太阳色球望远镜每天的数据量约有2G bytes，大量数据带来了使用上的不便。因此，实现数据的查询和共享成为了一个相当重要的问题。为此，试图通过建立H-alpha数据的管理系统，实现对工作流程的改进，完成对数据的检索、在线浏览和远程下载。在WindwsXP操作系统和MysQL数据库管理系统的平台上，利用JAVA语言和JSP技术开发了一个基于浏览器／服务器模式的原型系统，可以完成对数据的压缩存储，实现数据的检索、实时浏览、删除(需要相应权限)和下载等功能。     

基于网络的GNSS共视时间比对数据传输系统的设计与实现

为了实现远程时间同步中的共视数据自动、连续传输,提出了基于TCP/IP协议来实现C/S模式的数据传输方案。阐述了数据发送端与接收端的传输原理和实现方案。发送端通过串口采集数据并通过网络将其传输到接收端,接收端接收发送端的数据并对其检验并保存。设计了发送端与接收端自动重连接功能,实现了数据传输的连续性。测试表明:采用基于TCP/IP协议和C/S模式的数据传输系统能够实现共视数据自动、连续、可靠的传输。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

新疆天文台数据中心建设与应用

经过多年观测,新疆天文台积累了大量珍贵的观测数据。如何高效管理快速增长的海量观测数据,如何实现全波段观测数据的融合及未来更大口径望远镜产生的海量数据归档与发布是目前新疆天文台急需解决的问题。新疆天文台数据中心面向天文学科研需求提供天文科学数据服务和基础设施,由新疆天文台计算机技术室负责运行与维护。数据中心以最新的虚拟天文台相关标准为基础建设,基本服务包括:为天文观测项目提供数据保存、管理和发布服务;为有价值的天文科学数据及二次处理后的数据提供长期保存和访问服务;为用户提供科学数据归档与发布服务及相关技术支持。数据资源主要有:新疆天文台25 m射电望远镜的脉冲星观测数据;活动星系核观测数据以及分子谱线观测数据。提供的数据服务有:PPMXL星表锥形检索;海量星表数据在线交叉认证;统一内容描述符信息查询等服务。主要介绍新疆天文台数据中心建设及其提供的服务,如何使用已发布的服务在线检索数据及利用标准虚拟天文台工具实现数据操作。     

天文星表入库的自动化

天文数据主要包括星表、星图、光谱、文献资料等,其中星表是包含天体信息的数据表格,是天文学家最常用到的天文数据。目前天文数据分布存储在全球各个数据中心。中国最大的天文数据中心是北京天文数据中心,其数据库的重要部分是天文星表数据库。本文阐述了建设天文星表数据库的意义,着重探讨了星表自动入库工具的实现,并介绍了在天文星表数据库基础上的数据融合和数据挖掘。     

一种天文卫星数据预处理方法

天文卫星获取的数据需要经过一系列操作生成可以发布给科学用户的数据产品,数据预处理是其中比较重要的环节,它是数据发布的基础。以硬X射线调制望远镜卫星的中能X射线望远镜及天宫二号上伽玛暴偏振探测仪为例,详细介绍了数据的预处理步骤和方法。提出了一套数据预处理的步骤,并给出数据解析的策略和时间计算方法等,这对中国天文卫星数据处理系统的研制具有参考意义。     

遥望星空

2010年冬,我有幸加入了一个“大家庭”——国际小行星搜寻活动,成为了小行星搜寻活动的一名实习研究生,协助国家天文台郭老师做好此次活动的各项工作。作为一名小行星搜寻活动的辅导员,我主要是协助如下工作：接收从国际主办方传来的数据,第一时间存放和分配数据;翻译数据说明,与数据一起传送到国内服务器上：将每组数据的链接编写好,     

基于SQL/NoSQL的空间目标光学特性数据混合存储策略

为解决海量空间目标光学特性数据入库与检索效率低、非结构化数据存储与管理困难、数据服务扩展性差和无法满足多用户获取实时请求数据的问题,提出一种空间目标光学特性数据混合存储策略.首先,利用光学特性数据中光源与探测角度的规律性,对数据进行处理并构建检索策略;其次,结合空间目标光学特性数据应用领域在数据存储、处理和访问方面的需求特点,构建空间目标光学特性数据混合存储策略,并设计了数据检索体系结构;最后,选取空间目标模拟光学特性数据入库和检索两个场景进行验证.实验结果表明,存储数值数据情况下,混合存储策略数据入库效率较传统关系型数据库提高超过17倍;存储数值数据和图像文件情况下,提高超过34倍;在多用户请求下混合存储策略数据检索效率较传统存储策略有较大提升.提出的混合存储策略能够有效地满足空间目标光学特性相关的仿真、测试与实验对数据的实时请求需求.     

星载测高仪交叉点数据定轨研究

从海洋测高卫星的发展状况入手,介绍了用测高仪数据进行定轨的意义.然后,分析了测高仪数据的误差修正模型及交叉点数据计算方法,详细介绍了JASON-1测高数据文件中所涉及的误差修正量和采用的模型.最后,通过仿真数据和实测数据的计算,分析了单用测高仪数据和交叉点数据进行轨道确定所能达到的精度,为未来的实际应用提供了有价值的参考.