基于MPI-CUDA的K-T算法太阳高分辨图像重建

大气湍流导致地基望远镜成像模糊,高分辨图像重建是解决这一问题的有效方法,K-T高分辨图像重建方法是其中常用的一种,但存在数据大、计算复杂等因素的制约,导致重建非常耗时。针对当前中央处理器与图形处理器混合架构下的高分辨图像重建开展研究,采用MPI-CUDA混合并行技术,最终实现了一套在单机图形处理器环境下基于斑点图像重建技术的高分辨太阳图像重建系统。通过实验验证,与单一的信息传递接口并行相比,图像子块的处理速度有了显著提升,在8个子进程下整个流程的加速比达到了2。实验结果表明,MPI-CUDA混合并行的有效性,能够为天文研究中的大规模计算任务提供借鉴和参考。     

用MapReduce框架构建虚拟天文台数据节点

MapReduce是一种大规模分布式并行处理框架,最初被用于互联网服务中的海量数据处理,并逐渐扩展到各个行业领域。目前,虚拟天文台面临着越来越多的地面及空间望远镜观测到的海量天文数据。为了提高中国虚拟天文台数据节点处理海量天文数据的能力,首次提出基于MapReduce框架构建中国虚拟天文台数据节点的方法,并以批量星表交叉认证为例描述了具体实现过程,性能评估结果证明基于MapReduce框架构建虚拟天文台数据节点,可以在性能、扩展性与成本等多方面获得收益。     

基于Docker的射电干涉阵软件系统敏捷封装与部署

随着天文技术的发展,天文数据处理软件的需求也不断更迭变化,导致软件运行环境渐趋复杂。对于开发者和使用者,急需提出一种对复杂天文数据处理软件敏捷化封装和部署的方法。我国明安图射电频谱日像仪已进入常规观测,与之配套的数据处理软件也已完成开发并投入使用。由于该软件的部署涉及操作系统环境、图形处理器运行环境及底层依赖软件等配置问题,导致安装过程既繁琐又容易出错。结合容器技术的特点,提出了一种基于Docker容器对日像仪软件系统进行敏捷封装与部署的方法,并对该方法的设计进行介绍,通过实验验证了其可用性,以及相比于传统虚拟机可获得较优异的性能表现。该方法可为未来天文数据处理软件的封装部署提供参考。可以预见,未来容器技术将成为天文海量数据处理的基础支撑技术。     

基于多进程并行加速的太阳高分辨图像重建方法

目前,太阳高分辨图像重建往往采用斑点干涉术和斑点掩模法重建目标的模和相位,由于分组分块数据量大,算法复杂等因素,难以满足实时重建的需求。为了缓解数据处理的压力,在现有的单组分块数据中央处理器/图形处理器混合计算方法的基础上,提出通过多进程将多组分块数据分配到图形处理器上同时并行处理的方法。实验结果表明,基于多进程并行加速方法可提高中央处理器和图形处理器的资源利用率,图形处理器能同时处理多组分块数据,显著提高图像分块处理的速度,加速比达到4.7左右。相关研究可以为天文数据并行化处理提供借鉴参考。     

天文数据检索与发布综述

海量观测数据及次生数据的高效存储与检索,天文大数据的快速及时处理,加速天文学研究的科学产出等问题,已成为天文观测和天文研究迫切需要解决的难题。以信息技术为支撑的天文大数据的高效分析和处理,帮助天文学家重新审视和了解宇宙。虚拟天文台的出现为全球范围内研究资源的无缝透明连接提供了协议、标准,以协议为基础规范了天文数据的发布与检索方式。以国内外现有的观测设备为基础,综述目前主流天文机构的数据发布与检索相关情况。     

分块DPCM与5/3整数小波变换结合的天文图像无损压缩

针对海量的天文图像数据与有限的存储空间和带宽资源之间矛盾日益突出这一问题,提出一种无损压缩方法,首先将超大天文图像分块,再使用差分脉冲编码调制和5/3整数小波变换,最后使用霍夫曼算法编码。对该方法的原理和具体实现做了详细的分析与介绍,通过实验验证该方法比天文中常用的tar、PKZip、WinZip、WinRar软件在压缩比上分别提高了30%、29%、26%、2%,压缩速度远大于WinZip和WinRar;且该算法实现简单,适合硬件实现和利于并行处理。     

天文大数据管理工具的设计与实现

随着大型地面和空间观测设备的建设以及大型巡天项目的开展,天文数据以TB字节、PB字节,甚至EB字节计量,天文学进入了"大数据"时代。面对数据海洋,如何有效地存储和管理这些大数据是摆在天文学家面前的核心问题。数据存储和管理不仅仅是天文数据中心的任务,天文学家也需要有效地管理自己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提,而高效的数据索引则是管理数据的核心要素,为此设计开发了天文大数据管理工具Auto DB,使用虚拟终端监视实现海量数据的自动入库,对数据自动创建全新的天空分区索引Q3C(Quad Tree Cube),对天文数据进行二维空间索引以便于高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究中的数据融合、数据分析、数据挖掘提供了根本的保障,尤其对从事大数据的天文学家,拥有自动化的数据库管理工具,可以集中精力致力于科学研究。     

基于容器技术的天文应用软件自动部署方法

平方千米阵列即将开始建设,各子工作包也进入关键设计评估阶段。基于云与容器技术是平方千米阵列科学数据处理器未来可能采用的平台技术。针对超大规模海量数据处理面临的天文应用软件快速部署、运行与实测要求,充分考虑天文应用软件运行环境复杂、云计算环境下超大规模计算集群部署困难等问题,系统研究并给出了一种使用容器技术的天文应用软件通用自动部署方法。以目前较为常用的可见度函数校准软件SAGECaL为例,首先分析了SAGECaL的相关特性和分布式部署方面存在的困难,进而给出了基于容器技术的SAGECaL分布式集群的自动部署方法。实验结果表明,自动部署方法极大地提高了SAGECaL分布式集群的部署效率,满足项目组承担平方千米阵列科学数据处理器相关测试工作所需要的基础平台部署与切换等需求,同时也为其它天文软件在云端的快速部署与执行提供了有益的思路。     

基于Paxos的强一致性复制在天文数据存储中的应用研究

随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。     

构建中国虚拟天文台的天文数据结点

随着天文观测数据的爆炸式增长以及数据网格技术等新兴IT技术的日趋成熟,虚拟天文台应运而生。虚拟天文台成为基于数据网格技术的解决复杂海量天文数据的访问和管理的一种有效手段。我们对现有中国虚拟天文台体系结构底层进行设计与实现,并完成了其核心部分一天文数据结点。天文数据结点可发布和管理异构的数据资源,为用户提供统一的数据访问接口,进而为天文学家实现对各种天文数据的无缝透明访问和处理提供了方便。本文重点介绍了我们设计的天文数据结点的体系结构,以及结点各部分的功能,并讨论了其关键技术的实现。     

新疆天文台在线交叉证认服务

新疆天文台数据中心的海量数据星表在线交叉证认服务可实现远程URL、本地上传带有UCD信息的VOTable格式文件两种星表数据输入方式,可实现对数据中心已发布的天文数据进行交叉证认。证认得到的结果可以通过SAMP协议发送到标准虚拟天文台工具中进行数据可视化等相关处理,并支持HTML、CSV、FITS Table、JSON等多种数据输出方式。通过并行计算技术与伪球面天区划分技术大大提高了海量星表数据的交叉证认速度。     

虚拟天文台数据访问系统(VO-DAS)任务调度设计与实现

为解决异地、异构、海量天文数据无缝透明地统一访问,中国虚拟天文台(China-VO)研究小组自主设计并开发了一套解决方案——虚拟天文台数据访问系统(VO-DAS)。着重从执行流程、设计模式、Session机制、生命周期、资源销毁、异常处理等模块详细阐述了该系统的任务调度设计。为了验证该系统的可行性和性能,最后描述了多个天文科学范例。     

虚拟天文台数据访问系统（VO—DAS）任务调度设计与实现

为解决异地、异构、海量天文数据无缝透明地统一访问,中国虚拟天文台（China-VO）研究小组自主设计并开发了一套解决方案——虚拟天文台数据访问系统（VO—DAS）。着重从执行流程、设计模式、Session机制、生命周期、资源销毁、异常处理等模块详细阐述了该系统的任务调度设计。为了验证该系统的可行性和性能,最后描述了多个天文科学范例。     

中国虚拟天文台数据访问服务

随着科学技术的进步和大批天文观测项目的实施，天文数据正在呈现爆炸式的增长，天文学正进入一个数据富庶的时代。虚拟天文台项目的首要目标就是要解决这些高度分散、复杂、海量的天文数据的统一访问和管理，实现全球天文数据资源的融合，使天文学家能够高效快捷的获取所需的天文数据。中国虚拟天文台项目基于目前的网格技术，设计和实现网格环境下天文数据的查询访问服务，并为客户应用提供统一的访问接口。本文重点介绍了我们采用GlobusToolkit网格开发工具包，按照国际虚拟天文台联盟最新制订的天文数据标准，完成对天文星表数据资源的网格服务封装，实现天文星表锥形查询(Cone Search)和星表查询网格两个数据服务的工作，并介绍了如何使用天文数据服务搭建其他网格服务。     

ONSET数据流水线

随着天文大科学设备的投入使用,传统的开发模式面临程序重复开发,环境依赖冲突等问题。另外,集群是一个高度耦合的计算资源,严重的环境冲突可能导致整个集群不可用。为了解决这个问题,采用微服务的概念开发新的流水线框架,这种框架可以实现短期内开发和部署新的流水线。介绍了通过这种框架开发的ONSET数据流水线,为了实现准实时数据处理,采用MPI和GPU技术对核心程序做了优化,并对最后的性能做了评估。结果表明,这种开发模式可以在短期内搭建满足需求的流水线,这种开发模式对未来多波段多终端的天文数据处理有借鉴意义。     

相干消色散脉冲星观测系统的研究

云南天文台射电天文研究团组利用从美国伯克利大学CASPER天文信号与电子学研究中心购买的现场可编程门阵列(Field-Programmable Gate Array,FPGA)接收机平台ROACH2,实现了512 MHz输入带宽,512 MHz带宽分为128通道输出(每个通道4 M带宽),8比特采样和双极化输入(1 024 MHz)的基带数据采集终端。海量数据传输方式通过SFP+万兆网口实现,利用编写的脚本文件调用DSPSR程序包实现数据的解码、相干消色散、偏振计算和折叠等处理。数据处理结果以PSRFITS格式存储。构建以ROACH2为基带数据采集终端和DSPSR为数据处理核心的脉冲星观测系统,相比于以VLBI观测终端为基础构建的观测系统,在观测模式、数据处理方法、运算效率和观测数据的通用性等方面具有更好的优越性。     

CLEAN算法在天文图像空域重建中的应用

将CLEAN算法用于天文图像空域重建方法 :迭代位移叠加法中的消卷积过程 ,由于它同样是在空间域中进行的迭代减法过程 ,避免了必须把图像变换到傅里叶空间频率域中 ,然后用除法消卷积的传统做法 ,因而满足了仅在空间域中重建目标像的需要 ,使迭代位移叠加法更加简捷。用该方法对天文目标进行的观测实验得到了很好的像复原结果。     

基于方形网格结构的太阳活动目标检测方法

天文图像背景复杂且包含噪声,从图像中自动识别和分割出有效的天文现象是一个热点和难点。提出了一种基于方形网格结构的太阳图像的目标检测方法。此方法将太阳图像划分成等大小的方形网格结构,基于多阈值选取策略和基于方形网格结构的太阳活动目标检测方法分离目标区域和背景区域。实验结果表明,该方法在切割准确度及时间开销方面取得满意的效果,对图像噪声具有良好的抗干扰性。基于方形网格结构的太阳活动目标检测方法为多种类型的太阳活动的研究提供一种通用的图像分割方法,也为解决海量天文数据存储的问题提供了一种可行的方案。     

非等晕效应对NVST高分辨重建结果的影响

根据抚仙湖1 m新真空太阳望远镜高分辨率重建算法,从理论上分析了非等晕效应对斑点干涉术和斑点掩模法的影响。使用实测光球数据以不同子块大小分别进行高分辨数据重建,通过对不同子块大小情况下重建图像的功率谱、相位的比较,对非等晕效应的影响进行分析。结果表明,当重建区域大小超过等晕区时,非等晕效应会限制斑点干涉术和斑点掩模法的有效性,由于算法失效会导致模和相位重建的准确度降低。最后结合图像处理程序的具体情况,对算法的进一步优化提供了建议。     

FITS数据文件的检索和访问

普适图像传输系统(Flexible Image Transport System,FITS)是天文学领域应用最广泛的数据格式.自从20世纪80年代FITS格式被国际天文联合会(IAU)正式公布为国际标准以来,大部分的天文数据都是以FITS文件的形式在世界各地的数据中心和天文学家手中保存和交换.采用文件系统方式保存管理的FITS数据文件,很难适应程序化的检索和定位需求.随着FITS文件数量的不断增加以及虚拟天文台技术的发展,为这些以文件形式保存的天文数据提供检索功能的需求越来越迫切.FITS头以关键词值对的形式确切定义了所属FITS文件的结构,还提供了数据本身诸多特性的重要信息.FITS头中保存的这些信息可以满足大部分FITS数据文件查询检索的需求.将FITS头中的信息利用数据库来保存和管理,可以极大的方便对FITS文件的检索和定位.FITS头归档入库系统(FitHAS)是中国虚拟天文台项目开发的一个简单实用的FITS头信息归档入库工具,能够方便的将单个或者多个FITS文件的主FITS头信息导入到数据库中,为FITS数据文件的查询检索奠定基础,进而为虚拟天文台等更高层次的数据访问服务部署创造条件.本文介绍FITS数据格式,FITS头的基本结构;探讨虚拟天文台环境下FITS数据文件检索定位的实现方式;阐述FitHAS的功能特点、设计开发和使用方法.