国家重点研发计划“SKA前期数据处理系统建设和相关科学预研”简介

在继承平方公里阵列(Square Kilometre Array,SKA)望远镜的中国低频探路者——"宇宙第一缕曙光"探测项目21CMA在十年间所积累的经验和广泛国际合作的基础上,计划小规模改造现有设备,迅速掌握数字多波束合成、高动态大视场成像、前景去除等SKA低频成像的关键核心技术。同时,与SKA低频阵(SKA-low)先导设备MWA(Murchison Widefield Array)开展深层次合作,预选未来用于SKA1-low宇宙再电离深度成像的观测候选区域,为最终利用SKA第一阶段(SKA1)低频阵列,对选定观测候选区域进行深度定点观测做好充分准备,最终实现SKA1既定的首要科学目标。该项目还将建设中国SKA区域中心数据处理原型样机,并以21CMA和MWA实测数据为基础,完成低频射电干涉成像的数据处理流程,为建设中国SKA区域数据中心打下基础。     

低频射电望远镜阵列宽视场成像技术研究

低频射电望远镜阵列宽视场成像正面临着一系列难点问题,其中最关键的问题是非共面基线效应.它的存在使得忽略w项将导致最终图像出现畸变,且随着视场的增大而加重.综述并剖析了几种w项改正算法及其技术原理,并分析了它们的计算成本和计算复杂度,进而分析比较了它们的优缺点.以平方公里阵(Square Kilometre Array,SKA)射电望远镜第1阶段低频阵列为研究对象,选取faceting和w-projection成像算法进行了仿真实验.与传统的二维傅立叶变换成像算法进行对比,分析了它们的成像质量和正确性,结果表明这两种算法在宽视场成像方面均明显优于二维傅立叶变换方法.还具体分析了分面(facet)的数目对faceting成像质量和运行时间的影响,以及w步数对w-projection成像质量和运行时间的影响,表明facet数目和w步数的选择必须合理.最后,分析了数据量大小对这两种成像算法运行时间的影响,表明这两种算法在进行海量数据处理前,需要作算法优化改进.研究结果为后续进一步综合分析宽视场成像技术以及这些技术的实用性研究提供了有价值的参考.     

基于Python的SKA-RASCIL中的天线增益校准实现

天线增益校准是射电天文观测数据处理过程中的一个关键步骤。分析了经典的天线增益校准算法Antsol的基本原理,并基于Python对Antsol算法进行了高性能实现,所完成的程序代码已经集成到平方公里阵列(Square Kilometre Array,SKA)的射电天文模拟校准成像软件(Radio Astronomy Simulation,Calibration and Imaging Library,RASCIL)中,不仅为当前平方公里阵列数据处理提供了支撑,也为未来数据处理的性能优化提供算法参考。     

面向宇宙再电离探测的基本数据处理方法

宇宙再电离时期(epoch of reionization, Eo R)的探测是SKA的重要科学目标之一,也是目前许多SKA探路者阵列的首要科学目标。由于宇宙再电离信号非常微弱,因此在数据处理的过程中存在许多难点,如高精度校准、大视场高动态成像等。对默奇森宽场阵列(Murchison Widefield Array, MWA)、低频阵列(Low Frequency Array, LOFAR)、21CMA阵列(21 Centimeter Array, 21CMA)等SKA低频先导干涉阵列的基本数据处理方法进行了综述,如干扰的识别与去除、数据校准、可视度研究以及成像研究等,并对数据处理时用到的一些常用技术与软件作了相应的介绍与总结。     

基于分布式执行框架的低频射电干涉阵列成像管线优化

平方公里阵列(Square Kilometre Array,SKA)项目是建设全球最大射电望远镜的国际合作项目,其灵敏度和测量速度将比当前所有的射电望远镜都要高出一个数量级.连续谱巡天是SKA的主要观测模式之一,基于连续谱成像建立巡天区域的标准星图,将能为后续天文科学研究奠定重要基础.银河系与河外星系全天默奇森宽场阵列拓展巡天(GaLactic and Extragalactic All-sky Murchison Widefield Array survey eXtended,GLEAM-X)是2018—2020年利用SKA先导望远镜默奇森宽场阵列(Murchison Wide-field Array,MWA)二期拓展阵列开展的新的射电连续谱巡天项目,观测期间积累了大量的低频巡天观测数据.海量观测数据的自动化、大批量处理是SKA望远镜项目所面临的的最大挑战和难题之一,基于分布式执行框架的成像管线优化经验将有助于解决海量数据处理问题.详细介绍了GLEAM-X成像管线并对其进行整合和改进,在中国SKA区域中心原型机(China SKA Regional Centre Prototype,...     

一种基于MPI+CUDA的高性能天文数据分发方法

天文海量数据的出现给天文软件的开发带来了诸多挑战。近年来,随着并行计算技术的发展,MPI+GPU逐渐成为当前高性能天文数据处理的主要模式。针对太阳高分辨图像重建中如何提高重建性能这一问题,对其中的数据读取与数据分发方法进行了系统研究。传统的MPI并行处理时,主进程将原图切割成子块,随后将子块发送到各子进程重建,重建后的结果返回主进程。当子进程数量较大且计算节点数量较少时,这种数据分发过程显著增加通讯时长,影响整个重建过程的效率。提出MPI+CUDA的一种树状数据分发方法,给出了算法的基本思路与实现方法。实验结果表明,树状分发方式比一般采用的平行分发方式可以提高速度近一倍,成果对天文海量数据开发处理有一定的借鉴作用。     

基于NGAS的多点观测数据存储与同步方法

平方千米阵列(Square Kilometre Array, SKA)望远镜建成后将具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。SKA天文台与各国区域数据中心间的海量数据同步传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明,新方法在平均数据归档存储效率方面比原有方法快了近40倍,能够基本满足10 GB带宽的全速传输需要,取得了较好的使用效果。     

基于OpenCL的MUSER CLEAN算法研究与实现

天文软件开发中迫切需要在单机环境下进行高性能数据处理工作,但由于机器配置不同,采用传统的多线程、CUDA(Compute Unified Device Architecture)+GPU(Graphic Processing Unit)等方式都存在明显的局限,不利于天文软件的快速移植和无缝运行.对明安图频谱射电日像仪(MingantU SpEctral Radioheliograph,MUSER)数据处理系统开发中所采用的OpenCL(Open Computing Language)技术进行介绍,并基于OpenCL实现Hgbom CLEAN算法.整体工作通过Python语言和PyOpenCL扩展包实现并行洁化处理.实验结果表明:基于OpenCL实现的CLEAN算法与基于CUDA实现的CLEAN算法具有大致相当的运行效率,同时也可以无需修改代码直接实现纯CPU(Central Processing Unit)环境下的高性能数据处理,解决了对CUDA+GPU环境依赖的问题,在保证MUSER数据处理系统洁化过程性能的基础上,提高了系统对硬件平台的适用性.该工作验证了OpenCL在科学数据处理中的可用性,可以预见:由于OpenCL所具有的异构环境下高性能计算特性,OpenCL将是未来天文高性能软件开发的首选技术.     

基于OpenCL的射电干涉阵成像网格化算法实现

天文软件开发与应用中迫切需要在单机环境下进行高性能的科学数据处理,由于机器配置不同,采用传统的CUDA+GPU技术存在明显的局限,不利于天文软件的快速移植和无缝运行。针对明安图射电频谱日像仪数据处理中的网格化(Gridding)算法,采用并行计算OpenCL技术进行多线程编程实现。实验结果表明,基于OpenCL实现的网格化算法不仅能够在图形处理器上运行,而且能够在纯中央处理器上运行。当选择在图形处理器上执行时,算法的执行效率与基于CUDA实现的网格化算法执行效率大致相当,但算法不局限于NVIDIA GPU,解决了算法对CUDA+GPU的依赖;同时算法也能在纯中央处理器上较快速地执行,适用于单机模式下进行天文软件的开发和测试,也便于天文软件的应用与推广。     

基于Spark的SKA1-MID自校准管线分布计算实现

平方千米阵列(Square Kilometre Array, SKA)科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark是一个非常成熟的商业框架,在互联网中被广泛应用,根据平方千米阵列项目进展的要求,重点研究了如何将算法参考库(Algorithm Reference Library, ARL)中的部分管线移植到Spark上执行。对部分实现过程进行了分析讨论,给出了相应的任务流程。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分分布式数据的要求,但迫切需要解决自身存在的一系列问题。     

一种基于二维算法的新颖的多目标光纤光谱数据处理流程

郭守敬望远镜(Large Sky Area Multi-Object Fiber Spectroscopic Telescope,LAMOST)、斯隆数字巡天(Sloan Digital Sky Survey,SDSS)、英澳望远镜(AngloAustralia Telescope,AAT)等大多数多目标光纤光谱望远镜现用的数据处理流程都是基于一维算法的.以LAMOST为例提出多目标光纤光谱数据处理流程方法.在LAMOST现用数据处理流程中,在预处理过程之后,通过基于一维模型的抽谱算法从二维观测目标光谱数据中得到一维抽谱结果作为中间数据.后续的处理步骤都基于一维模型的算法.然而,这种数据处理流程不符合观测光谱的形成机理.因此,在每个步骤中都引入了不可忽略的误差.为了解决这一问题,提出了一种还未被用于LAMOST及其他望远镜数据处理系统的新颖的数据处理流程.重新设计安排了各个数据处理模块的顺序,各关键步骤算法都是基于二维模型的.核心算法将详细论述.此外,列出了部分实验结果来证明二维算法的有效性和优越性.     

宽视场成像网格化算法中w-plane最优经验值研究

射电干涉阵列宽视场成像网格化处理过程中必须考虑w项的影响。w-projection和w-stacking是两种重要的宽视场成像网格化处理算法,w-plane参数是算法中影响计算速度和成图质量的一个重要因素。研究了w-projection和w-stacking两种网格化算法,利用SKA-1低频阵台站数据和ASKAP软件包进行模拟观测,对两种算法在不同w-plane参数取值情况下的成图速度和成图质量进行了定量分析对比。结果进一步表明,w-plane是性能改善的重要参数。针对w-projection算法,w-plane取值应比一般给定的经验值大才能得到较好的成像效果。w-stacking算法虽然有很大的速度优势,但算法实现中w-plane的影响更为显著,给出了推荐的w-plane取值。本文的工作是大视场成像算法的基础性研究工作,对未来平方千米阵列科学数据处理中的管线设计有较好的参考价值。     

基于Dask并行加速的射电干涉成像网格化方法实现

快速傅里叶变换(Fast Fourier Transform,FFT)比傅里叶变换有更好的算法性能,是射电干涉成像的基础算法,但因为天线阵列的不规则采样,需使用网格化算法将可见度数据重采样到规则的网格上才能应用。基于卷积的网格化计算具有密集型和迭代型的特点,特别是处理海量可见度数据的情况下,高性能的网格化计算对整个成像过程加速尤为重要。为了缓解数据处理的压力,在现有处理整块数据和支持多核计算的算法基础上,拓展应用Dask并行计算框架,不仅将数据分块并分配到多线程上,提高数值计算效率,而且动态的分布式任务调度策略优化了网格化的实时处理。实验结果表明,多核中央处理器利用率显著提高,即使增加数据量,也能进一步提高网格化算法的性能。分布式任务调度能够将单(多)测量集的网格化弹性缩放到单(多)机系统,充分发挥集群的规模化优势。     

一种固定选图数的实时幸运成像算法

幸运成像技术是一种从大量短曝光图像中选取少量幸运好图进行配准、叠加的高分辨率图像恢复技术,能够有效减小大气湍流对图像质量的影响,但传统的基于中央处理器(Central Processing Unit,CPU)的幸运成像算法难以实现实时化。利用现场可编程门阵列(Field Programmable Gate Array,FPGA)的并行性和灵活性优势,提出了一种新的基于现场可编程门阵列的幸运成像算法,并构建了一个现场可编程门阵列实验系统。该算法采用一种固定选图数且无需排序的图像选择策略和一种以行列坐标为基准的图像配准策略,能够有效节省算法处理时间和硬件资源,达到实时幸运成像的目的。实时幸运成像算法能够以简洁的方式在中小规模的现场可编程门阵列上实现,所得高分辨率图像与基于传统中央处理器算法处理的结果完全相同。实验表明,对于2000帧128×128像素的输入图像进行幸运成像,本算法的运行速度比本实验室之前提出的算法快27倍,比传统的基于CPU+MATLAB幸运成像算法速度快150多倍,处理帧率可达197帧/秒。该算法及其现场可编程门阵列实现技术可以用于构建真正实时的幸运成像系统。     

基于大视场反卷积的天文图像叠加方法

地基望远镜在成像过程中,由于受大气湍流、望远镜静态像差、跟踪误差、指向误差及视场变化的影响,不同视场区域的PSF (Point Spread Function)具有差异;同时,不同望远镜获取的图像PSF也存在差异.将多个望远镜获取的星象直接叠加至相同的区域后,图像质量受像质最差的望远镜限制,最终观测分辨率和灵敏度均会受到影响.通过图像复原,可以提高图像质量,进而提高叠加效果.根据该思路提出了1种基于PSF分区的迭代图像复原方法:该方法首先通过SOM (Self-organizing Maps)对PSF进行聚类分析,利用同类别PSF的平均PSF进行反卷积,再将反卷积结果按PSF聚类结果分割为不同大小的子图,最后将子图进行拼接.图像复原在提高图像质量的同时,降低了PSF不一致性对图像叠加带来的影响.将几个望远镜在同一时刻获取的图像经反卷积处理之后利用图像配准算法进行矫正并叠加,可获得高信噪比图像.对实际望远镜获取的数据处理后的结果表明:图像在进行复原和叠加过程中,星象目标信噪比不断提升,提高了成像系统对暗星的探测能力.     

MUSER可见度数据积分方法与实现

射电观测是研究太阳活动的重要探测手段。我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)主要用于研究太阳爆发活动初始能量释放区的物理过程,其观测将在太阳射电成像开辟一个新的窗口。成像处理是数据处理的重要组成部分,如何提高成像质量是当前数据处理的研究重点。首先介绍了射电干涉成像的基本理论,随后分析了对观测得到的可见度数据积分的必要性,细致讨论了短时段可见度数据叠加求平均和长时段UV覆盖叠加两种积分方法,并给出了完整的实现。通过实现代码与实验验证,两种积分均可以有效提高信噪比,图像质量明显提高。     

基于FPGA的频域幸运成像算法

幸运成像技术是一种事后图像恢复技术,能够有效减小大气湍流对图像质量的影响.传统的频域幸运成像算法的效果优于空域算法,主要由图像预处理、数据选择和数据叠加3部分组成.提出了一种基于现场可编程门阵列(Field-Programmable Gate Array,FPGA)的频域幸运成像算法,并在现场可编程门阵列上构建了频域幸...     

基于图像的天体搜索研究与自动化集成软件开发

天体搜索是天文数据处理流程的一个重要环节,也是以平方公里阵列射电望远镜(Square Kilometre Array, SKA)为代表的下一代射电望远镜在面向海量数据处理中的挑战之一.现今天体自动搜索算法、软件已日趋成熟并投入应用,不过在自动化、兼容性等方面仍具有提升空间.以更自动化、更适应海量数据需求的天体搜索算法研究为宗旨,以现有算法为研究基础,天体自动搜索软件系统得到设计和开发.该系统包含友好的交互式用户操作界面,具备可视化输出数据显示、兼容不同数据输入和输出并包含为实际应用服务的文件管理功能.该系统对于大天区图以及图像集,均能够很好地进行自动化处理.测试结果显示,上述方法对于天体搜索的改进有一定成效.后续将在此基础上对该集成系统做进一步的改进开发,以适应更多的需求.     

基于多项式模型的射电天文中的移动干扰消除

射电天文观测数据受无线电的影响日益严重。因此,射频干扰(Radio Frequency Interference,RFI)消除已经成为信号处理流程中不可或缺的一步。考虑了自适应阵列信号处理中的移动干扰源的消除问题,对于阵列天线望远镜而言,射频干扰消除可以通过采样协方差矩阵在空域实施处理。在很多应用场景中,可得到的零点深度受限于协方差矩阵的估计误差,进而影响干扰子空间的估计精度。方法应用了一种多项式模型以跟踪阵列协方差矩阵随时间的变化,消除干扰子空间的估计误差,提高干扰消除性能。最后通过仿真对比了传统的子空间投影(Subspace Projection,SP)算法和基于多项式模型的子空间投影(Polynomialaugmented Subspace Projection,PSP)算法,仿真结果证明了所提方法的有效性。     

一种针对MWISP项目分子云团块的3DCNN证认方法（英文）

分子云团块是恒星的诞生地.分子团块的普查和其性质的全面研究将有助于了解恒星的形成乃至星系和宇宙的演化过程.随着银河画卷计划(MWISP)项目的深入进行,这类研究方案变得切实可行.但是项目产生的分子云观测数据是海量的,因此迫切需要一种能够自动识别和证认分子团块的方法.目前应用广泛的3维分子云数据处理方法有很多,典型的包括Gauss Clumps、Clump Find、Fell Walker、Reinhold等,但都需要输入多个参数来控制它们的性能,并且进行反复的参数优化和目测才能得到比较满意的结果.对于大规模的观测数据,利用现有方法进行分子团块的证认将是一项耗时耗力的任务.为了克服传统分子云团块检测算法的局限性,人工智能(AI)的方法将提供一个很好的解决方案.提出了一种3D CNN (Convolutional Neural Network)方法,它可以自动处理3D分子谱线数据,整个过程分为检出和验证两个步骤.首先,通过设置较低阈值使用Clump Find以检出候选对象,然后通过训练好的3D CNN模型进行验证.利用仿真数据所做的一系列的实验结果表明,该方法的综合表现优于4种传统方法.将该方法应用于实际的MWISP数据表明, 3D CNN方法的性能也令人满意.