共查询到20条相似文献,搜索用时 15 毫秒
1.
《天文研究与技术》2017,(4)
天文海量数据的出现给天文软件的开发带来了诸多挑战。近年来,随着并行计算技术的发展,MPI+GPU逐渐成为当前高性能天文数据处理的主要模式。针对太阳高分辨图像重建中如何提高重建性能这一问题,对其中的数据读取与数据分发方法进行了系统研究。传统的MPI并行处理时,主进程将原图切割成子块,随后将子块发送到各子进程重建,重建后的结果返回主进程。当子进程数量较大且计算节点数量较少时,这种数据分发过程显著增加通讯时长,影响整个重建过程的效率。提出MPI+CUDA的一种树状数据分发方法,给出了算法的基本思路与实现方法。实验结果表明,树状分发方式比一般采用的平行分发方式可以提高速度近一倍,成果对天文海量数据开发处理有一定的借鉴作用。 相似文献
2.
Sequoia是一个逆向旋转的子结构,来自于一个矮星系与银河系的并合事件。首先介绍了Sequoia的发现,综合分析了不同文献对这个子结构在相空间的限制及其化学性质等。随后,利用LAMOST DR8光谱数据结合Gaia EDR3的天测数据,建立了包含空间位置、速度和金属丰度的样本,利用这个样本,首先根据文献中的选源标准对Sequoia子结构进行了分析,再利用HDBSACN聚类算法独立地分离出这个子结构,并进行细致的分析,然后比较了它与Gaia-Enceladus-Sausage (GES)化学性质。整体上Sequoia子结构比GES结构具有更贫的金属丰度,更低的α、Al和Ni丰度等,但是利用低分辨率光谱得到的其他元素丰度在这两个子结构很难看出明显的区别,精确地确定这个子结构的化学丰度模式需要更大规模的高分辨率光谱后继观测数据。 相似文献
3.
明安图射电频谱日像仪每天产生海量观测数据,传统的关系型数据库存储和管理这些数据时,面临着读写延迟高、性能和容量扩展能力有限以及可用性弱等诸多问题。针对这些问题,开展了基于No SQL的海量数据存储与检索应用研究。首先,详细分析了明安图射电频谱日像仪的数据特点、存储需要以及面临的问题;然后,对明安图射电频谱日像仪进行数据建模,给出了明安图射电频谱日像仪的列式非关系型数据模型,同时提出了元数据和数据在No SQL中的同步存储方法,解决了二者的一致性问题,在此基础上实现了基于Cassandra的海量天文数据存储管理系统(MBDMS);最后通过实验验证了系统存储与检索的高效性、扩展性以及可行性。实验结果表明,MBDMS可以很好地满足数据管理的需要,是解决当前数据存储问题的一种有效方案。 相似文献
4.
随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。 相似文献
5.
时间频率数据是国家重要的信息资源,时间频率数据平台设计依托国家授时中心运行产生的时频数据、国际权度局(Bureau International des Poids et Mesures, BIPM)和国际地球自转服务机构(International Earth Rotation and Reference Systems Service, IERS)公布的时间频率相关数据等实现,该数据平台可以为守时技术研究提供丰富的数据资源支撑。首先介绍时间频率数据平台的建设情况,随后利用数据平台汇交的本地守时系统比对和远距离链路比对数据开展守时技术研究,包括原子钟状态评估,主要分析原子钟异常跳变情况,研究跳变数据处理方法,针对不同类型守时钟,分析对比波动情况、稳定度等原子钟性能指标,此外基于ARIMA模型开展钟差预报研究。以上研究结果可为守时系统连续可靠运行提供重要参考。 相似文献
6.
7.
单脉冲搜索作为脉冲星探测的有力工具,在探测旋转射电暂现源以及快速射电暴中扮演着重要角色。为了从海量的射电巡天数据中快速筛选出最有价值的单脉冲搜索候选体,候选体识别已经从早期启发式阈值判断发展到基于机器学习自动识别。对于FAST观测,研究了基于机器学习的单脉冲搜索候选体识别应用到CRAFTS (the commensal radio astronomy FAST survey)超宽带脉冲星数据的性能表现。在评估过程中,使用单脉冲事件组识别(SPEGID)和单脉冲搜索器(SPS)两类自动识别方法,通过7种不同机器学习分类器对CRAFTS基准数据集产生的单脉冲搜索候选体进行自动识别;作为对比,也使用了启发式阈值判断的方法 (RRATtrap和Clusterrank)。结果表明,SPEGID具有最好的性能表现(最高的F1-score值95.1%、次高的召回率95.4%、最低的假阳性率4.7%),SPS具有最快的筛选速度(平均每小时筛选4 010个候选体)。通过对比分析结果,探讨了如何基于FAST观测数据开展高效的单脉冲搜索候选体识别。 相似文献
8.
9.
10.
11.
平方千米阵列(Square Kilometre Array, SKA)望远镜建成后将具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。SKA天文台与各国区域数据中心间的海量数据同步传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明,新方法在平均数据归档存储效率方面比原有方法快了近40倍,能够基本满足10 GB带宽的全速传输需要,取得了较好的使用效果。 相似文献
12.
13.
近年来,随着GNSS (global navigation satellite system)技术的发展,利用地基和空基GNSS电离层探测的空间特征,形成了更加完善的三维电离层观测系统,获得了丰富的多源GNSS电离层观测数据,促进了电离层在理论模型、经验模型及同化模型方面的进展,同时,通过结合中性大气及等离子层等方面的... 相似文献
14.
郭守敬望远镜每日产生海量观测数据,数据处理涉及观测计划生成、二维和一维数据分析、参数测量、质量控制和光谱释放等诸多环节。为了更高效地获取、处理、分析和发布数据以及及时解决数据处理过程中出现的问题,开展了郭守敬望远镜数据流与光谱质量控制研究。首先,深入研究郭守敬望远镜系统数据流和工作流程,结合关系型数据库进行数据建模,实现基于Linux的MySQL数据库系统,将数据处理和发布各个环节有机串联并融合在一起;然后,基于该数据库系统,定义光谱质量控制模型,建立光谱质量控制系统,严格控制光谱质量和光谱产出的各个环节,从而为优质的光谱资源释放提供保障。该数据流与光谱质量控制系统可以很好地满足望远镜数据处理和数据管理的需要,是可以扩展至同类望远镜系统进行数据处理的一种有效方案。 相似文献
15.
<正>地球高层大气是影响近地卫星运动的主要因素之一.自1957年前苏联发射第1颗人造卫星以来,人类一直开展高层大气的研究,建立了一些著名的经验大气模型,在卫星的轨道预报和定轨中发挥了重要作用.但是由于高层大气变化非常复杂,加上早期的资料精度有限,高层大气的一些基础问题尚未完全解决.论文以CHAMP、GRACE-A/B双星加速仪资料(Reigber et al.2001,Tapley et al.2004)为基础,对高层大气的一些问题进行了系统研究.首先给出了加速仪数据的处理方法,大气点密度计算 相似文献
16.
运动学定轨是星载GPS特有的定轨方法,该方法不依赖于任何力学模型(地球重力场、大气阻力及太阳辐射压等),尤其适用于受大气阻力影响严重的低轨卫星定轨.基于双频星载GPS数据,研究了运动学定轨原理,讨论了数据预处理方法,建立了一套非差运动学定轨算法.并以GRACE (Gravity Recovery And Climate Experiment)-A、B卫星2008年2月实测数据作为试算验证了本研究方法的有效性和可靠性.GRACE 卫星实测数据计算结果表明:运动学定轨能达到5 cm精度(相对于SLR (Satellite Laser Ranging)),与动力学和简化动力学定轨精度相当. 相似文献
17.
微波全息测量是检测抛物面面形分布的重要手段之一,数据校准软件是全息处理软件中关键的一部分。以新疆天文台南山25 m天线改造计划为背景,在分析全息测量中引起误差的几个因素的基础上,开发了全息测量数据校准软件。该软件以Linux为开发平台,使用Python语言进行编程,其优点是:具有误差评估功能,方便用户筛选由于误差过大造成的数据不合理;标准化接口更易嵌入天线控制软件中;可视化界面既能方便用户操作,又可以直观显示运行结果。软件调试结果显示该软件运行时间在2 min以内,效果良好,具有一定的实用价值,不仅对于25 m的改造至关重要,也为未来110 m射电望远镜的技术预研创造了条件。 相似文献
18.
基于GRACE数据的西南陆地水储量分析 总被引:1,自引:0,他引:1
利用地球重力卫星GRACE(Gravity Recovey and Climate Experiment)2005年1月~2010年4月期间64个月的数据,对我国西南地区陆地水储量变化进行了反演.结果表明,选取适当的高斯半径(R=600 km)和所采用数据的平均引力场作为背景引力场,则基于GRACE数据反演的西南陆地水... 相似文献
19.
20.
《天文研究与技术》2016,(2)
由于光球亮点尺度小、边缘结构不明显等原因,在识别中一部分发亮的碎米粒不可避免地被误识别为亮点。采用基于划分的K-means算法和基于密度的DBSCAN算法分别清洗所有发亮结构的特征数据,拟将非亮点结构从亮点结构中剔除。首先采用LMD算法和三维联通的思想识别和跟踪亮点,然后提取亮点的7个相关度较低的特征值,包括等效直径、强度、偏心率、亮点边缘位于米粒暗径的比例、速度、运动方式和扩散系数,并在数据标准化后,采用主成分分析法根据90%的贡献率降至三维。最后采用K-means算法和DBSCAN算法对亮点数据进行清洗。实验结果表明,两种算法均能清洗非亮点结构,Kmeans算法的正确率为80%,DBSCAN算法的正确率为53%。因此,K-means算法能够更有效地区分亮点和非亮点结构。 相似文献