气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

基于区块链的医疗数据云存储共享方案

云服务可提供大量的存储空间,但是单一的云环境无法提供安全的数据存储和共享.而医疗数据的安全存储和共享是保证医疗数据安全的重要内容.公开审计技术保护存储在云中的数据不被篡改,从而实现医疗数据的安全存储.区块链的可公开访问及其上数据不可篡改,实现了医疗数据的安全共享.本文使用公开审计技术,提出基于区块链的医疗数据云存储共享方案,为医疗数据提供安全有效的存储和共享服务.     

基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

数据湖技术在气象卫星资料业务共享中的应用

文章依托大数据云平台·天擎系统的共享NAS存储,通过省级气象通信系统的文件分发策略,将气象卫星广播数据迁移到共享NAS上进行统一存储。基于B/S系统构架搭建气象数据湖对大数据云平台·天擎系统的共享NAS存储上的数据进行统一管理。数据湖提供了前端图形界面对目录权限和账户权限统一管理,一方面规范了数据访问权限,保障了数据和账户的安全性。另一方面解决了因数据反复迁移、多处存储而造成的资源浪费,符合气象业务的发展需求。     

新型机载气象雷达

美国最近研制成一种用于轻型或中型双发动机飞机上的新型气象雷达——RDR130。该雷达采用数字信息存储和显示来代替实时模拟显示,能将雷达反射进行数字化、积分和存储。存储的信息以60周的速度在荧光屏上闪现完整图象,防止了闪烁。其它气象装置则是使用高余辉阴极射线管存储图象。     

基于Internet面向社会公益性共享的气象科学数据存储检索策略研究

通过对气象科学数据分类及其特点的分析,在参考国内外同领域现状和相关技术发展趋势的基础上,根据国家、社会特别是科学研究用户需求的特点,对基于Internet面向社会公益性共享的气象科学数据存储检索策略进行了研究和探讨,根据"需求牵引、技术驱动"的原则提出了在线存储、商用数据库与文件系统相结合的混合管理模式和数据适度冗余存放的存储策略,以及数据导航与定位、随机检索、在线下载、用户定制等多样化、可视化、人性化的存储检索基本策略建议。     

基于Cassandra的实时气象数据分布式存储系统

介绍了Cassandra关键技术、实时气象数据存储模型。湖北省运行MICAPS4采用基于Cassandra的分布式数据存储环境。对分布式存储系统高可用性、读取性能的测试结果表明,系统提高了MICAPS客户端对实时气象数据的检索效率,并极大减轻了各级台站的维护压力。     

GRAPES伴随模式底层数据栈优化

GRAPES伴随模式是其四维变分同化系统的核心组成部分。由于其计算过程复杂,临时数据较多,实现中采用断点存储策略可以有效减少伴随模式的计算时间和存储空间。极限断点存储策略是在单积分步内以全存储策略实现为基础,将其中部分基态以计算代替的一种类断点存储策略。在该策略的支持下,需要一种新的数据管理结构,来保证程序的正确运行。文章提出了在已有栈基础上优化的新数据存储管理方式——嵌套多链栈,这种结构可有效满足使用极限断点存储技术实现GRAPES伴随模式的初态管理需求。试验表明:相比断点存储技术,在总内存增加不超过30%的情况下可使GRAPES的运行效率提高1倍。     

自动气象站气温及地温跳变原因初探实例

1 引言 2004年自动气象站从对比观测到单轨运行,随着软件的升级和设备的更新升级,由不能存储分钟记录到能存储分钟记录。从存储的分钟记录中发现,有的月份气温的分钟记录及地温的小时记录有跳变的现象,各站都不同程度的存在这一现象。2006年8-9月,长岭县气象站这种现象尤其严重,我们对此进行了分析并采取了相应的措施,经过近两年的实践消除了这种现象的发生。     

大城市气象服务信息系统数据存储体系框架设计与实现

海量气象数据的存储、管理以及信息服务的实现一直是气象信息处理中的关键问题。文章系统介绍了我国大城市气象服务信息系统技术框架中气象数据种类和数据格式、数据结构和数据存储体系以及各主要数据类型的管理和存取方式。     

GIS气象数据的管理与表达方法

将气象数据分为离散数据、格网数据和要素数据,在此基础上,建立了气象数据库,包括气象资料信息数据库、社会资料信息库、基础地理数据库和气象空间数据库,并详细分析了气象数据的组织结构、表达和处理方法,最后提出了基于GIS的气象数据管理与表达的处理方法.     

MICAPS4服务端系统架构设计

MICAPS4体系采用客户端/服务器的系统架构,其中服务端系统是MICAPS4的重要部分,利用分布式存储与分布式计算技术,构建可容纳102 TB量级的气象实时数据,千万数据总量,面向数百并发用户的服务器集群系统。MICAPS4服务端系统在国内率先实现全部气象实时数据由文件到数据库、从集中式系统到分布式系统的迁移,该系统自2015年起在全国推广使用。在海量气象数据和大量用户并发访问的环境下,表现出很高的稳定性和优越的读写性能,同时具有便捷的扩展性和可维护性。MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统,分布式存储子系统为MICAPS4客户端提供了近实时数据的高速随机与顺序读取服务,分布式前处理系统利用对等分布式架构实现了海量气象实时数据的流式计算,站点实况轮询系统实现了跨系统的实况数据异构副本的同步功能,查询服务器系统利用多线程服务器技术实现了MICAPS4客户端的实时计算请求,监控系统利用部署于每个节点的探针实现监控信息的主动上报。     

基于气象业务零中断的存储数据迁移探讨研究

在广东省气象局2015年建设高性能存储设备逐渐老化,厂商即将停止设备技术支持服务背景下,针对存储所承载的气象业务系统面临着数据丢失或业务中断的风险问题,结合气象业务具有时效性、连续性等特点,通过运用异构迁移技术,对新存储建设要求、数据迁移原则、存储规划、风险评估、回退方案、数据迁移进行探讨研究,实现50多个核心关键业务系统的430TB数据在82小时完成平稳迁移,数据迁移速度最高达2.1GB/秒,平均速度1.5GB/秒,相比在应用层上做数据迁移的传统方法,异构虚拟化迁移技术具有迁移速度快、时间短、工作量少、业务无中断和可集中迁移的特点。     

数值预报产品释用业务系统历史数据存储与检索

该文介绍了在国家气象中心中短期精细化数值预报产品释用业务系统中的历史数据存储结构的设计原理。基于该数据存储结构,依照用户的要求,可方便地选择区域大小,检索出某要素某段时间的数据,还可通过计算机编程实现国家级数值预报释用业务需求的历史数据处理和预报因子分析功能,表明新的历史数据存储结构简炼合理,灵活实用,能够极大地提高数值预报产品释用的工作效率。     

高空电报资料压缩库系统

历史天图高空逐日资料量大，层多，存取极不方便。该文介绍一种高效压缩的高空资料库系统，将高空资料和相应的存取软件结合在一起，形成一个微机高空资料处理系统，降低了８０％以上存储资料所需的介质空间，且方便了资料的查阅，提取，添加，插补等。     

HDF-EOS数据格式及其数据导入

HDF-EOS作为NASA存储和发布EOS数据的标准，专门用于处理各种EOS产品。掌握HDF-EOS数据格式和数据导入是能够充分开发和应用EOS数据信息的关键。文中介绍HDF数据文件中图像模块、科学数据、Vdata模块(表格数据)的结构，HDF-EOS数据文件中点、条带、网格数据和元数据的的数据格式，以及打开HDF格式数据实现对HDF-EOS数据导入浏览的相关软件。