一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

内蒙古自治区气象大数据管理云平台设计与实现

文章介绍了内蒙古自治区气象大数据管理云平台利用分布式存储与计算架构,构建数据采集子系统、数据加工处理子系统、数据存储管理子系统、业务监视子系统、数据共享服务子系统和数据展示子系统,实现部门内外常规气象观测资料、服务产品、行业部门相关数据的集约化、标准化、统一存储管理,对接内蒙古自治区政府“云上北疆大数据平台”和“政务资源共享平台”,完成了行业的互补和延伸,开辟了气象信息化发展的新舞台。     

基于大数据云平台的天山气象APP设计与应用

为提升大数据云平台与移动互联网的耦合气象服务质量,满足气象防灾减灾移动可视化需求,推进新疆气象信息化事业高质量发展,亟需开发一款专业气象服务APP。该APP在“云+端”业务模式下充分利用气象业务现有数字化成果,采取多源存储、接口调用、控制反转和数据交互技术,对全疆天气自动站的地面观测、格点实况融合、雷达回波、灾害预警等气象资料进行加工处理和移动展示。天山气象APP可按用户需求提供疆内基于实时位置的天气实况、精细化预报、预警详情、雷达拼图、实况要素产品和统计值要素产品,同时继承大数据云平台服务接口高额承载能力,实现毫秒级响应,在全疆天气自动站应急保障与气象防灾减灾服务中应用成效显著。     

基于虚拟化云网盘的气象数据共享和交换应用实现

从气象数据共享和交换应用的现状和需求、基于虚拟化云网盘的气象数据交换共享应用实现的技术体现和应用部署中,体现应用特点和实施效果:达到提高现有资源的利用效率和可用性,高效实现市级气象资源的动态利用,气象共享和交换数据的集中存储、应用和灾备恢复功能等目的。提供多平台、多手段数据交换共享支持,在对各用户访问权限安全控制的前提下,开辟气象办公、气象数据共享和交换新途径,达到提升市-县气象局间和市级气象局-市防灾减灾决策部门、气象用户间数据交换与共享效率的有效尝试。     

气象大数据云平台仿真环境容器调度性能优化研究

为实现2025年气象关键核心技术自主可控的目标,气象大数据云平台（简称天擎）建立了基于海光X86服务器和麒麟操作系统的仿真环境。在仿真平台运行中发现,基于容器技术的产品加工与流水线子系统容器调度性能较差,不能满足用户融入算法的时效要求。针对此问题,本文采用对比分析法,选取天擎仿真环境和业务环境的3种CPU芯片服务器和3种操作系统为研究对象,设计了一系列组合对比测试用例,找到了影响容器调度性能的关键因素—操作系统内核,并进一步分析了操作系统内核设置对系统实时性和吞吐量的影响以及适用的业务场景。最后给出了麒麟操作系统内核调整方法,通过调整内核设置,容器调度性能大幅提高,满足了产品加工系统的时效要求,为实现天擎的关键核心技术自主可控奠定基础。     

大城市气象服务信息系统数据存储体系框架设计与实现

海量气象数据的存储、管理以及信息服务的实现一直是气象信息处理中的关键问题。文章系统介绍了我国大城市气象服务信息系统技术框架中气象数据种类和数据格式、数据结构和数据存储体系以及各主要数据类型的管理和存取方式。     

基于区块链的医疗数据云存储共享方案

云服务可提供大量的存储空间,但是单一的云环境无法提供安全的数据存储和共享.而医疗数据的安全存储和共享是保证医疗数据安全的重要内容.公开审计技术保护存储在云中的数据不被篡改,从而实现医疗数据的安全存储.区块链的可公开访问及其上数据不可篡改,实现了医疗数据的安全共享.本文使用公开审计技术,提出基于区块链的医疗数据云存储共享方案,为医疗数据提供安全有效的存储和共享服务.     

陕西省气象云管理平台简介

从组织管理职责、总体架构、技术路线等方面介绍陕西省气象云管理平台如何实现,从主要功能、平台应用等方面介绍陕西省气象云管理平台如何使用,从而实现全省基础资源的集中管理、动态分配、自助申请,并支撑数据处理、分析、交换、管理和各业务支撑系统等多种不同的系统。     

基于Cassandra的实时气象数据分布式存储系统

介绍了Cassandra关键技术、实时气象数据存储模型。湖北省运行MICAPS4采用基于Cassandra的分布式数据存储环境。对分布式存储系统高可用性、读取性能的测试结果表明,系统提高了MICAPS客户端对实时气象数据的检索效率,并极大减轻了各级台站的维护压力。     

气象基础设施云平台关键设计与实现

为适配气象业务科研应用对算力、存储资源的需求特点,采用分布式计算、分布式存储、虚拟化技术搭建气象基础设施云平台,并根据不同的业务类别、网络区域、资源服务对象针对性地设计云平台资源分区,以及每个分区需具备的云资源及功能。设计的云平台涵盖IaaS层、PaaS层功能,通过软件定义方式池化硬件资源,形成具备云计算、大数据支撑特征的资源池,为众多气象应用端部署、气象大数据业务提供虚拟主机、物理算力、数据存储资源。实际运行效果表明设计的气象基础设施云平台能够适应数据处理规模与时效性要求不断提升的业务发展需求。     

气象数据的可视化及其在电视气象节目中的应用前景

通过对气象数据可视化的概念的阐述，从软硬件两方面分析其在电视气象节目中的应用可能,提出可以利用并加以开发的几种相关途径。     

交互式数据语言在气象数据可视化中的应用

科学计算可视化是20世纪80年代后期随着计算机图形学应用的拓广而发展起来的一个新的研究分支，受其推动，数字信息的可视化成为20世纪90年代研究的前缘。随着“数字地球”、“数字城市”、“数字油田”等概念的提出，气象工作者迫切需要更加精确地了解各种气象数据和地形实体。而对于这些复杂的数据资料，目前人们已不能满足于等线图那样的平面描述，更需要建立三维图像，用更接近实际的方式去描述它，从各个不同角度观察它，三维可视化就是实现以上目标的有效手段。实体三维可视化技术是描绘和理解三维实体的一种重要计算机技术，它可以帮助使用者快速、准确理解和描述三维实体，并能协助快速选定感兴趣的目标，为分析、理解数据提供了有利工具。     

气象数据在雷电风险评估中的应用

该文按照雷电风险评估对气象数据的应用要求,分别介绍气象数据的分类及其统计方法;气象数据的引用及注意事项;气象数据的分析及其在雷电风险评估中的广泛应用;气象数据的可行性论证要求。     

典型气象年生成方法及原始气象数据质量分析

准确分析建筑热环境性能及其能耗需要代表当地平均气候状况的逐时典型气象年数据。根据我国现有的4次定时气象数据,选取建筑气候标准(GB50178-93)的7个气候区的代表城市,运用美国Sandia典型气象年方法,产生了代表城市的建筑能耗模拟分析用标准气象年数据。着重论述了针对原始气象数据的缺测情况,在生成典型气象年时的数据处理过程和质量控制原则,为建立和完善我国建筑节能用标准气象数据库提供了前期的理论分析基础。     

Hadoop在气象数据存储中的应用

利用虚拟资源池搭建基于Hadoop的大数据存储架构,将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架,在并发读取效率测试中取得了良好的效果,为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型。     

GIS气象数据的管理与表达方法

将气象数据分为离散数据、格网数据和要素数据,在此基础上,建立了气象数据库,包括气象资料信息数据库、社会资料信息库、基础地理数据库和气象空间数据库,并详细分析了气象数据的组织结构、表达和处理方法,最后提出了基于GIS的气象数据管理与表达的处理方法.     

大数据时代陕西气象档案数据的管理与应用

分析在大数据时代下陕西气象档案数据管理与应用工作面临的挑战,从气象档案数据的存储管理、开放共享、平台研发、安全防范系统构建、人才队伍建设几个方面提出了在大数据时代下做好陕西气象档案数据管理与应用的方法和思路。     

气象云会商系统的设计及应用

气象部门素来有通过视频会议进行天气会商的传统,但受限于技术条件,多年以来天气会商只能在气象部门内网环境中进行。为满足用户基于互联网接入天气会商的需要,国家气象信息中心于2019年建设完成了气象云会商系统。该系统依托国产的互联网视频会议产品,采用专有云方式进行了部署,并实现了与气象部门已有的基于H.323协议视频会议系统的融合对接。通过在多个云会商系统间设置友好企业方式,不仅满足了气象部门系统分级和属地化管理的要求,也极大的提升了跨部门会商联动的简便性。本文对该系统的设计方案及关键技术进行了阐述,并介绍了其在重大活动气象服务及气象部门迎战新冠肺炎疫情过程中的应用效果,也提出了下一步云会商业务的发展方向。     

气象数据在网络结构中的应用模型探讨

本文从应用软件的结构规划出发,简单介绍了气象数据的几种应用模型,分析了几种模型的优缺点,提出了适应气象部门业务科研发展需要的数据应用模型.