Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

台站农业气象业务地面观测资料提取和统计软件

针对台站农业气象业务工作中对地面观测资料的统计和应用问题,利用Visual Basic6．0开发了台站农业气象业务地面观测资料提取和统计软件。软件可从地面观测数据中提取数据,录人数据库保存,利用数据库统计积温、周累年值、土壤水分观测簿表中的降水资料、自然物候观测中与地面观测有关的资料,以及作物气象条件鉴定、气候评价等所需资料。     

地面气象资料一体化统计加工系统设计与实现

地面气象资料一体化统计加工系统是基于国省统一的CIMISS数据环境,准实时生成日、候、旬、月、年值等统计产品的业务系统,能够满足用户对准实时质控后地面气象资料统计值的业务需求。本文主要介绍地面气象资料实时历史一体化统计加工系统的开发,从软件的需求分析、统计方法、功能实现、关键技术等方面阐述了如何在技术上实现地面气象资料一体化统计加工系统。通过运行策略配置,实现了系统定时自动运行,进一步丰富了CIMISS系统地面气象资料的产品库。     

海量气象站点数据分布式存储测试及其应用

站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。     

绍兴市历史气象资料数据库简介

为适应气象预报业务、气象科研开发和气象科技服务的需要,建立了绍兴市地面气象观测历史资料数据库,并配套开发了两个气象资料数据处理软件,可实现数据实时追加、数据修改、手工录入等功能,并提供使用帮助。数据库的建成为业务、科研及气象服务工作的开展提供了最基础最主要的的资料库。本文在介绍数据库设计思想的同时,对在数据录入过程中应该注意的问题进行了讨论,为各兄弟台站历史资料的整编提供了一个参考。     

气象资料数据库系统的建立和应用

该系统是以地面气象观测数据文件为主要数据源建立的数据库系统,主要工作是编制入库程序和常用气象资料统计程序。目前的。主要功能有：①将数据文件的完整信息录入数据库;②实现了批量入库、实时入库、数据维护;③实现了常用的统计功能。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

任意时段累年气候数据统计流程优化及应用

任意时段累年气候数据的统计是气象部门一项常规实时(准实时)业务,需要相应业务系统的支撑。为了提高该系列数据的统计检索效率,本文对获取该数据的统计流程进行了优化,提出了优化后的原始数据逻辑分解流程,并以关系型数据库Oracle为例,利用广东省86个国家气象观测站近65年,及2313个区域自动气象站近10年逐日气象数据,进行了任意时段累年气候数据统计流程优化前后效率的对比。结果显示:基于优化前的流程,随着任意时段日期跨度的增长,数据统计效率逐步降低;而基于优化后的流程,无论任意时段起止日期的跨度大小,数据统计均可以保持很高的效率。本文将优化后的统计流程应用于广东省农业气象业务系统(AGROS)对应的功能模块,对提高系统效率、优化用户体验起到了很大作用,并进一步推动了该系统在广东全省的推广应用。对于全国各省区乃至国家级气象部门业务系统相关模块的开发也有参考价值。     

贵州省气候资料二级库开发应用

1概述贵州省气候资料二级库开发应用研究是从已信息化的非实时地面气象资料中选取温度,降水,日照3种常用气象要素,基于模式数据（A0文件）和标准格式（W文件）这两大类信息化资料文件,通过数据式转据,统计加工生成4类数据库：历史统计库,当年统计库,历史逐日资料库和30年要素值平均库,并在此基础上建立起相应的数据库管理软件,为用户提供一个较为完整、有效的数据服务环境,进一步发展气象信息化资料的效益。2系统配置及特点该数据库软件采FPW2．5及C语言开发,可在配置有WINDOWS95（98）的系统环境下运行,有以下3大特点：…     

浙江省地面气象观测数据A文件资料解读入库方案

A文件是地面气象观测数据文件的简称,由于A文件存储要素方式位的复杂性,直接对A文件资料的查询、统计非常不方便,尤其是需要对不同台站、不同月份的A文件进行查询统计时.通过编写程序将A文件观测资料解读写入XML数据文件和关系型数据库,形成完整的浙江省A文件观测资料数据库.就可以很方便的在此基础上开发相应的查询统计应用软件,就能实现全省任意时段、区域A文件观测资料的查询和统计,为A文件观测资料数据的二次开发应用奠定了基础.     

河南省气候业务数据库系统的设计与实现

基于关系型数据库管理系统,构建了河南省气候业务数据库系统,用于存储全省各气象台站建站以来的逐日数据、月统计数据、年统计数据等。利用可视化开发环境,采用面向对象编程语言,开发了气候业务数据库应用系统,具备数据库记录实时追加、信息化文件采集、数据库记录修改、数据库记录查询统计、数据质量检测等功能。系统投入使用后,提高了气候...     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

融合架构的分布式数据库技术在气象大数据平台上的应用实践

随着信息技术的发展和应用,气象发展已融入到政治、经济、民生等各领域的发展中,气象数据呈现数据体量大、实时性要求高、数据种类丰富的大数据特征,数据的应用效果随时间呈断崖式下降的趋势非常明显,是区别其他行业数据应用的明显差异点。传统关系型数据库暴露出长序列数据访问效率低、软硬件架构成本高、性能扩展能力弱等缺陷,已无法满足业务发展的需要,该文通过融合架构的分布式数据库在气象业务中的应用效果分析,从技术原理和实践两个角度,为气象大数据的应用提供技术借鉴。     

内蒙古电网气象预警服务系统简介

应用气象多普勒雷达、卫星云图等现代化观测手段和自动化程度很高的地面自动气象站资料以及MM5中尺度预报产品,结合有线网络传输和基于Intranet、Internet的多层分布式技术搭建内蒙古电网气象预警与电力线路安全运行服务系统,开展电网气象预警预测和气象预报服务。系统建立了实时的地面自动气象站资料数据库和中尺度预报产品数据库,实现了多种气象要素的实时监测和预报,为内蒙古电网的运行安全提供了科学依据。     

基于虚拟串口技术的地面气象观测数据实时分发系统

目前培训上使用的地面气象观测情境教学系统,不能为气象观测实习实训同时提供实时的天气现象、观测数据异常和观测设备故障情境,不具备同时开展基于历史观测情境和实时观测情境实习实训教学的功能。针对上述问题,本文利用虚拟串口技术和局域网数据共享方法,在VC6.0程序开发环境中,采用面向对象与面向过程相结合的程序开发思想,运用多线程方式和串口通信机制,研发了地面气象观测数据实时分发系统。该系统首次实现了分钟实时观测数据、小时统计数据、分钟状态数据,在局域网内从教师机到学员机实时分发共享的功能,同时具备开展基于历史观测情境和实时观测情境实习实训教学的功能。测试应用表明,该系统设计合理,操作方便,数据分发共享及时、稳定,满足了多学员同时开展地面气象观测情境教学的要求,大大提升了地面气象观测培训的实效,研究成果可为实时情境教学系统的设计开发提供技术参考。      

一种安全可靠的分布式气象数据库系统设计

该文论述了在分布式数据库基础上建立安全、可靠气象资料数据库系统的一般方法。在数据库安全设计中首次提出了安全组件概念及模型, 并将其应用到具体的数据库管理模块中, 较好地解决了数据库系统存在的安全性问题。在数据库应用软件设计中, 采用COM技术和B/S结构, 开发了一套气象数据Web综合查询显示系统, 解决了气象数据Web动态实时发布和查询显示问题。     

CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

公路交通气象观测站监控系统的设计与实现

设计了一种新型高效的公路交通气象观测站监控系统.该系统主要包含两个方面的内容,一是采用多线程编程技术设计开发实时气象报文数据入库程序,二是对开源ZedGraph制图控件的修改和重新封装使用,并以Oracle10g大型数据库作为后台数据库,最终构建成由实时气象数据入库的程序和数据提取展示程序组成的监控系统.该系统不仅实现了对海量气象数据的存储备份,而且其监控展示功能可以更高效地为交通气象的监测预警决策提供依据.通过具体应用,证明了该系统在减少气象灾害对交通的影响方面是可行的、有效的.     

辽宁省人工增雨数据集管理系统的设计与实现

基于辽宁省气象资料,依托机载观测仪器及地面特设仪器观测数据,利用VB编程实现了辽宁省人工增雨业务数据集管理系统。系统包括：地面站资料、高空站资料、自动站资料、雷达探测资料、卫星探测资料和双通道微波辐射计数据、机载液态水探测数据、粒子激光探测数据、飞机和火箭增雨作业信息、降水天气分型共10个方面的内容,其目的是在人工影响天气业务工作中实现信息共享,为气象业务和科研工作服务。