基于CIMISS的气象观测数据标准化现状分析

选取广西具有代表性的区域自动气象站、GNSS-MET和回南天三类观测数据资源,通过分析和研究气象资料收集、传输及数据标准化现状及其业务中存在问题和瓶颈,探索以CIMISS标准为基础,再造流程、整合业务及制定数据标准,为广西气象特色观测数据标准化工作提供参考.     

Python语言在CIMISS中的应用

CIMISS实现了国家级气象数据的整合集约,国省首次建立了统一的数据环境,并通过标准统一、功能丰富、调用高效的气象数据统一服务接口MUSIC。本文介绍了Python编程语言特性,及其相对于IDL,Fortran,Matlab等气象行业常用编程语言的优势。阐述了Python在国外气象行业中的应用,以及如何调用CIMISS的客户端SDK,Web Services以及Rest服务接口。气象科研人员通过掌握Python编程语言,能够快速地从CIMISS中获取和处理气象数据,并可以使用Python进行各类气象数据的处理。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

CIMISS中气象观测资料处理入库效率优化方法

气象资料种类多、海量、格式多样复杂,造成综合气象信息共享系统(CIMISS)巨大的处理压力。以高空L波段数据作为个例,进行详细的分析,在数据库表设计上,通过"键-要素"的拆分方式减少数据库冗余,建立合理的索引和分区提高数据表访问效率。在处理流程方面,通过简约化流程减少系统间消息交互和IO,从而优化系统的存储效率。同时简约流程中对比PRO*C和OCI两种入库方式,PRO*C简单高效便于开发,而OCI功能全面但相对复杂,通过比较两种入库方式的效率,系统采用PRO*C方式。高空L波段数据实际运行效果表明,平均28s完成一份数据的处理。对比高空探测数据的处理,简约流程比原流程入库更快。     

基于CIMISS的雷达产品监测平台设计与实现

雷达数据产品监控是气象部门的重要业务工作,特别是在汛期,天气雷达实行24h开机运行,如何有效地对生成的数据产品进行监控,并对异常情况及时报警,是提高天气雷达数据传输质量的重要保证。文章从雷达产品的生成、上传方面进行分析,设计出了基于CIMISS数据资源、利用MUSIC数据接口实现,基于Java Web开发的雷达数据产品监控与报警功能的数据监控平台。文章提出的数据监控实现方法与设计原理,对多种气象要素数据,特别是天气雷达数据的监控与预警具有一定的实际效果。并且在文中对具体功能模块的实现进行了分析与说明。     

CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

内存转发模型在CIMISS数据收发系统中的应用

针对国家气象信息中心现有数据收发业务在时效方面存在的问题,对现有模式进行剖析,找出现有流程中存在的问题,以及这些问题的产生原因。在此基础上,以气象卫星数据为对象,提出了应用内存转发模型。在该模型中,通过利用内存共享机制将数据接收流程和数据转发流程联系起来,建立通路,减少了多个中间处理环节,提高整个数据转发时效。参照内存转发模型,设计出适用于国家气象信息中心业务流程的统一数据转发流程,并通过对FTP服务端程序模块进行改造,在服务端实现了统一数据转发流程。通过性能测试,对两种转发模式的时效进行对比和分析,验证了内存转发模型的时效优势。     

陕西省精细化气象格点预报数据环境的设计与实现

为了有效支撑陕西省精细化气象格点预报业务运行,从底层架构和数据流分析入手,提出了基于CIMISS标准框架的精细化格点预报数据环境的设计方案。包括硬件平台、数据清单、数据存储、数据共享、数据管理等关键环节,并遵循"冷热分离、读写分离、集中化管理、多样化共享"的原则,给出了优化实现方法。     

“秦云工程”气象数据对接的设计与实现

依托以CIMISS为核心的省级集约化气象数据环境,通过架构分析、接口定制、数据同步、存储和数据服务等关键技术环节的研究,实现"秦云工程"气象云的数据对接。为开展其他行业大数据接入"秦云工程"并进行交换和共享,具有一定的指导与参考意义。     

基于CIMISS全国精细化格点预报业务数据环境系统设计与实现

随着精细化预报业务不断发展,迫切需要建立支撑国省网格预报实时同步、协同一致的全国精细化格点预报业务数据环境。本文分析了精细化预报业务的特点,阐述了基于全国综合气象信息共享平台(CIMISS)的精细化格点业务数据环境的系统架构、数据流程、核心功能及相关技术实现。业务运行结果表明,数据环境实现了国省间格点预报实时同步和共享,有效支撑了预报产品的及时订正和发布,保证了国省格点预报一致性。     

介绍标准数据访问系统

简要介绍了标准数据的访问方法,研究该方法是解决利用微机对地面气象资料进行自动加工、对外服务的一个关键环节.     

MICAPS2.0数据接口及数据检索程序的若干改进

在MICAPS2．0数据接口程序、MM5解码程序的基础上,结合五峰县气象局的业务应用实际需求,对MICAPS2．0的部分数据接口程序、数据检索参数进行了修正和本地化处理。     

Micaps数据服务器本地化T639全球模式06UTC和18UTC

介绍了如何利用Micaps数据服务器对T639全球模式06UTC和18UTC(世界时)进行本地化,有效解决了使用中国气象局数值预报中心在2012年4月1日下发的T639全球模式解码程序操作步骤处理产品数量不齐全的问题,给预报员提供数量完整的T639全球模式预报产品.     

任意时段累年气候数据统计流程优化及应用

任意时段累年气候数据的统计是气象部门一项常规实时(准实时)业务,需要相应业务系统的支撑。为了提高该系列数据的统计检索效率,本文对获取该数据的统计流程进行了优化,提出了优化后的原始数据逻辑分解流程,并以关系型数据库Oracle为例,利用广东省86个国家气象观测站近65年,及2313个区域自动气象站近10年逐日气象数据,进行了任意时段累年气候数据统计流程优化前后效率的对比。结果显示:基于优化前的流程,随着任意时段日期跨度的增长,数据统计效率逐步降低;而基于优化后的流程,无论任意时段起止日期的跨度大小,数据统计均可以保持很高的效率。本文将优化后的统计流程应用于广东省农业气象业务系统(AGROS)对应的功能模块,对提高系统效率、优化用户体验起到了很大作用,并进一步推动了该系统在广东全省的推广应用。对于全国各省区乃至国家级气象部门业务系统相关模块的开发也有参考价值。     

2018年贵州省常规站温度要素数据评估

随着气象观测的自动化,地面气象观测在观测时次和空间密度上得到极大提高。常规站资料是地面观测资料的重要组成部分,其站点分布合理、监测连续,对于气候变化监测、预测和影响评估有着极为重要的作用。质量控制确保资料的可靠性和代表性,提高资料的应用价值。目前,经过已有的自动化质量控制之后,常规站观测资料中质量控制仍有错判、漏判等问题存在。该文以2018年贵州省常规站气温相关要素数据评估为例,实现本地常规气象资料质量控制方法的优化。     

规范酸雨观测流程 提高观测数据质量

酸雨观测是气象部门近年来开展的一项新业务。从2006年起,全省新建的国家级和省级酸雨站全部投入业务化运行。由于此项业务开展时间短,基础薄弱,如何规范酸雨观测流程、提高观测数据质量值得探讨。     

GPCP全球降水资料数据集介绍

南京大气资料服务中心最近收到GPCP全球降水资料,包括1°×1°的逐月、逐日全球降水资料和2．5°×2．5°逐月全球降水资料。逐月的资料数据集延伸时段从1979年1月到2008年4月;逐日资料数据集延伸时段从1996年10月到2008年4月。区域范围覆盖全球（0．5°E-359．5°E,89．5°S～89．5°N）;为地面一层,一个变量。统计内容见表1：     

气象区域站数据全流程监控系统的设计和实现

气象区域站数据是防灾减灾服务开展的重要核心数据,实时性非常强,但由于传输环节多、监控不连续,之前主要依靠接收资料数量来反推传输情况,在业务实际应用中存在故障无法准确定位、监控精密度不细致、追查环节复杂等问题。该文通过引入工作流的方法,梳理区域站数据采集和应用的全工作流程,搭建了Zabbix集群监控系统,开展工作流程和监控脚本设计,从而实现对复杂故障和关键环节的监控,为区域站数据全流程监控提供一种解决方案。系统在业务运行中取得非常好的应用效果,使数据监控精准,数据传输和服务更加高效。     

温度、湿度自记纸数据自动读取系统的研究

为了提高植物叶面积的测定精度,基于计算机和常规扫描仪,采用计算机图像处理技术,开发了温度、湿度自记纸数据自动读取系统（AutoGPR1．0）。系统能根据自记纸背景色与温度、湿度记录迹线颜色差异,将记录迹线提取出来,使计算机读出自记纸记上实测的温度、湿度值,获取连续数据。系统计算的相对湿度绝对误差≤2％,温度的绝对误差≤0．2℃。