国家气象业务内网WebGIS数据服务系统设计与应用

气象数据服务应当以用户需求为导向,从"我们有什么数据"向"用户需要什么数据"的现代服务方式转变。文章分析了气象数据服务过程中存在的服务效率有待提高、服务方式有待转变等问题,从当前气象数据服务的发展和WebGIS的功能特点入手,提出了WebGIS技术与MUSIC接口相结合的气象数据服务方式。在气象数据服务的过程中,用户不必在多种工具软件间进行复杂的操作,WebGIS技术与气象数据统一服务接口(MUSIC)的结合,实现了集空间位置查找、地理空间分析、浏览器端作图、数据检索、数据下载一站式气象数据服务,该方式简化了气象数据服务过程的复杂度,极大地提高了气象数据服务效率,真正实现了气象数据的"所见即所得,所见可分析"效能,有效提升了国家气象业务内网的用户体验。     

气象大数据云平台归档系统设计及实现

本文针对"天擎"归档系统的建设需求、总体架构,提出系统实现的若干关键技术问题并进行深入分析,气象大数据云平台(以下简称"天擎")归档系统设计为面向海量数据归档存储的支撑系统,保障数据的安全完整。系统基于在线存储、离线存储以及磁带库管理软件,通过层次性结构体系、消息队列和微服务技术框架,实现多协议数据归档、敏感数据归档及转储数据归档等功能,满足各种新增数据归档业务场景,同时具备丰富的数据回取服务、数据全流程的追溯和规范化的磁带管理保障等功能。2020年8月"天擎"归档系统投入业务运行,每日归档的实时数据量约为10TB,后续最高可承载约240TB日数据量的归档业务。     

Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

基于数据湖的省级卫星直收站数据共享服务设计

针对省级卫星直收站数据存储分散造成共享应用不便的问题,提出卫星多源数据便捷高效访问和安全分级管理方案。引入数据湖技术,按照全国统一规范构建了基于气象大数据云平台的省级气象数据湖系统,基于此实现了FY-3、FY-4卫星地面直收站原始接收数据、加工处理产品等多种卫星数据入湖集中管理,并提供统一的数据共享服务,解决了海量多源异构数据的存储、管理和共享服务等技术难题。通过数据湖统一权限控制,实现对用户访问数据的分级管理,保障了数据应用的稳定性和安全性。通过数据湖统一文件目录服务,实现长时间序列文件的便捷快速获取,有效支撑卫星数据的服务应用和挖掘分析。     

江西省CIMISS降级备份系统的设计与实现

为提高CIMISS数据服务能力,研究CIMISS系统数据处理和服务流程,梳理分析了CIMISS数据处理入库积压原因,针对可能出现因软、硬件异常导致CIMISS数据服务性能大幅下降的情况,根据系统结构特点和数据服务需求,设计了CIMISS降级备份系统。通过运行测试发现,该降级备份系统可稳定提供气象业务所需的基本气象资料,能有效应对CIMISS数据服务终止等极端事件,同时显著提高CIMISS中本地化数据的入库处理效率。     

中国气象局S2S数据归档中心设计及关键技术

中国气象局S2S（Sub-seasonal to Seasonal）数据归档中心建设是中国气象局承担世界气象组织（WMO）的世界天气研究计划（WWRP）和世界气候研究计划（WCRP）任务,由国家气象信息中心负责设计和实现。该文介绍了S2S数据归档中心建设中涉及的数据交换、数据检查及处理、数据归档存储及数据服务门户全流程系统设计和实现。针对各业务中心生产的S2S数据配置差异较大造成数据交换、同步较难这一问题,采用基于FTP（file transfer protocol）的数据推送和基于ECMWF（European Center for Medium-range Weather Forecasts）WebAPI主动数据下载相结合的方式,说明数据交换、同步方法和策略。由于S2S数据量巨大难以高效管理服务,已设计统一的数据组织形式和存储规则,实现根据数据检索条件解析获取数据存储位置,提供便捷的数据检索下载服务。自2015年11月15日中国气象局S2S数据门户系统对外开放,目前数据门户系统已有超过18个国家的300个用户注册并下载数据。     

基于多线程流水线的光盘自动刻录技术研究

海量气象数据的长期归档保存是气象局的重要业务之一,传统的数据归档方式已经不能满足需要。基于多线程流水线的气象数据光盘自动归档方法可以解决海量数据归档的问题。利用该方法针对这一问题提出很好的解决方案,并完成了系统的开发、获得较好应用效果。系统通过基于线程流水线技术的多任务并行处理机制,大大缩短了海量数据的分类、压缩、光盘数据生成与刻录的整体运行时间。该系统每天能处理981.8GB,刻录数据577.3GB(以50G的蓝光光盘为例)。     

基于ZABBIX气象信息业务监控告警方法实现

本文在贵州省气象信息中心搭建的基于ZABBIX框架气象数据实时监控平台的基础上,主要对该架构监控流程、企业微信告警服务接入等功能的实现进行了介绍,利用ZABBIX的开源框架的企业微信告警接口分别对接本文开发程序模块和睿象云智能告警平台,实现对气象系统监控到的故障进行企业微信告警推送,使运维人员及时发现异常故障事件并对其进行快速的响应与恢复,从而为气象大数据云平台资源的自动化运维提供支撑和帮助,使气象数据故障维护的效率得到大幅提高,以此保证气象数据服务应用的及时性和可靠性。     

省级气象信息共享系统的设计与实现

针对省级气象业务对气象信息管理与共享服务的需求,提出了一套气象信息管理与共享服务系统建设模型。该模型实现了对海量气象信息的有效管理,能够提供气象信息的高效定位、检索,以及要素级的数据服务等功能。系统采用消息型中间件技术,为二次开发提供了便捷的接口,一方面使数据库的安全性和访问效率得到保障,另一方面支持各种不同开发环境和编程语言对数据库的访问,由此实现了开放式的气象信息共享服务。基于该模型开发了省级气象信息共享服务系统,并投入业务应用,对省级业务提供信息支撑作用。     

TIGGE数据接收问题分析与解决

2010年1月欧洲中期天气预报中心（ECMWF）开始提供高分辨率产品,中国气象局TIGGE （THORPEX Interactive Grand Global Ensemble）数据接收完整性受到较大影响,数据丢失量大,针对此问题,对数据接收环节进行了逐一分析,发现数据共享软件（全球气象数据共享系统）使用的TCP传输协议在高带宽、高时延网络环境下存在性能瓶颈,制约了当前网络吞吐量的提高,不能满足每天大数据量的传输要求。通过对TIGGE系统的TCP接收窗口大小进行调整,提高了TCP协议性能和当前网络吞吐量。调整后,中国气象局数据接收情况与全球其他业务中心基本一致,实现了对全球各中心数据的完整接收。     

风云气象卫星数据存档与服务系统

国家卫星气象中心依托风云卫星工程,对多批次工程建设采取统一设计、滚动开发、分批扩展的方法,建成气象卫星数据存档与服务系统。系统架构于多个高性能计算机集群,应用可配置的动态加载容器和多机作业负载均衡并发处理技术将集群构建为高扩展性、高可用、高效率的业务系统。对Internet的全集数据共享技术、分布式时空一体化数据库存储技术、基于WebGIS的全球卫星影像发布技术、可视化处理与显示技术、三维地球影像发布技术、多源数据融合处理技术等多项关键技术进行研究与应用,为用户提供多种数据共享服务方式,提高了数据下载效率。目前,国家卫星气象中心已存档国内外21颗气象卫星801类共1150 TB数据,为24258个注册用户提供各类数据共享服务,该系统亦可通过配置扩展,适应未来国家卫星气象中心数据存档与服务的需求。     

Early Flood Warning for Linyi Watershed by the GRAPES/XXT Model Using TIGGE Data

Early and effective flood warning is essential for reducing loss of life and economic damage.Three global ensemble weather prediction systems of the China Meteorological Administration (CMA),the Europe...     

统一检索界面技术初探

气象信息存储检索系统是将实时气象资料和历史气象资料进行统一的组织和管理，并提供检索服务的系统。由于数据量大，不可能都放在存取速度快但价格较高的磁盘上，因此必须将数据根据其访问频率分别存储在一级磁盘、二级自动磁带库和三级脱机磁带上，并结合使用商用数据库管理系统、数据迁移软件和存档软件对分布在各级存储设备上的数据进行管理。但由于这些软件之间存在的不衔接，不能对三级存储没备上的数据进行统一管理，也带来了用户检索界面不统一的问题。针对这个问题，本文对基于商用数据库技术的磁盘磁带数据的统一检索界面技术进行了探讨和研究，提出了统一检索界面的解决方案并在一定条件下，实现部分关键技术。     

一种地市级气象数据库的设计与应用

面向地市级气象业务数据库系统存在的数据管理分散、数据流程不统一等问题,以气象数据为核心,从标准化、规范化数据库建设的角度,提出一种气象数据库系统架构与设计方法。从逻辑结构、物理存储方面对气象数据进行划分,设计了气象数据的物理存储模型和数据统一访问规范。基于RabbitMQ消息中间件和元数据技术实现了多种气象观测资料的采集、传输、入库、备份的统一处理。通过消息数据与元数据的映射关系,增强了多源气象数据处理的灵活性和可扩展性。该系统已经投入业务使用,为气象数据管理和公共服务提供稳定、高效的数据支撑,取得较好的应用效果。     

省级气象计量检定业务自动化系统

省级气象计量检定业务自动化系统 (以下简称系统) 是省级气象计量部门的业务应用平台, 以提高其业务管理水平、工作效率和检定质量。系统基于现有省级气象计量标准硬件设备,辅之以自动化智能控制技术,采用B/S和C/S软件开发模式,实现检定业务的数字化、信息化和自动化。该系统包含计量业务管理和自动化检定两个子系统,共用同一个检定数据库。计量业务管理子系统由仪器收发、常规仪器检修、系统管理、预警超检、报表处理、综合查询统计、计量器具管理等模块组成;自动化检定子系统包括温度、湿度、气压、风、雨量等传感器的自动化检测,能够自动采集数据、自动生成原始记录和检测证书。系统的业务应用表明:系统自动化程度高,提高了业务管理水平、工作效率和检定质量。     

基于TIGGE数据的我国寒潮自动识别预报方法

利用1951—2006年中央气象台寒潮天气过程数据以及NCEP/NCAR 500 hPa高度场等逐日再分析资料,通过客观聚类方法与主观对比分析确定寒潮爆发的典型形势场,结合寒潮过程特征量阈值,建立了基于TIGGE集合预报产品的寒潮自动识别客观预报方法,并利用TIGGE集合预报数据对2008年1月和2009年1月两次寒潮天气过程进行预报试验。结果表明:利用500 hPa高度距平场进行聚类分析,一方面可以消除环流季节特征对划分结果的影响,另一方面也突出了寒潮这种强天气的异常扰动表现;基于集合预报产品的寒潮自动识别预报方法浓缩了集合预报产品信息,可直接为预报员提供寒潮发生的概率预报,从而在集合预报产品与我国实际灾害性天气之间建立了直接联系。     

THORPEX国际科学研究新进展

2009年9月14—18日,第三届THORPEX国际科学研讨会在美国加州蒙特利市顺利召开。大会就五个专题进行学术交流,分别是全球交互式预报系统,区域活动和交叉研究主题,可预报性和动力过程,资料同化和观测策略,社会和经济效益研究及应用。本文简要总结了参与此次研讨会的各区域、各工作组及与会专家的最新研究成果。从会议的报告来看,THORPEX的进展主要表现在改善高影响天气外场观测活动以及对如何设计全球观测系统的认识、面向TIGGE的集合预报技术的研究等。     

长江流域雨情监测分析系统及其关键技术

介绍长江流域雨情监测分析系统的总体设计与关键技术实现。系统利用新一代气象通信系统及现代信息存储技术,实现了长江流域12个省(市)气象部门的703个国家级自动气象站、12000余个区域级自动站等资料的实时收集、监控、质量控制、存储及共享,满足了流域雨情资料实时监测、分析业务的高时效性、高质量性的应用需求;利用长江流域气象历史和实时资料,实现了长江流域及其子流域日、月、季、年等固定时间尺度及任意时段的雨情监测,并利用物理统计方法,提炼出长江流域不同年代不同季节的降水空间分布;采用基于Flex的WebGIS框架设计,实现了人机交互实时分析,满足了在多用户并发条件下高密度自动站数据的快速响应。该系统的建成为三峡梯调中心提供了一个集气象信息收集、整理、加工分析、基于WebGIS展示分析产品等功能为一体的业务应用系统,为长江三峡水利枢纽综合调度和上游水资源开发利用提供气象服务技术支撑。     

沈阳天气预报业务自动化平台的开发研制

为了适应天气预报业务现代化、自动化发展的需要,应用VB,VF,VC,FORTRAN等多种语言,借助于Arcview地理信息系统及其空间分析模块、可视会商视频和9210工程等多项技术,开发研制了沈阳天气预报业务自动化平台,借以提高气象预报工作效率和质量。