WMO信息系统中气象元数据的设计与实现

随着越来越多基于网络、自动化的信息共享系统的广泛使用,元数据已成为不同学科间共享信息的关键。近年来气象数据的应用领域不断扩展,气象数据面临着海量信息流通共享的迫切需要,由此气象元数据应运而生。该文介绍的气象元数据是在满足WMO (世界气象组织) 信息系统提出的包括提供在线元数据、数据目录服务和提高元数据定义、收集、归档和交换的标准化水平在内的总体需求的背景下,依据WMO核心元数据标准设计并由自开发程序自动生成的。北京GISC系统是WMO信息系统中承担区域间及全球资料交换的主干通信中心之一,至2012年1月,北京GISC系统制作并提供系统内全部数据对应的气象元数据,共计约12万条。     

基于OAI PMH协议的WMO信息系统元数据同步功能设计与实现

WMO信息系统(WIS)的一项重要功能是提供与数据存储位置无关的数据发现、访问和检索服务,而实现这一功能的最简便途径之一就是元数据同步。OAI-PMH协议因其简单性、开放性和可操作性,在元数据同步领域得到广泛应用。在简要介绍OAI-PMH协议的基础上,设计了WIS元数据同步功能。WIS元数据同步模块由元数据仓储、元数据提供服务和元数据收割服务组成。详细介绍了元数据仓储的组成,以及元数据提供服务和收割服务的处理流程。采用Java语言实现了WIS元数据同步功能,并进行了详细测试。其中,元数据提供服务分别通过了开源软件JOAI和OAI官方网站的测试;元数据收割服务可成功收割DLESE和德国气候中心提供的元数据。     

气象元数据标准与信息发布技术研究

元数据在数据交换、网络信息资源发现和共享系统建设中具有很重要的作用。文章简论了元数据和元数据标准的最新研究和应用概况, 并重点介绍了WMO核心元数据标准, 以及我国气象数据集元数据格式标准制定的原则、依据和内容。还论述了元数据系统的构建和发布流程; 最后结合气象科学数据共享项目建设规划和分布式共享平台的建设实践, 详细阐述了中国气象科学数据共享服务网元数据发布系统的设计方案和实现方式。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

北京全球信息系统中心的数据缓存功能优化

世界气象组织信息系统 (WMO Information System,WIS) 是一个支撑全球气象数据交换共享的通用信息服务平台,北京全球信息系统中心作为WIS的核心功能中心之一,必须缓存最近24 h内的WMO全球交换数据以提供高效的数据访问服务。为了检查收集到的全球交换数据的合法性,需要校验每条数据是否存在与之匹配的元数据,这些元数据信息以关系型数据库方式存储在北京全球信息系统中心中。由于每日接收到的WMO全球交换数据文件个数多且收集时间分布不均,大量频繁的数据库查询操作导致处理性能下降,特别在数据密集收集的情况下容易产生较大延迟,直接影响业务的实时性。设计并实现一种基于内存对象缓存的应用优化现有通过数据库查询的校验方式,实现在内存中一次性载入元数据信息,并在内存中完成缓存数据校验的操作,以此来减少磁盘的读写访问,提升处理效率。此外,还通过多线程方法实现与缓存数据相关的功能,使该方案具有良好的扩展性。实际应用表明:数据缓存功能优化后能满足实时业务性能要求。     

时间同步技术在气象业务中的应用

在气象业务中,对时间的一致性要求很高,尤其是各种气象资料的准确同步观测对科学研究和业务应用都是非常重要的。随着观测手段和观测设备的增多,气象业务对全网时间同步的需求也越来越迫切。文章介绍了时间同步技术中的NTP协议的原理、工作模式和体系结构,设计了广东气象业务时间同步方案并用于实际业务中,取得了很好的业务效果。     

浅谈自治区级气象数据集系统的建设

气象科学数据是国家重要的基础性、公益性科学数据资源，是我国历史资料年代长、保存完整的地球信息资源之一。通过收集、整合、集成、标准化和归一化处理的气象数据是气象信息系统中最核心和最基本的组成部分，也是气象信息系统建设和提供气象服务的最重要的内容。根据“中国气象科学数据共享服务网”的总体设计思路和要求，内蒙古气象信息中心，组织科技业务人员，重点围绕数据标准规范、数据集建设和共享平台研制等方面加强全区气象信息共享平台（网站的设计制作、全区气象数据的收集、存储、整编，历史资料、实时资料元数据的编写和共享等工作）的建设。目前，全区气象数据集系统建设已初具规模。     

WIS-WMO未来信息系统

WIS（WMO In formation System，WMO信息系统）是WMO的下一代信息系统，是WMO建立的一个通用、综合的、高效的信息服务平台，用于支撑WMO各项计划及其相关中心、国际组织和计划的数据交换和共享。而WMO传统的气象水文资料通信系统一GTS（Global Telecommunication System；全球电信系统）通过点对点链路和多点链路将各国气象电信中心互连起来构成一个集成通信网络，它作为实时和关键业务资料和产品分发和交换的核心通信网络，并作为WIS的基本通信网络，将继续发展和改进，对WIS的实施做出有力贡献。在GTS的支撑之下，未来WIS提供的服务内容更多，服务手段和方式更丰富。     

基于XML的气象数据订阅系统设计

随着超文本标记语言(XML)成为互联网上数据表示和交换的标准,出现了许多与之相关的应用。在分析WIS/GISC数据获取的功能和性能需求基础上,设计一套基于XML的异步通信气象数据订阅系统。介绍该订阅系统的建设背景、主要用途和适用范围,描述了通过XML描述气象元数据、订单和分发元数据的方案、订阅功能设计和并行处理模式,给出了系统的数据流程。设计方案在实际系统中得以实施,达到了应用需求。     

基于ElasticSearch的气象大数据原型系统

该文介绍了一种基于ElasticSearch智能搜索引擎的气象大数据原型系统的搭建方案,通过实现结构化气象数据同步、典型应用场景测试、业务系统接入等流程,将大数据原型系统与全国综合气象信息共享平台(CIMISS系统)进行了对比。结果显示,在结构化数据检索和统计分析方面,气象大数据原型系统具有明显的性能优势。     

气象元数据应用研究进展

对元数据及元数据标准在国内及气象部门内的研究进展情况进行分析,然后讨论了目前气象业务发展中气象数据管理和共享中存在的问题,并对元数据的需求提出一些展望。     

气象信息共享平台及其关键技术研究

气象信息共享平台作为新一代气象信息管理系统, 将极大提升现有的气象信息管理水平和对业务科研的支撑能力。该文首先介绍了气象信息共享平台的概念、内涵及其系统框架, 然后从数据资源管理和共享发布两个方面分别介绍了元数据技术、数据网格技术、海量数据存储管理技术、数据挖掘技术等构建气象信息共享平台的关键技术, 最后以两个关联的系统开发实例对我国气象信息共享平台发展思路和技术路线进行了探讨。     

基于元数据的暴雨基础数据库系统设计与简介

针对气象数据来源多样、格式众多、时序性强的特点,从暴雨资料现状出发,结合暴雨资料共享需求,参考国内外气象科学数据共享相关技术,提出一个基于元数据的暴雨数据库系统设计及实现方法,建立一个以暴雨过程为核心的暴雨基础数据库系统。该系统融合了暴雨过程发生时间段内的各种地面、高空、雨量等常规气象要素资料和雷达卫星、暴雨数值预报资料等非常规气象要素资料,以及地基GPS/MET、微波辐射计、边界层风廓线等暴雨外场监测资料。该系统共享平台作为中国气象科学数据共享服务网的分节点,自2009年正式运行以来,效果良好。     

地面气象台站元数据质量控制分析

气象台站元数据包含了可能影响气候资料序列均一性的重要信息,是分析、检验、订正气候资料序列的科学参考依据,只有经过质量控制与处理的气象台站元数据才能真实的反应其对气候资料序列非均一性的影响程度。针对气象台站元数据可能存在的疑误信息,设计了一套适用于地面气象台站元数据的质量控制技术,采用格式检查、内部一致性检查、时间连续性检查等方法进行质量控制。利用该质量控制方法对全国31个省(区、市)的1428个国家站1951—2011年的台站历史沿革数据文件进行质量控制,结果表明:该质量控制方法能够有效地将疑误信息进行标识,可为气象台站元数据的应用提供可靠的质量保障。该质量控制方法已应用于气象资料业务系统(MDOS)中,并在全国省级气象资料部门业务运行。     

一种地市级气象数据库的设计与应用

面向地市级气象业务数据库系统存在的数据管理分散、数据流程不统一等问题,以气象数据为核心,从标准化、规范化数据库建设的角度,提出一种气象数据库系统架构与设计方法。从逻辑结构、物理存储方面对气象数据进行划分,设计了气象数据的物理存储模型和数据统一访问规范。基于RabbitMQ消息中间件和元数据技术实现了多种气象观测资料的采集、传输、入库、备份的统一处理。通过消息数据与元数据的映射关系,增强了多源气象数据处理的灵活性和可扩展性。该系统已经投入业务使用,为气象数据管理和公共服务提供稳定、高效的数据支撑,取得较好的应用效果。     

基于元数据技术的气象数据收发全网监控系统

在资料收集与传输层面上,根据各类气象资料的传输特性(观测频次、传输时效、文件命名等),基于元数据技术,实现了台站到省,省到国家气象局、卫星广播资料等各类气象资料收发自动化实时监控,以B/S和C/S 2种方式展示给用户,除了按时次、报类、站点、时序图、GIS地图等多种功能的监控外,还实现了异常数据收发的语音报警、短信通知及传输质量报表统计和评估功能,系统可扩展性好,功能齐全,能够满足现有业务和今后业务发展的需要,已在实际业务中发挥了很好的效益,大大减轻了工作量,为数据收发、网络运行及相关业务系统的监控提供了自动化手段.