基于CIMISS的气象数据处理时效监视系统设计与实现

针对气象信息网络常规运行监控业务需要,结合气象信息共享系统(China Integrated Meteorological Information Service System,简称CIMISS)的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

地面气象观测无人值守系统的设计与应用

气象观测数据的传输率和可用率是气象预报服务及时准确的基础,是衡量通信系统运行可靠程度及运维保障能力的关键指标。长期以来,各级业务人员通过不间断值守班来保障气象观测数据的传输质量。随着现代化气象业务体系的不断发展,气象业务对资料传输的时效性、完整性要求也越来越高,对气象资料的综合监控能力也提出了更高的要求。在全国地面气象业务体制改革的要求下,广西率先在全国实行了基层台站无人值守业务调整,设计并实现广西地面气象观测无人值守系统。该系统集数据传输监控、数据传输时效统计于一体,通过自动监控告警、主备站资料(要素)智能识别替代、双条传输链路热备等设计,建立一套无人值守传输业务流程,从技术上支撑业务改革调整,大大降低基层业务人员工作强度。业务应用分析表明,无人值守系统运行可靠,业务质量保持高水平稳定,业务效益凸显。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

海量气象站点数据分布式存储测试及其应用

站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。     

江西省CIMISS降级备份系统的设计与实现

为提高CIMISS数据服务能力,研究CIMISS系统数据处理和服务流程,梳理分析了CIMISS数据处理入库积压原因,针对可能出现因软、硬件异常导致CIMISS数据服务性能大幅下降的情况,根据系统结构特点和数据服务需求,设计了CIMISS降级备份系统。通过运行测试发现,该降级备份系统可稳定提供气象业务所需的基本气象资料,能有效应对CIMISS数据服务终止等极端事件,同时显著提高CIMISS中本地化数据的入库处理效率。     

地市级气象综合观测自动化监控报警系统的设计与应用

以全国综合气象信息共享平台（China Integrated Meteorological Information Service System,简称CIMISS）内气象资料为数据源,设计一个气象综合观测自动化监控报警系统,实时监控观测数据的传输情况,同时通过收集历年来各地区观测到的历史极值、故障和数据异常情况,建立要素阈值算法判断气象观测数据是否异常,并将异常告警信息分别推送至电脑端和手机微信端,方便气象工作人员查看,及时进行故障处理。该系统集多个监控平台为一体,对气象观测数据监控和告警效果良好,大大提高台站维护维修工作效率,进一步提升了气象装备保障能力,对推进气象现代化、智能化、自动化具有重要意义。     

地面气象资料一体化统计加工系统设计与实现

地面气象资料一体化统计加工系统是基于国省统一的CIMISS数据环境,准实时生成日、候、旬、月、年值等统计产品的业务系统,能够满足用户对准实时质控后地面气象资料统计值的业务需求。本文主要介绍地面气象资料实时历史一体化统计加工系统的开发,从软件的需求分析、统计方法、功能实现、关键技术等方面阐述了如何在技术上实现地面气象资料一体化统计加工系统。通过运行策略配置,实现了系统定时自动运行,进一步丰富了CIMISS系统地面气象资料的产品库。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。