应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

江西省CIMISS降级备份系统的设计与实现

为提高CIMISS数据服务能力,研究CIMISS系统数据处理和服务流程,梳理分析了CIMISS数据处理入库积压原因,针对可能出现因软、硬件异常导致CIMISS数据服务性能大幅下降的情况,根据系统结构特点和数据服务需求,设计了CIMISS降级备份系统。通过运行测试发现,该降级备份系统可稳定提供气象业务所需的基本气象资料,能有效应对CIMISS数据服务终止等极端事件,同时显著提高CIMISS中本地化数据的入库处理效率。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

陕西省精细化气象格点预报数据环境的设计与实现

为了有效支撑陕西省精细化气象格点预报业务运行,从底层架构和数据流分析入手,提出了基于CIMISS标准框架的精细化格点预报数据环境的设计方案。包括硬件平台、数据清单、数据存储、数据共享、数据管理等关键环节,并遵循"冷热分离、读写分离、集中化管理、多样化共享"的原则,给出了优化实现方法。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

强对流天气资料同化和临近预报技术研究

随着气象大数据云平台“天擎”正式业务化运行,提升大数据算法的运行效率和加强算力资源的优化配置已成为亟需解决的问题。从系统的建设需求、总体架构以及实现方式等问题出发,探讨了气象大数据算力资源优化管理系统的设计思路和若干关键技术,得出以下结论：系统基于B/S架构,以“天擎”为数据中台,以容器作为算力资源供给和优化管理对象,包括加工容器调度和容器平台管理两个子系统;加工容器调度子系统包括账户创建、资源授权、镜像制作、算法注册、算法加载、任务定义、任务启动、任务日志收集等功能,用户可以在调度平台上灵活地实现任务的触发;任务被触发后,加工容器调度子系统在容器平台中创建容器、执行任务并实时监控任务执行期间容器的使用情况;容器平台管理子系统基于Kubernetes的容器编排引擎,将算法配置的资源与可分配资源进行对比,完成配置文件拼装、资源部署脚本下发、节点预选优选,最终获取算法的运行结果;综合运用多节点均衡调度、算法资源精细化匹配、容器运行资源隔离、镜像存储故障恢复、容器和算法故障监控等关键技术,有效提升了容器算力资源调度能力、可靠性和资源利用率。

     

基于CIMISS的气象数据处理时效监视系统设计与实

针对气象信息网络常规运行监控业务需要,结合气象信息共享系统（China Integrated Meteorological Information Service System,简称CIMISS）的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。     

基于CIMISS的气象数据处理时效监视系统设计与实现

针对气象信息网络常规运行监控业务需要,结合气象信息共享系统(China Integrated Meteorological Information Service System,简称CIMISS)的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。     

基于CIMISS的气象观测数据标准化现状分析

选取广西具有代表性的区域自动气象站、GNSS-MET和回南天三类观测数据资源,通过分析和研究气象资料收集、传输及数据标准化现状及其业务中存在问题和瓶颈,探索以CIMISS标准为基础,再造流程、整合业务及制定数据标准,为广西气象特色观测数据标准化工作提供参考.     

基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

积温效应在电力日峰谷负荷中的应用及检验

从电力气象服务需求出发,利用2001—2010年5—9月河北省南电网逐日电力日峰负荷、日谷负荷与对应时间的气象资料,探讨晴热天气和闷热天气对电力日峰负荷、日谷负荷的影响特征。分析发现持续3 d以上的闷热天气相对晴热天气使电力日峰负荷、日谷负荷增长更显著;日最高气温32℃是引起河北省南电网日峰负荷增长的初始气温敏感点,35℃为强气温敏感点,38℃为极强气温敏感点,日最低气温25℃为引起日谷负荷增加的敏感气温临界点;建立了引入积温热累积效应的日峰负荷、日谷负荷多元回归气象预测模型,经2011—2013年应用检验,日峰负荷、日谷负荷预测平均相对误差分别为4.8%和3.5%,提高了预测准确率,对电力调度具有参考价值。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

CIMISS中气象观测资料处理入库效率优化方法

气象资料种类多、海量、格式多样复杂,造成综合气象信息共享系统(CIMISS)巨大的处理压力。以高空L波段数据作为个例,进行详细的分析,在数据库表设计上,通过"键-要素"的拆分方式减少数据库冗余,建立合理的索引和分区提高数据表访问效率。在处理流程方面,通过简约化流程减少系统间消息交互和IO,从而优化系统的存储效率。同时简约流程中对比PRO*C和OCI两种入库方式,PRO*C简单高效便于开发,而OCI功能全面但相对复杂,通过比较两种入库方式的效率,系统采用PRO*C方式。高空L波段数据实际运行效果表明,平均28s完成一份数据的处理。对比高空探测数据的处理,简约流程比原流程入库更快。     

MICAPS4预报业务系统建设进展与未来发展

以精细化预报为标志的现代天气预报业务对高时空分辨率气象数据的应用提出了更高的需求,而传统的预报分析制作系统MICAPS3（Meteorological Information Comprehensive Analysis and Processing System Version 3）无法满足符合大数据特征的实时预报相关的数据应用。同时,模式预报和集合预报应用已在各专业预报领域中发挥越来越重要的作用,网格预报产品正在涵盖全部的预报业务流程,而MICAPS3无法提供便捷高效的支撑。为解决上述问题,国家气象中心启动了MICAPS4建设,一方面建立了基于大数据的气象实时预报应用技术体系,解决了气象大数据处理、存储、分析和显示效率的关键技术难题;另一方面搭建了多个满足不同复杂预报业务需求的专业化版本。MICAPS4将信息化技术与预报技术、预报业务流程紧密结合,解决了现代化预报方法的平台化集成应用与精细化预报制作的关键技术难题,基于MICAPS4基础框架的多个专业版在中央气象台和部分省级气象台进行业务化应用推广。基于CIMISS（China Integrated Meteorological Information Sharing System）-MICAPS4的海量数据存储环境,极大减轻了系统部署和本地化工作量,显著提升了数据解析及数据存储访问效率。     

省级区域站数据直传监控系统设计与实现

全国省级区域站数据传输业务流程逐步由市级转发省级调整为直传省级,省级区域站中心站成为数据传输的枢纽。区域站数据传输业务的调整给省、市、县3级区域站运维保障工作带来了一定的挑战。为了应对统一管理难、监视难、故障诊断难的挑战,本文设计并实现了一种省级区域站数据直传监控系统。该系统依托CIMISS系统和省级区域站中心站,基于Django框架实现了CIMISS CTS环节、省级区域站中心站环节、区域站报文来源环节、区域站电池环节的监视和展示,以及区域站报文历史传输情况的展示和故障诊断。该系统已经投入业务应用,进一步提高了全省区域站数据传输业务的运维保障能力。     

基于WebGIS的实况网格产品应用分析平台及关键技术

实况网格产品是智能网格预报业务重要数据源。为满足气象业务及气象服务对实况网格产品的服务需求,在实时收集和处理各种实况网格产品基础上,采用JavaScript、HTML、CSS等web技术,构建了基于WebGIS的实况网格产品应用分析平台。采用Leaflet、Canvas等技术搭建了基于HTML5的WebGIS框架,实现了各种实况网格产品叠加地理信息统一展示。通过格点与站点观测数据的对比分析,提供产品的实时数据质量评估分析。基于网格格点,实现任意区域、不同要素等级的格点面积及面积比例等定量指标的统计分析。平台自投入业务应用以来,为各级业务应用和精细化气象服务提供了数据支撑。平台基于全国统一的数据环境和参数配置方式,具有很强的应用推广价值。