全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

微服务在气象数据服务中的应用研究

在气象数据服务逐渐接口化背景下,MUSIC作为CIMISS气象数据接口服务的主要系统,得到了各级业务部门的广泛应用,但也存在不完善和使用难等问题。基于MUSIC以微服务架构设计与开发气象数据服务系统,扩充了MUSIC接口,实现了接口编制、编排和图形化使用,提升了接口使用人性化水平,增强了MUSIC业务支撑能力和业务适应性。     

CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

CIMISS中气象观测资料处理入库效率优化方法

气象资料种类多、海量、格式多样复杂,造成综合气象信息共享系统(CIMISS)巨大的处理压力。以高空L波段数据作为个例,进行详细的分析,在数据库表设计上,通过"键-要素"的拆分方式减少数据库冗余,建立合理的索引和分区提高数据表访问效率。在处理流程方面,通过简约化流程减少系统间消息交互和IO,从而优化系统的存储效率。同时简约流程中对比PRO*C和OCI两种入库方式,PRO*C简单高效便于开发,而OCI功能全面但相对复杂,通过比较两种入库方式的效率,系统采用PRO*C方式。高空L波段数据实际运行效果表明,平均28s完成一份数据的处理。对比高空探测数据的处理,简约流程比原流程入库更快。     

陕西省气象信息服务系统的设计与实现

陕西省气象信息服务系统以全国综合气象信息共享平台(CIMISS)作为数据源,采用B/S模式开发,实现了气象要素检索下载、温度、降水量曲线绘制、气温色斑图显示等功能。应用实践表明,以CIMISS作为数据源,解决了气象信息数据源不统一的问题,且可为用户提供丰富多样的基础气象数据服务产品。     

陕西气象陕西省气象信息服务系统的设计与实现

陕西省气象信息服务系统以全国综合气象信息共享平台（CIMISS）作为数据源,采用B/S模式开发,实现了气象要素检索下载、温度、降水量曲线绘制、气温色斑图显示等功能。应用实践表明,以CIMISS作为数据源,解决了气象信息数据源不统一的问题,且可为用户提供丰富多样的基础气象数据服务产品。

     

怀化市CIMISS资料查询统计系统的设计与实现

基于全国综合气象信息共享系统(简称CIMISS)数据环境和C/S架构,采用Visual Studio 2010、SQL Server 2005和SharpMap开发了怀化市CIMISS资料查询统计系统。系统调用气象数据统一服务接口(简称MUSIC),获取湖南省境内及怀化周边地区所有站点的地面气象资料,建立数据库。通过数据检索、数理统计等方法,实现任意要素快速处理,形成多种可视化产品,提高气象决策服务的准确性、时效性以及预报人员的工作效率、工作质量和服务质量。     

基于RBAC的气象多维数据权限管理模型的建立

在传统的基于角色访问权限管理 (RBAC) 模型基础上结合气象数据自身特点及共享服务中的权限控制需求,提出了一种符合气象资料管理特点的多维度权限管理模型。该模型充分考虑了气象数据进行资源共享时资料分类众多、层次化结构复杂、检索粒度不同等特点,有针对性引入了客体维度概念和更灵活的权限管理机制,较好地满足了气象部门数据共享服务系统建设的需求。该方案作为全国综合气象信息共享平台 (CIMISS) 数据服务权限控制模型的前期试验研究,构建一个多维数据权限管理原型系统用于数据访问控制。作为通用性模型,该模型可以延伸用于气象数据服务类系统应用,对确保数据库的信息安全、防止用户越权访问数据、保障管理信息系统的正常运行具有重要意义。     

Python语言在CIMISS中的应用

CIMISS实现了国家级气象数据的整合集约,国省首次建立了统一的数据环境,并通过标准统一、功能丰富、调用高效的气象数据统一服务接口MUSIC。本文介绍了Python编程语言特性,及其相对于IDL,Fortran,Matlab等气象行业常用编程语言的优势。阐述了Python在国外气象行业中的应用,以及如何调用CIMISS的客户端SDK,Web Services以及Rest服务接口。气象科研人员通过掌握Python编程语言,能够快速地从CIMISS中获取和处理气象数据,并可以使用Python进行各类气象数据的处理。     

“秦云工程”气象数据对接的设计与实现

依托以CIMISS为核心的省级集约化气象数据环境,通过架构分析、接口定制、数据同步、存储和数据服务等关键技术环节的研究,实现"秦云工程"气象云的数据对接。为开展其他行业大数据接入"秦云工程"并进行交换和共享,具有一定的指导与参考意义。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

积温效应在电力日峰谷负荷中的应用及检验

从电力气象服务需求出发,利用2001—2010年5—9月河北省南电网逐日电力日峰负荷、日谷负荷与对应时间的气象资料,探讨晴热天气和闷热天气对电力日峰负荷、日谷负荷的影响特征。分析发现持续3 d以上的闷热天气相对晴热天气使电力日峰负荷、日谷负荷增长更显著;日最高气温32℃是引起河北省南电网日峰负荷增长的初始气温敏感点,35℃为强气温敏感点,38℃为极强气温敏感点,日最低气温25℃为引起日谷负荷增加的敏感气温临界点;建立了引入积温热累积效应的日峰负荷、日谷负荷多元回归气象预测模型,经2011—2013年应用检验,日峰负荷、日谷负荷预测平均相对误差分别为4.8%和3.5%,提高了预测准确率,对电力调度具有参考价值。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

省级区域站数据直传监控系统设计与实现

全国省级区域站数据传输业务流程逐步由市级转发省级调整为直传省级,省级区域站中心站成为数据传输的枢纽。区域站数据传输业务的调整给省、市、县3级区域站运维保障工作带来了一定的挑战。为了应对统一管理难、监视难、故障诊断难的挑战,本文设计并实现了一种省级区域站数据直传监控系统。该系统依托CIMISS系统和省级区域站中心站,基于Django框架实现了CIMISS CTS环节、省级区域站中心站环节、区域站报文来源环节、区域站电池环节的监视和展示,以及区域站报文历史传输情况的展示和故障诊断。该系统已经投入业务应用,进一步提高了全省区域站数据传输业务的运维保障能力。     

地面气象资料一体化统计加工系统设计与实现

地面气象资料一体化统计加工系统是基于国省统一的CIMISS数据环境,准实时生成日、候、旬、月、年值等统计产品的业务系统,能够满足用户对准实时质控后地面气象资料统计值的业务需求。本文主要介绍地面气象资料实时历史一体化统计加工系统的开发,从软件的需求分析、统计方法、功能实现、关键技术等方面阐述了如何在技术上实现地面气象资料一体化统计加工系统。通过运行策略配置,实现了系统定时自动运行,进一步丰富了CIMISS系统地面气象资料的产品库。     

雷电资料分析处理系统的设计与应用

为了充分发挥雷电资料的作用,解决资料的质量问题,建立雷电综合数据库及其资料分析处理加工平台。基于JavaScript的WebGIS框架和CIMISS数据库,设计开发了具有数据处理和质量控制、分析和应用功能的雷电资料分析处理系统,建立了以闪电、大气电场、雷暴日和雷击灾害数据为主要内容的雷电信息数据库。该系统能够实时监测卫星、雷达、闪电、大气电场等多种探测信息,开展雷电数据的质量控制,回演、动态播放历史信息,具有信息查询统计、分析绘制曲线、制作雷电报告等多项功能,为防雷业务、科研和服务工作提供方便、高效的应用工具和技术平台。以2015年6月1—2日湖北监利县的一次强雷电天气过程为例,通过对这次雷电过程的应用实践表明:雷电资料分析处理系统闪电监测准确,图表绘制快速,统计分析结果适用,能够满足防雷业务及科研工作的需要,为高效开展雷电灾害防御和服务提供了高效的基础性平台。     

榆林市气象防灾减灾服务系统的设计与实现

该文介绍了榆林市气象防灾减灾智慧服务系统研发目的、所采用的技术及功能特点。以CIMISS、秦智—陕西网格预报智能解析应用子系统和陕西省短时临近智能预报服务系统的最新成果以及榆林市气象数据综合服务平台为系统的数据来源,以Andiord系统的智能电视或广告机等硬件为预警终端,自动显示和更新各类气象实况和预报预警信息,实现了服务精细的要求。