北京全球信息系统中心的数据缓存功能优化

世界气象组织信息系统 (WMO Information System,WIS) 是一个支撑全球气象数据交换共享的通用信息服务平台,北京全球信息系统中心作为WIS的核心功能中心之一,必须缓存最近24 h内的WMO全球交换数据以提供高效的数据访问服务。为了检查收集到的全球交换数据的合法性,需要校验每条数据是否存在与之匹配的元数据,这些元数据信息以关系型数据库方式存储在北京全球信息系统中心中。由于每日接收到的WMO全球交换数据文件个数多且收集时间分布不均,大量频繁的数据库查询操作导致处理性能下降,特别在数据密集收集的情况下容易产生较大延迟,直接影响业务的实时性。设计并实现一种基于内存对象缓存的应用优化现有通过数据库查询的校验方式,实现在内存中一次性载入元数据信息,并在内存中完成缓存数据校验的操作,以此来减少磁盘的读写访问,提升处理效率。此外,还通过多线程方法实现与缓存数据相关的功能,使该方案具有良好的扩展性。实际应用表明:数据缓存功能优化后能满足实时业务性能要求。     

基于MQ的气象数据采集与监控系统设计

针对气象业务和公共服务对气象数据统一管理与监控的需求,基于MQ(Message Queuing)消息中间件技术,设计并实现了一种气象数据采集与监控系统,由于多种气象探测设备数据源分散、难以统一管理,本文从数据采集端入手,对不同种类,格式各异的气象采集数据进行资料种类划分、数据消息规整、采集路由配置等方式实现了多种气象探测数据采集流程的统一,气象数据采集入库灵活及时,在数据流程环节中进行监控码的规范与定义,通过输出日志信息和监控信息,完成了客户端程序、气象数据更新状态、队列服务器等内容的监控,在装备运维的过程中,能够有效辅助于日常的故障发现与定位。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

多源气象数据融合格点实况产品研制进展

阐述了中外主要的多源气象数据融合产品研究进展与趋势,重点介绍了中国气象局国家气象信息中心研制的陆面气象要素（包括气温、降水、湿度、风、气压、辐射等）、土壤温度与土壤湿度、洋面温度与洋面风、三维云等多源融合格点产品研发现状,以及中国气象局国家气象信息中心多源数据融合中试平台及统一质量检验评估系统的进展,并对未来多源气象数据融合产品研制进行了展望。      

气象信息传输业务流程优化的初步分析

以雷达、自动站、T213数值预报产品及卫星4种资料为例, 应用规范的流程分析方法分别绘制了其传输流程图, 在此基础上选定了几个关键时间点(资料产生时刻、资料到省气象局时刻、省气象局发送时刻、国家气象信息中心接收时刻、国家气象信息中心广播时刻、省气象局广播接收时刻等), 并据此定义了几个关键性能指标(KPI:key performance indicator), 通过传输时效测试, 捕获了4类资料端到端流程中各关键点时刻, 然后进行定量统计和分析, 针对分析中揭示的影响时效的关键环节进行诊断, 提出优化调整方法并实施, 较大地提高了传输时效, 取得了很好的业务效果。     

省级新一代气象通信系统传输流程的设计与实现

新一代国内气象通信系统是继“9210工程”之后,国内气象通信系统的升级,建立了国家级和省级数据传输、通信数据处理和系统监视的统一管理平台。按照全国气象宽带网建设计划,新一代国内气象通信系统将取代现行气象通信系统。目前正与现行业务并行,这既是新一代国内气象通信系统测试系统及软件功能的需要,也是省级信息传输部门进行本地化配置、流程整理的需要。辽宁在分类流程梳理的基础上,建立了与现行通信系统并行的新一代气象通信系统传输业务流程,并投入业务试运行。雷达产品和基数据通过PUP软件、自动站资料、风能资料等由中心站软件实现向新一代通信系统传输,其他资料由9210通信服务器和雷达传输服务器转发到新一代通信系统。结果表明：在不影响现行业务的前提下,实现了省内所有气象信息通过新一代通信系统向国家气象信息中心传输,满足了新一代通信系统的测试和本地化应用的需要。流程设计合理,可满足气象信息传输质量考核要求。最后,介绍了现行通信系统传输流程、新一代通信系统传输流程设计目标、设计原则、设计方案及运行效果。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

标准化气象数据服务接口设计与实现

为统一气象应用系统数据对接方式,规范气象数据使用环境,以国省两级气象信息化行动方案为纲领,采用Spring Boot和Spring Cloud微服务框架,设计和开发了标准化气象数据服务接口。标准化气象数据服务接口遵循气象信息化标准体系,采集和加工各类气象数据后汇入气象数据资源池,统一通过RESTful API发布数据,为全宁波市气象应用系统提供标准化数据对接服务。该接口改变了应用程序直接读取数据库的旧模式,降低了应用系统的开发成本,同时加强了运维部门对各类气象数据访问的监控和管理。文章主要介绍了气象数据服务接口的设计和开发过程,并详细描述了开发过程中涉及的接口规范、业务流程和关键技术。     

实时气象报文的手工转发

在规定的时间内及时、准确地将实时气象资料发往北京主站及各用户 ,是网络值机员的职责 ,特别是在网络和系统异常 ,或者因地区台、县站停电、机器故障等 ,造成报文无法自动转发 ,需大量手工抄报和手工转发 ,最多时竟达 2 0多站。这种情况下 ,要保证上行报文的传输时效 ,使用以下方法 ,会提高报文传输的时效。此方法不仅选择了一条最短的传输路径 ,而且其报文编辑区大 ,一次可进行 1 0站以上报文的编辑 (而“EDU”中一次最多只能完成四站报文的编辑 ) ,还可有效避免对邮局来报流水号的中断等等。其操作过程 :点击“信息人工处理”,选择“录…     

一种地市级气象数据库的设计与应用

面向地市级气象业务数据库系统存在的数据管理分散、数据流程不统一等问题,以气象数据为核心,从标准化、规范化数据库建设的角度,提出一种气象数据库系统架构与设计方法。从逻辑结构、物理存储方面对气象数据进行划分,设计了气象数据的物理存储模型和数据统一访问规范。基于RabbitMQ消息中间件和元数据技术实现了多种气象观测资料的采集、传输、入库、备份的统一处理。通过消息数据与元数据的映射关系,增强了多源气象数据处理的灵活性和可扩展性。该系统已经投入业务使用,为气象数据管理和公共服务提供稳定、高效的数据支撑,取得较好的应用效果。     

基于数据湖的省级卫星直收站数据共享服务设计

针对省级卫星直收站数据存储分散造成共享应用不便的问题,提出卫星多源数据便捷高效访问和安全分级管理方案。引入数据湖技术,按照全国统一规范构建了基于气象大数据云平台的省级气象数据湖系统,基于此实现了FY-3、FY-4卫星地面直收站原始接收数据、加工处理产品等多种卫星数据入湖集中管理,并提供统一的数据共享服务,解决了海量多源异构数据的存储、管理和共享服务等技术难题。通过数据湖统一权限控制,实现对用户访问数据的分级管理,保障了数据应用的稳定性和安全性。通过数据湖统一文件目录服务,实现长时间序列文件的便捷快速获取,有效支撑卫星数据的服务应用和挖掘分析。     

北斗卫星应急通信传输试点建设

根据福建省气象局开展北斗卫星应急通信传输试点工作的部署和要求,在南平市气象局选择3个有代表性的台站建设北斗卫星通信传输终端,分别在南平市气象局和福建省气象信息中心建设北斗卫星通信传输接收系统（中心站）,并部署北斗通信中心站软件和终端软件,进行通信传输试点.利用北斗卫星通信系统传输国家级自动站观测数据、系统校时、文字通信功能均达到项目预期目标.传输率、误码率、时延和稳定性均能满足业务化运行的要求.实现公网运营商电路中断的应急状态下传输自动站观测数据和进行文字通信等,从而为防灾减灾服务.     

CMACast内蒙古气象信息Web平台的设计与实现

针对基层气象台站气象服务工作对气象信息保障的需求,基于中国气象局卫星广播系统CMACast小站数据接收服务器及其所接收气象资料,设计并开发CMACast内蒙古气象信息Web平台,将卫星下发的气象资料进行解析、可视化和转储,结合Web、Android以及NCL等多种技术,最终实现了Linux下的气象资料可视化和跨平台Web访问及移动终端访问,具有常用气象实况、预报资料调阅显示及一定的本地化设置功能,为基层气象台站提供了一套由Web平台和智能手机客户端构成的决策支持系统,解决了现场气象服务和人工影响天气等工作中气象资料获取的问题。     

大量气象数据小文件自适应优化传输

为满足气象实时资料传输中大量气象数据小文件的高时效传输需求,对其中的数据传输服务进行优化,提出一种基于实时网络状况的自适应数据传输优化方法。该方法采用优化网络传输协议并使用文件压缩技术,通过获取网络传输线路上的实时参数,实时调整压缩参数和网络传输参数以优化传输性能。在自适应压缩时,通过试验分析和归纳,确立了气象数据小文件标准为文件小于50 KB;根据网络实时状况,设计了基于实时网络状况自适应调整压缩等级的算法。在自适应传输参数调优中,研究了TCP缓冲区大小和TCP并发连接数在GridFTP协议中的重要性,针对实时网络状况,分别设计了自适应调整TCP缓冲区大小和TCP并发连接数的算法,算法提升传输性能65%。对以上提出各自适应参数调整算法进行试验验证表明,融合压缩和网络传输的自适应调优方法能显著提升气象小数据文件的传输性能近500倍。     

积温效应在电力日峰谷负荷中的应用及检验

从电力气象服务需求出发,利用2001—2010年5—9月河北省南电网逐日电力日峰负荷、日谷负荷与对应时间的气象资料,探讨晴热天气和闷热天气对电力日峰负荷、日谷负荷的影响特征。分析发现持续3 d以上的闷热天气相对晴热天气使电力日峰负荷、日谷负荷增长更显著;日最高气温32℃是引起河北省南电网日峰负荷增长的初始气温敏感点,35℃为强气温敏感点,38℃为极强气温敏感点,日最低气温25℃为引起日谷负荷增加的敏感气温临界点;建立了引入积温热累积效应的日峰负荷、日谷负荷多元回归气象预测模型,经2011—2013年应用检验,日峰负荷、日谷负荷预测平均相对误差分别为4.8%和3.5%,提高了预测准确率,对电力调度具有参考价值。     

基于消息通知机制的国省数据共享系统的设计与实现

为解决卫星广播传输缺陷及省级用户获取临省实时观测资料和实况分析产品等迫切的业务需求，设计并实现了基于消息通知机制的国省数据共享系统。系统基于RabbitMQ的消息机制进行业务和数据资源的整合及集成，采用多层体系架构，满足基于地面宽带的数据快速有序下载和卫星广播数据补调等国省数据共享需求，支持大容量多种数据的高速传输，支持HTTP、FTP、SFTP等多种数据传输协议。系统已经上线提供服务，实现智能网格、多源融合实况分析等25种气象资料的国省数据共享，月平均共享数据量达6.3 TB，且建立全流程监视，有效保障数据共享的时效性。     

广域网加速在FY-3气象卫星数据传输中的应用

风云三号 (FY-3) 极轨气象卫星数据传输系统需通过广域网链路,将海量卫星观测数据从卫星接收站快速传送到资料处理中心。该文研究广域网加速技术,解决广域网链路中传输气象卫星海量观测数据延迟高、带宽利用低等难题。文中针对FY-3气象卫星观测数据传输量大、时效要求高的特点,分别分析了数据压缩、数据缓存和协议优化3种不同加速技术对卫星数据的传输优化效果,并根据分析结果提出了一种适用于气象卫星数据的广域网传输加速架构。该架构结合3种不同加速技术设计了TCP代理模块、数据段索引模块和HS-TCP传输模块以及相应算法分别实现了数据压缩与缓存和协议优化等功能。通过测试和实际运行表明:在该加速架构下卫星数据广域网传输速率提高了50%~243%。     

基于SCO Unix的省级气象信息编辑处理系统

在SCO Unix 5.0.6操作系统下,采用了模块化的编程技术,完成了各类气象资料的查错和打包等功能,将气象资料的处理、发送平台相统一,极大地提高了资料的传输时效,减少了网络维护人员的工作量,减少了国家气象信息中心FTP服务器的负荷。另外,系统完成了基于SCO Unix下特种资料(长文件名资料)的查错、打包和传输,填补了原9210系统基于省级常规气象资料(短文件名资料)的打包及长文件名资料传输上的空白。