大型自动气象监测网及数据采集中心的设计及应用

通过分析我国自动气象监测系统的现状和存在的问题,基于通用分组数据业务、网络通信技术和数据处理技术,设计一种新型、安全、可靠的大规模自动气象站资料快速传输和并发处理系统。详细地阐述了系统的设计思路、通信模式、网络构架、传输协议、工作流程、软件设计、技术特点。该系统的设计方法对于规模大、无人值守、数据实时采集、数据突发传输的不同应用系统的开发具有指导意义。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

公共气象服务数据传输软件设计与实现

气象服务数据分发是公共气象服务业务的重要组成。PMSDDS V1.0(Public Meteorological Service Data Distribution Software Version 1.0)公共气象服务数据传输软件是一套业务化的气象服务数据分发系统。该软件对开源传输组件libcurl进行二次应用开发,在FTP协议下传输各类气象服务数据。该系统具有支持公共气象服务产品命名规范下的文件名精确和模糊匹配、多参数控制(包括超时、批处理、传输速率等)、日志等特点,有效解决了数据传输业务部署分散、与业务其他流程紧耦合、重复开发、缺乏日志等突出问题。针对常见数据传输问题如漏传、多传、拥塞、等待等给出解决方案。业务应用结果表明,软件运行稳定,传输成功率达到99.97%以上。软件自上线以来,数据传输业务得到统一部署和监控。据运维部门统计,传输业务年部署量较上一年增加50次左右,因传输问题导致的运维故障率同比下降约33%,大大提高了业务效率。     

面向海量用户的气象数据开放平台

气象数据开放平台是类似百度开放平台、淘宝开放平台和腾讯开放平台的气象服务数据开放平台,通过提供基于Http(Hypertext transfer protocol,超文本传输协议)协议的应用程序编程接口,面向社会上的个人和机构提供气象服务数据。平台采用Nginx Web Server提供Web数据接口服务,研发Nginx Module处理用户请求和业务逻辑,利用Nginx模块占用内存少、并发能力强、稳定性高的特点,解决因海量用户访问带来的Web Server高负载问题。平台由3个业务处理子平台组成,包括：API接口平台、用户申请平台、业务管理平台,分别负责接口请求处理、用户申请管理和后台管理。     

大量气象数据小文件自适应优化传输

为满足气象实时资料传输中大量气象数据小文件的高时效传输需求,对其中的数据传输服务进行优化,提出一种基于实时网络状况的自适应数据传输优化方法。该方法采用优化网络传输协议并使用文件压缩技术,通过获取网络传输线路上的实时参数,实时调整压缩参数和网络传输参数以优化传输性能。在自适应压缩时,通过试验分析和归纳,确立了气象数据小文件标准为文件小于50 KB;根据网络实时状况,设计了基于实时网络状况自适应调整压缩等级的算法。在自适应传输参数调优中,研究了TCP缓冲区大小和TCP并发连接数在GridFTP协议中的重要性,针对实时网络状况,分别设计了自适应调整TCP缓冲区大小和TCP并发连接数的算法,算法提升传输性能65%。对以上提出各自适应参数调整算法进行试验验证表明,融合压缩和网络传输的自适应调优方法能显著提升气象小数据文件的传输性能近500倍。     

广域网加速在FY-3气象卫星数据传输中的应用

风云三号 (FY-3) 极轨气象卫星数据传输系统需通过广域网链路,将海量卫星观测数据从卫星接收站快速传送到资料处理中心。该文研究广域网加速技术,解决广域网链路中传输气象卫星海量观测数据延迟高、带宽利用低等难题。文中针对FY-3气象卫星观测数据传输量大、时效要求高的特点,分别分析了数据压缩、数据缓存和协议优化3种不同加速技术对卫星数据的传输优化效果,并根据分析结果提出了一种适用于气象卫星数据的广域网传输加速架构。该架构结合3种不同加速技术设计了TCP代理模块、数据段索引模块和HS-TCP传输模块以及相应算法分别实现了数据压缩与缓存和协议优化等功能。通过测试和实际运行表明:在该加速架构下卫星数据广域网传输速率提高了50%~243%。     

基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

台站级气象观测数据流监控系统设计

针对目前气象业务监控系统存在的种类繁多、质量参差不齐、利用率不高等问题,利用信息化和集约化的理论,基于通用业务软件系统,开展对主要气象观测数据站点信息、资料类型、观测时间、业务节点、采集时间、发送时间等台站级数据全流程传输监控信息提取方法的研究,后续将逐步扩展到所有类型的业务数据。通过梳理主要观测数据传输流程,设计监控信息标准化采集协议并开发台站级数据流监控系统,实现数据流程传输最前端监控信息的有效采集,设计标准化传输协议并实现台站级与省级、国家级集约化监控平台的有效对接,为建立省级和国家级集约化的监控、展示和应用平台奠定基础。     

大批量的并发数据实时处理方法的研究

通过采用缓存技术、线程技术、模块化处理技术解决了大批量的并发数据实时处理的难题,并给出了缓存交互模块的流程图以及系统的实现.     

气象大数据云平台归档系统设计及实现

本文针对"天擎"归档系统的建设需求、总体架构,提出系统实现的若干关键技术问题并进行深入分析,气象大数据云平台(以下简称"天擎")归档系统设计为面向海量数据归档存储的支撑系统,保障数据的安全完整。系统基于在线存储、离线存储以及磁带库管理软件,通过层次性结构体系、消息队列和微服务技术框架,实现多协议数据归档、敏感数据归档及转储数据归档等功能,满足各种新增数据归档业务场景,同时具备丰富的数据回取服务、数据全流程的追溯和规范化的磁带管理保障等功能。2020年8月"天擎"归档系统投入业务运行,每日归档的实时数据量约为10TB,后续最高可承载约240TB日数据量的归档业务。     

基于虚拟仪器技术的自动气象站数据采集与处理系统

在XYZ06型地面遥测气象仪的基础上,基于虚拟仪器技术研制了一套气象要素自动采集与处理系统,替代了该气象仪的数据采集器和数据预处理器的功能,可进行温度、湿度的采集、处理、显示、保存和发送.插入该气象仪终端计算机的数据采集卡ACL-8216能与气象仪的观测业务软件通讯,通讯命令字及其意义可实时显示于屏幕上.该虚拟气象数据采集器可方便地应用于自动气象站的教学实践,并可大大降低实验的设备费用.     

气象灾害灾情共享系统的设计与实现

气象灾害灾情共享系统设计用于实时、历史气象灾害灾情数据的收集、上报、传输、处理、应用和管理。系统分为采集传输、数据逻辑和应用服务3层,由灾情直报客户端、数据传输分系统、灾情预处理和入库分系统、气象灾害灾情收集、整理、分析和评估网站、气象灾害灾情综合数据库组成。重点介绍构建气象灾害灾情系统的灾情数据规范化收集、质量控制和空间化分析等关键技术。在国家级气象部门的业务应用表明,系统实现了干旱、暴雨、台风、高温、低温等气象灾害灾情收集、处理、分析和共享,能够满足灾害性天气预报和服务需求,并对各级气象部门构建气象灾害灾情共享系统具有指导意义。     

多进程并发在国内气象通信系统的应用

该文介绍了多进程并发在国内气象通信系统中传输新增资料的应用, 针对国内新增气象资料种类繁多 、信息量大 、传输时效要求高、传输频率快等特点, 传输软件通过使用避免僵尸进程产生的方法以及对多种进程间通信技术的比较, 选择了更好满足需求的消息队列通信技术, 使气象资料在国内气象通信系统中的处理时间缩短为原来的 43%, 提高了各种新增气象资料的传输效率 , 为气象资料提供了更好的共享平台, 更好地发挥各种探测仪器的作用。     

基于NB-IoT技术的小型自动气象站监测系统设计

针对传统气象站通信组网技术复杂度高、建站成本高、时效性差、功耗高等缺点，设计了一种基于NB IoT技术的小型自动气象站监测系统，该系统主要由气象传感设备、单站控制器及物联网云平台组成。该系统以低功耗Corter M3内核的STM32L152微控制芯片为硬件核心，依托气象传感器设备，实现气象要素数据的采集和处理；利用NB IoT技术实现气象站和云端服务器之间的数据传输；利用RESTful API和MySQL技术，实现用户交互、远程终端控制、数据存储、数据显示、数据分析、数据查询等功能。测试结果表明，该系统建站简单、功耗低、数据传输稳定，可实现对气象要素的远程实时监测。     

GPRS业务在自动气象站网数据传输中的应用

广东省中山市气象局引进中国移动通信公司的GRPS无线业务通讯技术,取代常规电话拨号方式,用于完成中尺度灾害性天气监测网中22个自动气象站观测资料的采集和传输。在实际气象业务试运行中的结果表明,GPRS通讯方式具有实时在线、高速传输、登陆快捷、收费合理、监控方便和安全可靠等优点,特别是在间断、突发性的或频繁、少量的气象数据传输中表现出良好的性能,适合中尺度自动气象站网气象资料采集和传输的需要。根据GPRS的发展前景,对该业务未来在气象部门的应用作了初步展望。     

厦门市自动气象站数据通信系统设计

结合厦门市实际情况,在信息传输环节,厦门市自动气象站采集的信息传输更适合采用无线方式完成数据通信。设计了一种基于GPRS网络的多点对单点主从式自动气象站数据通信传输系统。系统中各自动气象站点的数据采集器完成气象要素信息采集,各站点的GPRS通信模块在GPRS网络中通过DDN专线与租用静态IP地址的移动中心服务器构成数据通信传输网络,中心服务器与厦门市气象台网络信息中心通过TCP/IP协议实现实时通信,气象观测终端软件完成数据的存储及加工。截止到2010年9月初,系统已稳定运行8个月。该系统不受传输距离的限制、成本低、建设快,适用于各类气象自动站远程数据传输和控制,提高了气象信息发布效率。     

地面气象资料一体化统计加工系统设计与实现

地面气象资料一体化统计加工系统是基于国省统一的CIMISS数据环境,准实时生成日、候、旬、月、年值等统计产品的业务系统,能够满足用户对准实时质控后地面气象资料统计值的业务需求。本文主要介绍地面气象资料实时历史一体化统计加工系统的开发,从软件的需求分析、统计方法、功能实现、关键技术等方面阐述了如何在技术上实现地面气象资料一体化统计加工系统。通过运行策略配置,实现了系统定时自动运行,进一步丰富了CIMISS系统地面气象资料的产品库。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

CC天气雷达数据流传输业务台站级监控报警系统的设计与实现

利用UDP组播通信、进程监控、文件监控、网络监控等技术,研发了CC天气雷达数据流传输业务台站级监控报警系统,较早、较好地实现了雷达扫描状态、数据流上行传输、标准格式基数据本地存储、基数据补传、软件运行和网络运行状态的实时监控和短信报警。实践表明,软件运行较稳定,能对数据流传输业务进行有效监控,短信报警准确及时,报警阈值从6min缩短到40s,提升了故障的发现和处理效率,提高了天气雷达业务可用性和数据传输质量,减轻了雷达台站业务人员的值守压力。