TIGGE数据接收问题分析与解决

2010年1月欧洲中期天气预报中心（ECMWF）开始提供高分辨率产品,中国气象局TIGGE （THORPEX Interactive Grand Global Ensemble）数据接收完整性受到较大影响,数据丢失量大,针对此问题,对数据接收环节进行了逐一分析,发现数据共享软件（全球气象数据共享系统）使用的TCP传输协议在高带宽、高时延网络环境下存在性能瓶颈,制约了当前网络吞吐量的提高,不能满足每天大数据量的传输要求。通过对TIGGE系统的TCP接收窗口大小进行调整,提高了TCP协议性能和当前网络吞吐量。调整后,中国气象局数据接收情况与全球其他业务中心基本一致,实现了对全球各中心数据的完整接收。     

浪涌气象数据采集系统及其关键技术

针对无人值守大规模自动气象站的数据采集特点和要求,基于无线通信网络,设计了一种浪涌气象数据采集系统,并对其关键技术进行了深入讨论.首先,分析了系统数据传输的协议结构及存在的问题,设计了基于UDP协议的可靠应用协议,并就其工作过程及可靠性传输进行了详细的讨论,解决了无线数据传输的不稳定性问题;然后,利用多线程技术和大规模通信事件响应处理技术,提出了实现数据接收线程池的方法,通过引入"数据分区管理"的概念,论述了数据并发处理缓冲区的设计,解决了大并发系统容易丢失数据、堵塞和低效率等问题;最后,通过对系统测试及其在业务中应用的分析,表明该系统实时、高效、可靠,能满足目前业务的需求,并对未来业务的发展具有同样的适应性.     

厦门市自动气象站数据通信系统设计

结合厦门市实际情况,在信息传输环节,厦门市自动气象站采集的信息传输更适合采用无线方式完成数据通信。设计了一种基于GPRS网络的多点对单点主从式自动气象站数据通信传输系统。系统中各自动气象站点的数据采集器完成气象要素信息采集,各站点的GPRS通信模块在GPRS网络中通过DDN专线与租用静态IP地址的移动中心服务器构成数据通信传输网络,中心服务器与厦门市气象台网络信息中心通过TCP/IP协议实现实时通信,气象观测终端软件完成数据的存储及加工。截止到2010年9月初,系统已稳定运行8个月。该系统不受传输距离的限制、成本低、建设快,适用于各类气象自动站远程数据传输和控制,提高了气象信息发布效率。     

基于CTS的台站上行气象数据传输监控平台的设计与实现

气象数据上行传输是各类气象业务和服务正常开展的基础。针对气象通信系统切换至CTS以后,台站实时获取上行气象数据传输状况的业务需求,在分析气象数据上行传输流程的基础上,提出了台站上行气象数据传输监控平台的建设思路,设计了平台总体结构,传输日志同步策略和数据个性化显示方案,采用MVC框架、Quartz调度器和jQuery Grid Plugin等技术对平台进行了实现。该平台面向台站用户具有提供上行气象数据传输状态实时监控、传输状态统计和错报查询功能;作为县级综合观测业务集成平台的一个模块投入业务使用,为提高上行气象数据传输质量提供平台支撑。     

GPRS自动站数据传输的可行性分析

GPRS支持因特网上广泛应用的TCP/IP协议和X.25协议,作为专业数据的无线网络传输技术,被广泛的应用于各种无人自动气象站。本文分析了GPRS无线网络在气象台站资料传输中应用的特点,并通过实验在OSSMO2004地面气象测报业务软件中利用移动GPRS实现了自动气象站实时资料及天气报文的传输。     

广域网加速在FY-3气象卫星数据传输中的应用

风云三号 (FY-3) 极轨气象卫星数据传输系统需通过广域网链路,将海量卫星观测数据从卫星接收站快速传送到资料处理中心。该文研究广域网加速技术,解决广域网链路中传输气象卫星海量观测数据延迟高、带宽利用低等难题。文中针对FY-3气象卫星观测数据传输量大、时效要求高的特点,分别分析了数据压缩、数据缓存和协议优化3种不同加速技术对卫星数据的传输优化效果,并根据分析结果提出了一种适用于气象卫星数据的广域网传输加速架构。该架构结合3种不同加速技术设计了TCP代理模块、数据段索引模块和HS-TCP传输模块以及相应算法分别实现了数据压缩与缓存和协议优化等功能。通过测试和实际运行表明:在该加速架构下卫星数据广域网传输速率提高了50%~243%。     

区域自动气象站天线的选用办法

区域站是凭借无线终端传输实时观测数据的,多数是利用移动、联通、电信GPRS网络进行数据传输,无网络覆盖及信号较差的地方利用北斗通讯卫星传输。针对海西乌兰地区电信、移动、联通三大通信基站信号覆盖差、信号较弱的情况下,有针对性地选用定向板状天线以增强无线通讯模块的数据传输能力,确保实时气象数据及时完整的传输。     

五台山站历史气候资料的均一性分析

介绍了新一代天气雷达实时监测系统的结构模式和功能,通过TCP/IP通信协议的论述、天气雷达信息量和占用信道带宽的估算,证明基于宽带网络系统通信设计的可行性.同时详细分析了CINRAD/SA天气雷达实时监测信息的结构和存放特点,系统地描述天气雷达监测信息获取、传送和入库的方法,并重点介绍如何编制传输和入库软件,利用TCP/IP两种基本协议(TCP和UDP)以及ADO数据库编程技术,在现有的宽带网络基础上,对天气雷达运行状况实现远程实时监测.     

大型自动气象监测网及数据采集中心的设计及应用

通过分析我国自动气象监测系统的现状和存在的问题,基于通用分组数据业务、网络通信技术和数据处理技术,设计一种新型、安全、可靠的大规模自动气象站资料快速传输和并发处理系统。详细地阐述了系统的设计思路、通信模式、网络构架、传输协议、工作流程、软件设计、技术特点。该系统的设计方法对于规模大、无人值守、数据实时采集、数据突发传输的不同应用系统的开发具有指导意义。     

公共气象服务数据传输软件设计与实现

气象服务数据分发是公共气象服务业务的重要组成。PMSDDS V1.0(Public Meteorological Service Data Distribution Software Version 1.0)公共气象服务数据传输软件是一套业务化的气象服务数据分发系统。该软件对开源传输组件libcurl进行二次应用开发,在FTP协议下传输各类气象服务数据。该系统具有支持公共气象服务产品命名规范下的文件名精确和模糊匹配、多参数控制(包括超时、批处理、传输速率等)、日志等特点,有效解决了数据传输业务部署分散、与业务其他流程紧耦合、重复开发、缺乏日志等突出问题。针对常见数据传输问题如漏传、多传、拥塞、等待等给出解决方案。业务应用结果表明,软件运行稳定,传输成功率达到99.97%以上。软件自上线以来,数据传输业务得到统一部署和监控。据运维部门统计,传输业务年部署量较上一年增加50次左右,因传输问题导致的运维故障率同比下降约33%,大大提高了业务效率。     

LDM软件在气象数据交换中的应用

目前运行的国内气象通信系统存在着交换平台（操作系统平台）不统一、数据接口不统一、数据交换软件不统一等问题,导致每新增一类投入业务使用的观测资料,从资料采集、资料传输、资料传输监视到资料应用等都自成一体,给通信传输管理带来很大不便。LDM（Local Data Manager）软件作为底层通信传输和管理系统,可实现上述三者的统一。通过对目前国内气象通信系统存在的传输软件不统一、文件数目多时造成拥塞和文件优先级无法保证问题的分析,对LDM软件灵活和有效的数据分发功能及用户可配置的、支持分布式的处理和事件驱动的特点进行了介绍,并以建立的基于LDM的实时气象资料分发服务系统为研究和试验原型,对LDM软件及目前国内气象通信系统软件进行对比分析,结果表明:采用LDM软件可以提高传输业务的整体工作质量,解决目前国内气象通信系统存在的问题,即LDM软件较适用于我国气象数据交换业务。     

第3代国际通信系统控制数据

第3代国际气象通信系统是中国气象局面向未来,适应全球通信系统(GTS)发展计划的新一代通信系统。该系统既可以支持原有的报文交换,又可以支持文件交换。第3代国际通信系统中控制数据是国际通信系统运行的基础,这对国际通信系统中控制数据和控制数据制作也提出了更高的要求,要求控制数据制作独立于国际通信系统之外。并且,要求控制数据制作和维护简单、快捷、可靠。该文介绍了控制数据的稳定性、精确性、灵活性、复杂性等特点,控制数据对文件级、公报级、报告级收发、编辑、收集、归档等处理的作用,控制数据文件的制作方法,新旧控制数据在制作方面的优缺点比较。     

MapReduce在气象数据传输时效统计中的应用

气象数据的传输时效保障已成为探测和信息部门的重要工作之一,快速统计各类数据到报率和及时率成为一项迫切需求.基于MapReduce编程模型设计了各类数据到报率和及时率的算法,在Hadoop平台上利用该算法实现了各类数据的逐日到报率和及时率的统计,选择文本方式和Sequence File方式作为MapReduce计算模型的输入数据源进行对比试验.试验结果表明,Sequence File作为数据源能更好地提升MapReduce并行运算的性能.     

气象综合指挥平台建设与应用北大核心CSCD

在重大活动、突发气象灾害以及汛期会商服务等特定时空气象保障过程中,采用各单位逐一汇报及展示专业产品或系统等传统方式,形成的产品及系统深度专业,但无法互动且运行协同不足,影响实时保障服务效益。气象综合指挥平台充分利用现有气象业务数字化成果,面向气象保障服务的时空及可视化需求,采用混合存储、接口服务以及图层组件发布等技术,实现多源数据的标准化处理、功能集约建设以及图层渲染等组件松耦合发布,首次在气象保障服务中接入空间天气、风云四号气象卫星高分辨率数据、秒级观测以及百米融合实况等数据及产品,实现气象产品全在线服务与中国气象局电视会商、云会商系统音视频信号的同步实时调度,为实时气象保障调度指挥提供服务支撑。该平台集成113种气象产品,发布1106个图层服务,成功完成2022年北京冬奥会和冬残奥会等国家重大气象保障工作,未来可为各类气象保障系统开发及专题气象保障服务提供支撑应用。     

Hadoop在气象数据密集型处理领域中的应用

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

基于ZigBee协议地面气象观测原型站无线传输系统设计

为满足地面气象自动化实时监测需求,适应气象观测向集约化、标准化和智能化的方向发展,中国气象局气象探测中心在北京观象台建设了代表未来地面气象观测自动化发展的业务原型站,设计了基于ZigBee无线传输系统.该系统采用当今成熟稳定的电子测量、数据传输和控制技术,具有高可靠性、高准确性、易维护、易扩展等特点,支持地面气象数据对...