基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

全球大气再分析实时资料前处理关键技术研制

针对全球实时气象数据,重点研制面向全球大气再分析的观测资料前处理关键技术,主要包括实现大量实时文件快速解析分类的数据分拣技术,实现多类气象观测要素并行解码的信息提取技术,满足同化数据格式需求和实现分级分类有效存储的自定义模板统一编码技术。关键技术已于2019年6月在国家气象信息中心业务应用,为我国第一代全球大气和陆面再分析业务提供着稳定的实时观测数据支撑。     

利用ⅡS FTP组件实现县级CMACast小站文件推送

县级CMACast小站的投入使用,使县级气象部门在气象资料的信息量、时效性和可靠性方面有了很大提高.CMACast服务器使用的是Linux操作系统,接收到的卫星广播数据必须经过一系列应用程序的调用和处理,才能生成适用于气象业务的产品.利用业务计算机Windows NT/2000/XP操作系统自带的ⅡS组件搭建简易FTP服务器,可以实现县级CMACast小站文件推送功能,将资料发送到业务计算机的固定文件夹,有效解决卫星广播数据本地化处理、应用的问题.     

基于MapReduce计算模型的气象资料处理调优试验

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。     

充分发挥气象信息化资料的几点思考

气象资料是一种宝贵和重要的信息资源，内蒙古气象信息化资料工作从上个世纪70年代末开始，全区为此项工作投入大量的人力、财力和物力。经过几十年的努力才逐步形成现在规模较大的气象数据信息源。目前，我区的主要数据集有地面气象资料模式数据集(A0、A1文件数据集)、地面气象资料标准     

大量气象数据小文件自适应优化传输

为满足气象实时资料传输中大量气象数据小文件的高时效传输需求,对其中的数据传输服务进行优化,提出一种基于实时网络状况的自适应数据传输优化方法。该方法采用优化网络传输协议并使用文件压缩技术,通过获取网络传输线路上的实时参数,实时调整压缩参数和网络传输参数以优化传输性能。在自适应压缩时,通过试验分析和归纳,确立了气象数据小文件标准为文件小于50 KB;根据网络实时状况,设计了基于实时网络状况自适应调整压缩等级的算法。在自适应传输参数调优中,研究了TCP缓冲区大小和TCP并发连接数在GridFTP协议中的重要性,针对实时网络状况,分别设计了自适应调整TCP缓冲区大小和TCP并发连接数的算法,算法提升传输性能65%。对以上提出各自适应参数调整算法进行试验验证表明,融合压缩和网络传输的自适应调优方法能显著提升气象小数据文件的传输性能近500倍。     

Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

台风与海洋气象信息综合服务平台数据集成应用

正1数据分类及应用台风与海洋气象信息综合服务平台对台风信息、预警信息、云图、雷达图、降水量、风力风向、海平面气压场和形势场等数据进行收集和整理。数据读取方式包括以下3种:直接访问信息中心实时库,读取台风实况数据;实时检索数据库中最新到达站点资料,将所需气象要素形成文件及时推送到接口目录,由平台数据处理子系统进行处理;卫星、雷达数据分别由国家卫星气象中心、中国气象局气象探测     

全国地面气象资料自动收集处理系统的研制

全国地面气象资料自动收集处理系统的研制周尚河吴迅英（国家气象中心,北京１０００８１）全国地面气象信息化资料（国家基本站简称Ａ０文件,基准气候站简称Ａ１文件）报送,多年来采用邮寄数据磁带、软盘的方式,资料收集速度慢、周期长,已不能适应地面资料快速处理...     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

MapReduce在气象数据传输时效统计中的应用

气象数据的传输时效保障已成为探测和信息部门的重要工作之一,快速统计各类数据到报率和及时率成为一项迫切需求.基于MapReduce编程模型设计了各类数据到报率和及时率的算法,在Hadoop平台上利用该算法实现了各类数据的逐日到报率和及时率的统计,选择文本方式和Sequence File方式作为MapReduce计算模型的输入数据源进行对比试验.试验结果表明,Sequence File作为数据源能更好地提升MapReduce并行运算的性能.     

自动站地面气象观测数据文件维护与审核方法

随着地面气象探测自动化程度的提高和计算机程序处理数据技术的发展,地面气象观测数据文件维护已由原来人工抄写、统计转为程序进行数据处理,形成信息化资料;审核重点也转为对目测项目的合理性和数据质量分析、控制.文章对地面气象观测数据文件维护、审核的全过程进行了梳理和归纳,同时对备注类别、格式、用语等的规范问题以及在审核、维护地...     

大数据环境下Spark性能优化分析研究与应用

针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorologi-cal Information Sharing System)存在支撑能力严重不足的问题.本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新...     

部分地面要素历史基础气象资料质量检测

为深入了解地面基础气象资料中存在的问题,进一步提高资料质量,综合利用国家级和省级气象资料部门存储的1951—2009年2474个国家级地面气象站观测的气温、气压、水汽压、相对湿度、风向、风速、降水量7种要素信息化基础数据,检测并分析了数据中存在的问题。结果显示:国家级和省级气象部门存储的资料中均存在大量与实际观测数据不符的信息化问题,包括资料的替代问题、要素数据类似缺测问题以及数据录入错误等;还存在国家级和省级气象部门保存的基准基本站资料不一致现象,包括资料序列长短不同、对外服务时提供自动还是人工观测数据不一致、更正不同步造成的数据不同等。该文针对上述资料问题给出了详细的检测方法及检测结果。为了确保数据的正确性,有必要在此次数据质量检测经验的基础上,对所有历史月报数据文件中的所有要素观测值进行彻底检测与更正。     

高频精细化气象格点数据实时处理系统设计与实现

以高频海量气象格点数据为研究对象，针对传统实时处理系统数据处理效率不高的问题，设计并实现了高频精细化气象格点数据实时处理系统的总体架构和业务流程，在分析海量高频次气象格点数据特点的基础上，设计和实现了符合气象业务需求的分布式存储模型；利用多通道动态感知技术实现了动态多通道的文件处理和文件到达的快速感知触发；利用实时数据快速处理技术实现基于精准位置寻址的快速数据块定位算法，进而实现数据块的精准定位；利用数据按需实时截取技术实现了在空间范围内按需进行裁剪的截取算法，进而实现数据按需抽取；实际业务应用表明，系统有效地提升了半结构气象数值预报产品数据的实时处理效率。     

典型气象年生成方法及原始气象数据质量分析

准确分析建筑热环境性能及其能耗需要代表当地平均气候状况的逐时典型气象年数据。根据我国现有的4次定时气象数据,选取建筑气候标准(GB50178-93)的7个气候区的代表城市,运用美国Sandia典型气象年方法,产生了代表城市的建筑能耗模拟分析用标准气象年数据。着重论述了针对原始气象数据的缺测情况,在生成典型气象年时的数据处理过程和质量控制原则,为建立和完善我国建筑节能用标准气象数据库提供了前期的理论分析基础。