Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

基于数据湖的智能网格气象预报业务产品服务模式初探——以江西省为例

随着智能网格业务不断发展,智能网格气象预报业务产品种类、数量日益增长,给产品的存储管理带来挑战。针对江西省智能网格气象预报业务产品收集及存储现状,采用PostgreSQL、Kibana、Elasticsearch等开源技术,提出了基于气象大数据云平台的气象数据湖建设思路,实现产品集中存储和管理,并提供统一共享服务,解决了海量多源数据产品存储、管理和共享等技术难题,为业务用户能够高效共享和应用数据产品提供数据环境支撑。     

气象大数据云平台归档系统设计及实现

本文针对"天擎"归档系统的建设需求、总体架构,提出系统实现的若干关键技术问题并进行深入分析,气象大数据云平台(以下简称"天擎")归档系统设计为面向海量数据归档存储的支撑系统,保障数据的安全完整。系统基于在线存储、离线存储以及磁带库管理软件,通过层次性结构体系、消息队列和微服务技术框架,实现多协议数据归档、敏感数据归档及转储数据归档等功能,满足各种新增数据归档业务场景,同时具备丰富的数据回取服务、数据全流程的追溯和规范化的磁带管理保障等功能。2020年8月"天擎"归档系统投入业务运行,每日归档的实时数据量约为10TB,后续最高可承载约240TB日数据量的归档业务。     

基于数据湖的省级卫星直收站数据共享服务设计

针对省级卫星直收站数据存储分散造成共享应用不便的问题,提出卫星多源数据便捷高效访问和安全分级管理方案。引入数据湖技术,按照全国统一规范构建了基于气象大数据云平台的省级气象数据湖系统,基于此实现了FY-3、FY-4卫星地面直收站原始接收数据、加工处理产品等多种卫星数据入湖集中管理,并提供统一的数据共享服务,解决了海量多源异构数据的存储、管理和共享服务等技术难题。通过数据湖统一权限控制,实现对用户访问数据的分级管理,保障了数据应用的稳定性和安全性。通过数据湖统一文件目录服务,实现长时间序列文件的便捷快速获取,有效支撑卫星数据的服务应用和挖掘分析。     

大城市气象服务信息系统数据存储体系框架设计与实现

海量气象数据的存储、管理以及信息服务的实现一直是气象信息处理中的关键问题。文章系统介绍了我国大城市气象服务信息系统技术框架中气象数据种类和数据格式、数据结构和数据存储体系以及各主要数据类型的管理和存取方式。     

MICAPS4预报业务系统建设进展与未来发展

以精细化预报为标志的现代天气预报业务对高时空分辨率气象数据的应用提出了更高的需求,而传统的预报分析制作系统MICAPS3（Meteorological Information Comprehensive Analysis and Processing System Version 3）无法满足符合大数据特征的实时预报相关的数据应用。同时,模式预报和集合预报应用已在各专业预报领域中发挥越来越重要的作用,网格预报产品正在涵盖全部的预报业务流程,而MICAPS3无法提供便捷高效的支撑。为解决上述问题,国家气象中心启动了MICAPS4建设,一方面建立了基于大数据的气象实时预报应用技术体系,解决了气象大数据处理、存储、分析和显示效率的关键技术难题;另一方面搭建了多个满足不同复杂预报业务需求的专业化版本。MICAPS4将信息化技术与预报技术、预报业务流程紧密结合,解决了现代化预报方法的平台化集成应用与精细化预报制作的关键技术难题,基于MICAPS4基础框架的多个专业版在中央气象台和部分省级气象台进行业务化应用推广。基于CIMISS（China Integrated Meteorological Information Sharing System）-MICAPS4的海量数据存储环境,极大减轻了系统部署和本地化工作量,显著提升了数据解析及数据存储访问效率。     

遥感大数据分布式技术研究与实现

面向卫星遥感海量数据,针对其数据量的急速增长,对数据分析、价值挖掘提出了全新的挑战,引入驱动大数据应用的分布式模式,建立了适应卫星遥感大数据的网格模型,打破了数据的时空割裂和限制,数据可以作为整体进行存储、计算和应用,模型设计的网格、时间片、物理层的基本结构,可以保证未来云计算的实施。该文提出了基于希尔伯特曲线的网格散列算法,以此建立的分布式系统具有优异的并行读写性能和良好的负载均衡能力;遥感大数据分布式系统,实现了数据的高速分布式并行读写,支持数据的精确时空匹配和动态获取,整个系统的扩展能力可以达到线性增长,系统基于通用软硬件平台实施,实现卫星遥感大数据灵活、按需和简便的应用。     

一种保存Micaps数据资料的思路和方法

Micaps系统历史数据要素多,占用空间大,不易于长期不间断地保存。该文介绍一种裁取适当范围区域、删除不常用要素、改写数据存储格式的思路和方法以压缩数据文件,保存重要的资料。通过最近2 a的业务实践应用表明该方法稳定性较高,实用性较好,且操作简便,可解决基层台站海量历史资料的备份难题。     

海量气象站点数据分布式存储测试及其应用

站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

大旅游时代广西旅游气象服务发展对策探讨

旅游业是高度依赖自然环境和气象条件的产业,气象条件是影响旅游质量和旅游安全的重要因素,我国将"十三五"旅游业发展规划纳入国家重点专项规划,表明我国已步入了"大旅游"时代,旅游业对气象服务的需求愈加迫切。本文分析了广西旅游业对气象服务的需求、旅游气象服务的现状和存在的问题,研究结果表明:广西旅游业在构建旅游安全保障体系、旅游特色挖掘与打造、旅游大数据平台产品开发等方面对气象服务有迫切的需求;广西已开发了部分旅游气象服务产品,并在部分景区布设了气象观测设施,为开展景区旅游气象服务打下了基础;广西在旅游气象两部门常态化合作、旅游气象服务综合观测网建立、旅游气象服务产品开发和市场推广、旅游气象信息发布等方面还不能满足公众的需求。最后,研究提出了促进旅游气象服务发展的建议和对策。     

2018年12号热带低压奇异路径分析

分析2018年第12号热带低压的奇异路径及其在广西强降雨落区产生的原因,分析表明:(1)12号热带低压路径为逆时针旋转,主要是由于副热带高压位置偏北,引导气流偏弱,低压先受到11号热带低压的互旋作用而产生了逆时针旋转的路径,登陆后由于11号热带低压减弱,对其影响也逐渐减弱,之后受到自身内力作用转向西北方向移动。(2)广西上空的热力和水汽条件均有利于对流发展,但桂东南由于缺少有利的动力条件和触发条件,没有强降雨产生。由于低压中心随高度向西南方向倾斜,导致垂直运动随低压中心向西南倾斜,使低压西南方处于大尺度上升运动处。而沿海和桂南一带处于偏北风和偏西风的辐合处,触发对流产生。强降雨云团在沿海被触发并发展,在低压西南方得到进一步发展,并随着低压转向西北方向移动,在广西的南部和中西部产生了强降水。     

广西城镇天气预报质量分析评估

根据全国城镇天气预报产品质量评估报告,从预报准确率和预报技巧评分上对2013-2017年广西城镇天气预报质量进行分析评估。结果表明:广西城镇天气预报24-72h最低温度预报准确率逐年提高,24-72h最高温度预报准确率稳步提升,24-72h晴雨预报和一般性降水预报准确率明显提升,24-72h暴雨和暴雨以上预报准确率保持稳定。24h晴雨、最低温度预报技巧评分较高,24h最高温度、一般性降水预报技巧评分波动较大,暴雨以上预报技巧评分较低。     

广西天气气候对人体健康的影响

采用广西多年季、月、旬平均气温、季平均相对湿度和历年的月最高气温、极端最高气温、主要天气气候事件等气象资料以及广西疾病预防控制中心的疾病监测数据和相关医学文献,对广西气候因素对人体健康的影响开展研究。结果显示,冬季和秋季的寒潮、夏季高温热浪,春、秋、冬季的"回南天"、低温阴雨是对人体健康影响较大的天气气候事件;气象因素引发的主要疾病包括心脑血管疾病、呼吸道疾病、胃肠道疾病等,其中受气象因素影响而致死的疾病中以心脑血管疾病死亡率最高,呼吸道疾病死亡率居第二位。     

基于SPEI的广西喀斯特地区1971—2017年干旱时空演变

利用广西喀斯特地区64个气象站1971-2017年逐日气温和降水量观测资料,采用标准化降水蒸散指数(SPEI)作为干旱评价指标,分析该地区干旱时空演变规律。结果表明,广西喀斯特地区年尺度干旱基本为2 a一遇,发生频率中部低、东西部高,以轻旱和中旱为主。秋旱发生频率最高,冬旱次之,春旱和夏旱发生频率较低,各季节干旱多以轻旱为主。其中,春旱3~4 a一遇,发生频率由西南向东北呈递减趋势;夏旱3~4 a一遇,发生频率由东向西呈减弱趋势;秋旱接近1 a一遇,发生频率中东部高于西部,该季节中旱、重旱和特旱发生频率也明显高于其他季节;冬旱1~2 a一遇,发生频率西北部较高,且由西向东呈递减趋势。1971-2017年,广西喀斯特地区冬旱、夏旱呈波动减弱趋势,春、秋旱呈增强趋势。在15~20 a时间尺度上,年和各季节的干旱存在明显的干湿循环,5 a以下小尺度干旱周期振荡更频繁。SPEI与土壤湿度呈显著正相关,利用SPEI可较客观反映该地区旱情。     

河池市闪电活动与下垫面植被类型关系分析

基于河池市2010年1月～2017年12月的闪电定位资料和地表植被数据、高程数据,分析闪电密度、强度分布与不同下垫面的关系。结果表明:河池市闪电密度与草地、居民建设用地面积呈正相关,与林地面积呈负相关;河池市闪电强度与水域地、林地面积呈正相关,与草地、居民建设用地面积呈负相关。各个植被类型上的闪电日变化呈现"双峰"型,其中居民建设用地的闪电日变化波动剧烈,林地的午后闪电变化呈现较均匀的波动增加。林地上的闪电密度值随海拔高度增加而减小,闪电强度随海拔高度增加而增大。     

7-9月登陆华南台风气候变化特征及大尺度环流系统分析

采用1949-2015年上海台风所提供的热带气旋资料、NCEP/NCAR全球再分析格点资料、国家气候中心提供的74项大气环流指数以及青藏高原积雪等资料,对7-9月登陆华南的热带气旋TC(不含热带低压)和台风TY(含台风及台风以上的热带气旋)的气候变化特征以及大尺度环流特征进行了分析,结果发现:7-9月登陆华南TC及TY频数均有微弱的上升趋势,且年际变化显著,但TC和TY年际变化和准十年波动变化并不总是一致,尤其是近10a来登陆华南的强台风有明显增加的趋势。7-9月登陆华南的TC占登陆中国的一半以上,并且有约3/4是来自西北太平洋生成的台风。从登陆华南TC的区间分布特征来看,以中路最多,西路次之,东路最少。亚洲季风偏弱、西太平洋副高偏西,登陆华南TY偏多,反之亦然。TC偏多(少)年,西太平洋副高偏强偏西(偏强偏东)。TC偏多年110oE以东引导气流出现的反气旋式和气旋式环流对较TC偏少年偏西,反气旋环流南部的东风异常一直延伸到华南地区东部,这样的东风引导气流异常有利于引导热带气旋登陆华南。另外,青藏高原东部和西部积雪偏多、华南气温偏高及西北太平洋海温异常偏暖的情况下也均有利于台风登陆华南。     

广西持续性低温雨雪冰冻过程特征和气候成因分析

应用广西境内国家气象站逐日降水量、气温资料,定义了区域持续性低温雨雪冰冻过程。利用NCEP/NCAR逐日再分析等资料,使用合成分析等方法,研究了广西持续性低温雨雪冰冻过程的特征和气候成因。结果表明:(1)广西持续性低温雨雪冰冻过程在1980s之前平均出现次数为4次·10a^-1,过程平均日数为40d·10a^-1,而在1990s之后平均出现次数为2次·10a^-1,过程平均日数为23.7d·10a^-1。(2)持续性低温雨雪冰冻过程期间,亚洲大陆中低纬度地区冬季气温整体偏冷,500hPa位势高度距平场在亚洲50oN以北地区为正距平,以南为负距平,有大型稳定的长波斜脊横槽活动,华南上空由低层向高层有暖平流。     

ENSO事件对广西气候影响的统计分析

根据1951-1998年广西8地市气象资料的统计分析,初步揭示了广西气候与厄尔尼诺、拉尼娜事件的相关关系,认为ENSO事件对广西气温影响比对降水的影响明显。在厄尔尼诺年,广西气象以正距平为主,尤其桂北偏暖明显,拉尼娜年广西气温以负距平为主,表现为明显的偏冷现象;厄尔尼诺年,桂北、桂东及沿海降水增多,桂西、桂南降水变化不大,拉尼娜年广西以降水偏少为特点。     

基于雷电易发评价体系下的广西雷电区划

利用1960-2013年广西地面气象站观测雷暴资料、2009-2018年二维雷电监测定位资料和2016-2018年三维雷电定位监测资料,以闪电密度为评估要素,建立层次分析模型,绘制广西雷电易发区划图;并加载环境高程数据、2000-2019年雷灾数据以及2005年—2018年广西人口、GDP统计资料,计算雷电灾害风险值,...