Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

地面气象观测无人值守系统的设计与应用

气象观测数据的传输率和可用率是气象预报服务及时准确的基础,是衡量通信系统运行可靠程度及运维保障能力的关键指标。长期以来,各级业务人员通过不间断值守班来保障气象观测数据的传输质量。随着现代化气象业务体系的不断发展,气象业务对资料传输的时效性、完整性要求也越来越高,对气象资料的综合监控能力也提出了更高的要求。在全国地面气象业务体制改革的要求下,广西率先在全国实行了基层台站无人值守业务调整,设计并实现广西地面气象观测无人值守系统。该系统集数据传输监控、数据传输时效统计于一体,通过自动监控告警、主备站资料(要素)智能识别替代、双条传输链路热备等设计,建立一套无人值守传输业务流程,从技术上支撑业务改革调整,大大降低基层业务人员工作强度。业务应用分析表明,无人值守系统运行可靠,业务质量保持高水平稳定,业务效益凸显。     

内蒙古冬季极端多雪气候事件环流演变特征及季节预测信号

文章研究关注了内蒙古冬季极端多雪气候事件的季节预测问题,在对大量降水观测资料、海温及大气环流场资料进行统计、分析、研究的基础上,确定了历史上58a(1960—2017年)内蒙古冬季极端多雪和少雪气候事件样本,通过对大气环流场的对比分析发现极端多雪或少雪冬季环流场特征显著不同,分析后确定了影响内蒙古冬季降雪的主要环流系统,包括西太平洋副热带高压、极涡、东亚大槽、环流E型及南方涛动等系统。同时,探索了对这些主要环流系统具有预测意义的来自海洋和大气场的预测信号,对预测信号关键区做了标准化定量提取,确定了预测信号综合指数分段判别阈值,给出了预测概念模型,取得了较好预测效果。     

南极伊利莎白公主地250年来雪芯累积、氧同位素与化学研究

1Introduction In the ongoing discussion of climate change,the mass balance of Antarctica has received increasing attention during recent decades,since its reaction to global warming will strongly influence sea-level change(Schlosser and Oerter,2002).Many …     

中国西北半干旱区土地景观变化成因--以榆林市为例

1 Introduction Landscape change is a result of the complex interactions between physical, biological, political, economic and social driving forces (Moody and Woodcock 1995; Apan et al., 2002). Landscape in arid and semi-arid China is extremely vulnerabl…     

区域生态安全动态变化及空间差异定量分析:以陕北黄土高原为例

1 Introduction Ecological security is defined as the goal of stakeholders to create a condition where the physical surroundings of a community provide for the needs of its inhabitants without diminishing its natural stock (Chen, 2002; Wachernagel et al.,…     

山西2006年雨季天气气候特征分析

2005年6月17～24日,华南地区发生了连续多日的暴雨天气过程,其显著特征是存在着南北两条雨带,北支雨带(福建中北部)由准静止的梅雨锋造成,南支雨带(广东中东部)发生在锋前暖区之中,这种连续多日共存的双雨带现象引起了气象学家的广泛关注.为了探究锋面和锋前暖区暴雨的成因,加深这两类不同性质暴雨的认识,利用NCEP每6 h一次的1°×1°经纬度再分析资料以及华南地区加密观测的逐小时地面降水等资料,以此次连续多日维持的双雨带降水过程为例,详细分析了锋面附近与锋前暖湿区内暴雨系统的主要物理差异.结果发现:梅雨锋暴雨和锋前暖区暴雨不仅在中尺度雨团活动、系统动力结构、大气不稳定机制和大气加热结构等存在明显的差异,而且在水汽输送、中尺度环境以及与暴雨有关的垂直环流之间也存在着不同点,这些差异可能是造成锋前暖区暴雨难以模拟和预报的主要原因.     

防波堤损坏特点与其成因的关系

利用日本《被灾防波堤集览》、葡萄牙锡尼斯防波堤、日本六小河原港防波堤、中国大连渔港、台湾基隆港等61件典型损坏案例及其它参考文献所涉及的140余件案例,讨论了防波堤损坏平面形态与断面部位的特征。根据防波堤损坏特点,从波浪水动力学特性、结构、地基和施工多方面分析了损坏原因与损坏特性之间的关系,从而深化对防波堤工作机理的认识。     

Adjustment time of the first baroclinic Rossby wave in the global oceans

1Introduction Planetary waves involve the main processes bywhich perturbation signal in one part of the ocean istransferred to another part.In the1970s,mostof theprevious theoretical studies focus on the local Ekmanpumping and the nondispersive long baroc…     

贵州夜郎湖表层水体地球化学昼夜变化及其影响因素

为探究岩溶水库水文地球化学行为过程,对贵州普定夜郎湖表层水体进行了为期3 d的高分辨率昼夜监测。结果表明：1）多变的天气和水文条件叠加导致水体离子指标昼夜变化不显著,规律性较差。而水温、DO、pH值、SpC、SIc、pCO₂等常规理化指标受水温变化和生物作用表现出明显的昼夜波动。2）利用亨利常数和主成分分析,得到温度变化、生物作用、人类活动、水库的蓄水与放水对夜郎湖水库水文地球化学特征变化的贡献率分别为21.66%、17.28%、14.08%和10.22%,说明作用于水库水文地球化学行为的因子具有多元性。3）δ ¹⁸O表现出与DO一致的波动趋势,即白天上升,晚上下降,反映在短时间尺度上,氢氧稳定同位素变化受控于生物过程（主要是呼吸作用过程）;而对比水库水体和大气降水的d-excess（d值）发现,水库水体的d值（8.21‰）显著偏低于当地大气降水的d值（9.64‰）,说明在长时间尺度上,主要受蒸发效应引起的不平衡分馏影响。