Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

地面气象观测无人值守系统的设计与应用

气象观测数据的传输率和可用率是气象预报服务及时准确的基础,是衡量通信系统运行可靠程度及运维保障能力的关键指标。长期以来,各级业务人员通过不间断值守班来保障气象观测数据的传输质量。随着现代化气象业务体系的不断发展,气象业务对资料传输的时效性、完整性要求也越来越高,对气象资料的综合监控能力也提出了更高的要求。在全国地面气象业务体制改革的要求下,广西率先在全国实行了基层台站无人值守业务调整,设计并实现广西地面气象观测无人值守系统。该系统集数据传输监控、数据传输时效统计于一体,通过自动监控告警、主备站资料(要素)智能识别替代、双条传输链路热备等设计,建立一套无人值守传输业务流程,从技术上支撑业务改革调整,大大降低基层业务人员工作强度。业务应用分析表明,无人值守系统运行可靠,业务质量保持高水平稳定,业务效益凸显。     

延庆-张家口地区复杂地形冬季山谷风特征分析

基于2016年12月—2017年2月和2017年12月—2018年2月两年冬季的近地面自动气象站逐时观测数据以及张家口探空数据分析延庆-张家口一带（包括张家口崇礼、赤城、海坨、小五台山区,延怀、怀涿、洋河、蔚县盆地以及北京延庆、昌平、怀柔部分平原地区）复杂地形的风场精细化时、空分布特征,揭示不同复杂地形下局地风场的时、空变化规律,加深对复杂地形动力、热力作用对近地面风场影响的认识,为冬季山区风场预报以及复杂地形数值模式改进提供参考。结果表明:晴朗小风天风持续性作为矢量平均风速和标量平均风速的比值,可以作为研究风场变化规律的重要参数。根据风持续性的日变化特征,可以将研究区域内所有站点分为10种类型,分别代表不同局地地形特征的影响,风持续与风向变化的相关也很强。研究区域主要有3种类型的地形风:斜坡风、峡谷风以及较大尺度的山区平原风。不同地形特征下的风场、风持续性存在明显不同的日变化特征,山风和谷风相互转化的时间也不同,山区最早,盆地次之,平原区最晚;山风时段持续时间较谷风时段长,风速小;晴朗小风天实测风反映了实际风场的特征,而排除环境背景风场,弱化地形动力作用后整个冬季的局地风作为理论山谷风,更能反映热力作用下的山谷风特征。      

内蒙古冬季极端多雪气候事件环流演变特征及季节预测信号

文章研究关注了内蒙古冬季极端多雪气候事件的季节预测问题,在对大量降水观测资料、海温及大气环流场资料进行统计、分析、研究的基础上,确定了历史上58a(1960—2017年)内蒙古冬季极端多雪和少雪气候事件样本,通过对大气环流场的对比分析发现极端多雪或少雪冬季环流场特征显著不同,分析后确定了影响内蒙古冬季降雪的主要环流系统,包括西太平洋副热带高压、极涡、东亚大槽、环流E型及南方涛动等系统。同时,探索了对这些主要环流系统具有预测意义的来自海洋和大气场的预测信号,对预测信号关键区做了标准化定量提取,确定了预测信号综合指数分段判别阈值,给出了预测概念模型,取得了较好预测效果。     

La3+ 离子掺杂钨酸铅单晶的微结构缺陷

钨酸铅晶体是一种非化学计量化合物,缺陷丰富,蕴含着利用掺杂产生新效应和开发新功能的广泛可能性。探讨了不同浓度La3 掺杂对于钨酸铅晶体发光性能的影响,如热释光、X射线激发发光、光致发光等。La3 掺杂有效地抑制了陷阱中心,使发光受到强烈的抑制,在高浓度掺杂的钨酸铅中,激发机制有所改变,通过XPS测试的结果分析了不同浓度La3 掺杂机制。低浓度掺杂中,La3 取代Pb2 ,形成缺陷复合体[2(La3Pb ).-(VPb)″];高浓度掺杂晶体中,La3 离子不但占据Pb2 位置,而且也会占据W6 位置(La3W ),产生La3 的自补偿机制,形成La3 的自补偿对[(La3W )-(La3Pb ).]-(VO)..或缺陷聚集体[3(LaP3b ).-(La3W )]。     

Spatial variation and driving mechanism of soil organic carbon components in the alluvial/sedimentary zone of the Yellow River

Alluviation and sedimentation of the Yellow River are important factors influencing the surface soil structure and organic carbon content in its lower reaches. Selecting Kaifeng and Zhoukou as typical cases of the Yellow River flooding area, the field survey, soil sample collection, laboratory experiment and Geographic Information System(GIS) spatial analysis methods were applied to study the spatial distribution characteristics and change mechanism of organic carbon components at different soil depths. The results revealed that the soil total organic carbon(TOC), active organic carbon(AOC) and nonactive organic carbon(NOC) contents ranged from 0.05–30.03 g/kg, 0.01–8.86 g/kg and 0.02–23.36 g/kg, respectively. The TOC, AOC and NOC contents in the surface soil layer were obviously higher than those in the lower soil layer, and the sequence of the content and change range within a single layer was TOCNOCAOC. Geostatistical analysis indicated that the TOC, AOC and NOC contents were commonly influenced by structural and random factors, and the influence magnitudes of these two factors were similar. The overall spatial trends of TOC, AOC and NOC remained relatively consistent from the 0–20 cm layer to the 20–100 cm layer, and the transition between high-and low-value areas was obvious, while the spatial variance was high. The AOC and NOC contents and spatial distribution better reflected TOC spatial variation and carbon accumulation areas. The distribution and depth of the sediment, agricultural land-use type, cropping system, fertilization method, tillage process and cultivation history were the main factors impacting the spatial variation in the soil organic carbon(SOC) components. Therefore, increasing the organic matter content, straw return, applying organic manure, adding exogenous particulate matter and conservation tillage are effective measures to improve the soil quality and attain sustainable agricultural development in the alluvial/sedimentary zone of the Yellow River.     

扬子板块西缘攀西地区白草矿区黄铁矿标型元素特征及其指示意义

黄铁矿是重要的金属硫化物矿物,在多种矿床中均有产出,其标型特征对矿床成因、矿体空间分布等具有重要的指示意义.以扬子板块西缘攀西地区白草矿区黄铁矿为研究对象,利用矿相学、电子探针等分析方法来对比研究浸染状、致密块状、斑杂状、网脉状矿石中黄铁矿的标型元素特征.结果表明:白草矿区黄铁矿Fe、S平均含量(质量分数,下同)分别为...     

地方嵌入对在华外资企业出口市场多元化的影响

外资企业通过直接出口和间接溢出效应对中国出口增长做出了巨大贡献.现有文献大多基于外资企业知识溢出研究其对本地出口和创新等方面的促进作用,较少关注外资企业自身的贸易活动.利用2000-2016年中国海关贸易数据库,在全球-地方互动视角下,搭建本地、目的国(地区)和本地-目的国(地区)联系三维度框架,重点关注外资企业地方嵌...     

洛阳市城市环境气象监测预报服务研究

利用洛阳市环境监测资料和气象资料,分析了洛阳市污染物浓度的日变化、季节变化、年际变化规律,并分析了污染物浓度与气象因子的关系.在此基础上,通过回归分析预报方法、污染潜势预报方法、CAPPS模式预报方法对洛阳市3种主要污染物的浓度和级别进行了24 h和48 h预测,并建立了气象局与环保部门共享的气象和污染数据库平台,为双方今后的合作奠定了基础.     

Cr^3＋在改善三元复合驱中的作用实验研究

在三元复合驱矿场应用实践中,由于三元复合体系自身流度控制能力的局限性,必须通过聚合物凝胶前置段塞来改善吸液剖面,这就涉及到聚合物凝胶与三元复合体系的配伍性。通过向三元复合体系中加入有机铬,考察Cr^3＋对三元复合体系黏度、界面张力和阻力系数等性能影响,进而对Cr^3＋聚合物凝胶与三元复合体系配伍性以及Cr^3＋在改善三元复合体系性能方面的作用做出评价。结果表明,Cr^3＋的加入对三元复合体系黏度和界面张力影响不大,但阻力系数和残余阻力系数却明显增加。当采用Cr^3＋聚合物凝胶作为前置段塞或采用添加Cr^3＋的三元复合体系进行复合驱油实验时,其采收率增加幅度都要高于普通三元复合驱。这不仅显示出Cr^3＋聚合物凝胶与三元复合体系间良好的配伍性,而且为改善三元复合驱增油效果提供了新的途径。