Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

Hadoop在气象数据存储中的应用

利用虚拟资源池搭建基于Hadoop的大数据存储架构,将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架,在并发读取效率测试中取得了良好的效果,为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型。     

气象大数据云平台仿真环境容器调度性能优化研究

为实现2025年气象关键核心技术自主可控的目标,气象大数据云平台（简称天擎）建立了基于海光X86服务器和麒麟操作系统的仿真环境。在仿真平台运行中发现,基于容器技术的产品加工与流水线子系统容器调度性能较差,不能满足用户融入算法的时效要求。针对此问题,本文采用对比分析法,选取天擎仿真环境和业务环境的3种CPU芯片服务器和3种操作系统为研究对象,设计了一系列组合对比测试用例,找到了影响容器调度性能的关键因素—操作系统内核,并进一步分析了操作系统内核设置对系统实时性和吞吐量的影响以及适用的业务场景。最后给出了麒麟操作系统内核调整方法,通过调整内核设置,容器调度性能大幅提高,满足了产品加工系统的时效要求,为实现天擎的关键核心技术自主可控奠定基础。     

CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

基于大数据环境下的气象灾害预警信息分析

加强气象灾害监测预警及信息发布是防灾减灾工作的关键环节,是防御和减轻灾害损失的重要基础。基于气象大数据平台,分析了2018-2021年黑龙江省预警信息发布数量和等级特征、重大天气过程和典型天气预警信息发布情况,结果表明：2018年起黑龙江省预警信息发布数量呈逐年增加的趋势,4月和11月是预警信息发布数量最多的2个时期;预警信息发布数量最多的是大风预警,其次是道路结冰预警;秋季预警发布种类最多,达14种,冬季最少;在一个天气过程中发布的不同预警信息类别之间具有关联性。该项研究可为了解黑龙江省预警信息发布情况,提高气象防灾减灾服务成效提供参考。     

大数据环境下珍贵气象档案信息的挖掘与利用

截至2018年,为了进一步开发利用早期档案,全国有5个省(区、市)气象档案馆对1951年前的气象档案开展了档案修复,修复的数量仅有2千余页,占比1951年前档案总页数的0.04%。     

广东省气象卫星遥感数据资源池设计与应用

气象卫星数据是遥感应用的核心基石,遥感业务平台是遥感应用的重要技术手段。本文利用广东省气象局数据中心分布式NAS存储,分设FY 3D、FY 4A数据资源池,通过数据同步和用户管理技术,设计了面向桌面级业务应用的广东省气象卫星数据资源池V1.0。利用SMART和SWAP两大气象遥感应用系统,各级业务人员可快速制作气象卫星遥感监测和评估产品。通过上述“云+端”的遥感业务架构,有效解决气象遥感数据不易获取的难题和遥感应用的技术壁垒,为推进省、市、县级气象卫星遥感业务一体化提供了一定的应用示范和参考价值。     

复杂环境下雷达检测性能分析

通过对雷达检测概率特性的分析,得出在复杂环境下系统间电磁干扰对雷达检测概率的影 响,并导出雷达作用距离与雷达检测概率的关系.     

基于CIMISS全国精细化格点预报业务数据环境系统设计与实现

随着精细化预报业务不断发展,迫切需要建立支撑国省网格预报实时同步、协同一致的全国精细化格点预报业务数据环境。本文分析了精细化预报业务的特点,阐述了基于全国综合气象信息共享平台(CIMISS)的精细化格点业务数据环境的系统架构、数据流程、核心功能及相关技术实现。业务运行结果表明,数据环境实现了国省间格点预报实时同步和共享,有效支撑了预报产品的及时订正和发布,保证了国省格点预报一致性。     

数据驱动下的环境变迁与区域经济成长关联分析

由于经济发展的复杂性,本文旨在探索由环境变迁引发这一动态、复杂而又相互作用的过程,通过引入环境变迁与经济成长两方面因素分析其中的潜在关联性,并将区域稳定性作为环境变迁与经济成长相互作用后的衡量指标,来评估该过程.1）通过使用衡量国家经济健康程度的健康性与复杂性（Fitness and Complexity）算法,获得了新的评估国家经济成长的国家经济健康性系数,该系数能在竞争激烈的动态国际贸易环境下有更好预测GDP的表现.随后建立机器学习模型,成功预测了不同国家的稳定性类别,且预测精度都在90％左右.2）实现了基于数据的环境变迁和区域经济成长的关联性可视化分析,通过分析能够得到潜在关联性结论：一些发展中国家经济稳定性与水资源和二氧化碳排放呈强关联,而发达国家则与人均耕地面积有关联.3）设立评估国家稳定性的新指标,与世界主流指标相比,构建的新指标更注重原始数据的量化,减少了概念抽象的指标对预测性能的影响,且在评估区域经济成长时能更符合当前国际的实际经济情况.本文提出的评估区域稳定性的新排名是完全基于量化指标的,因此更容易实现,说服力更强.通过实际的预测效果分析,该新排名在衡量区域稳定性时弥补了世界主流排名由抽象指标带来的预测失真缺陷,能够满足基本的区域稳定性预测功能,并且能够对预测结果造成影响的主要因素进行解释.     

卫星云图资料在降水量客观分析中的应用试验

利用葵花8号卫星资料和地面降水观测资料,采用Spark GBT (Gradient Boosted Trees Regression)学习算法对中国西部地区进行定量降水估计(QPE),采用三维Barnes插值方法得到逐时降水格点场。试验结果表明,引入卫星资料估计降水,可以有效地改进站点密度小的区域的降水格点场的客观分析精度。     

省级外网气象大数据服务平台研究与实现

随着社会经济发展，气象大数据已成为国家大数据基础性战略资源的重要组成部分。然而各省市集约化气象大数据环境均建设于气象业务内网，面向社会的气象数据服务则存在集约化程度低、时效性差、数据量少、安全隐患多等问题，因此，建立外网环境的统一、高效、安全的气象大数据中心是气象业务社会化服务发展的迫切需求。本文建立了外网气象大数据服务平台,采用GoldenGate和sersync+rsync技术实现内网与DMZ区(Demilitarized Zone,两个防火墙之间区域)实时稳定的触发式秒级数据同步；跨平台、多语言开发，标准化调用的统一访问接口设计，可实现高并发、稳定的数据响应请求；分时分类的用户数据访问控制，可实现数据权限的安全控制。该平台通过防火墙双网段控制，向互联网环境用户提供高效、安全、权威的气象大数据服务。     

科学大数据在全球气候变化研究中的应用

本文从气候系统观测资料、数值模拟资料、经济社会资料和土地利用资料等方面论述了全球气候变化的科学大数据的构成。为推动气候变化大数据的应用,需要进一步发展集成融合、存储共享、数字模拟和数据挖掘等新的科学大数据处理技术方法。文章还分析了科学大数据在全球气候服务框架和未来地球计划中的应用价值,并对其未来发展进行了展望。     

提升气象卫星高速数据解调性能的研究与试验

随着风云气象卫星事业的飞速发展,卫星观测通道数量不断增加、时间和空间分辨率不断提高,原始数据码速率已经由每秒几十兆比特上升为几百兆比特,不久将达到千兆以上.卫星的主要任务是获取遥感数据,从某种角度而言,卫星的价值等价于遥感数据的质量和大小.原始数据通过无线电载波传输至地面站,从载波中准确无误地解调出原始数据,是风云卫星...     

伴随系统及非线性优化方法在REM模式可预报性研究中的实际个例应用

利用REM模式的伴随系统和非线性优化方法，通过三个实际天气个例，对REM模式的可预报性问题进行了研究。结果表明，REM模式在给定的实际应用中可接受的预报误差范围内，对三个天气个例都具有预报能力。对于个例一，利用现有的常规报文初始观测场，进行简单的插值处理（最优插值等），REM数值模式就可以得到比较满意的预报结果； 对于个例二和个例三，对现有的报文初始观测场进行处理（如四维变分资料同化）后，REM模式在给定的误差允许范围内，对这两个天气个例仍得到满意的预报。研究结果不仅对改进数值模式具有一定的指导意义，而且对如何改进数值模式的初值问题，特别是在中尺度天气预报中如何改进具有一定的参考价值。     

多源探测资料在一次非线状MCS分析中的综合应用

用多种加密观测资料和NCEP日再分析资料分析了2010年7月14日强降水期间咸宁地区一次非线状MCS活动造成短时强降水的发生发展机制.结果表明,14日13-18时非线状MCS回波结构组织性差,强对流单体散乱地分布在大片层状回波中,准静止地维持在湖北咸宁地区大约5h,造成了短时强降水.该MCS发生在梅雨锋锋面附近的地面涡旋环流中,高空冷空气侵入和锋前抬升运动是对流的主要触发机制,切变线南侧不稳定的暖湿气流在长江中游地区辐合集中、局地的地面气流辐合和边界层有利的风切变是该非线状MCS发展维持在成宁地区的有利条件.高时空分辨率探测资料对MCS演变过程有较好的分析能力.     

卫星与自动站资料分析处理系统设计原理和实现

介绍了根据天气分析和预报的实际业务需求,依据卫星资料量化处理和自动站中尺度变压场分离方法等基本原理,设计卫星与自动站资料分析处理系统功能和结构,以＂软件工程＂原理实现系统开发的基本方法、组织及管理,为此类软件系统开发提供了一个实例。     

基于WACCM+DART的临近空间SABER和MLS臭氧观测同化试验研究

本研究在WACCM+DART（Whole Atmosphere Community Climate Model,Data Assimilation Research Test-Bed）临近空间资料同化预报系统中加入SABER（Sounding of the Atmosphere using Broadband Emission Radiometry）和MLS（Microwave Limb Sounder）臭氧观测同化接口,并以2016年2月一次平流层爆发性增温（SSW）过程为模拟个例进行了SABER和MLS臭氧观测同化试验,得出以下结论:同化SABER和MLS臭氧体积浓度观测得出的WACCM+DART臭氧分析场能够较真实反映SSW期间北极上空平流层臭氧廓线随时间的演变特征,且与ERA5（Fifth Generation of ECMWF Reanalyses）再分析资料描述的臭氧变化特征具有很好的一致性;基于SABER和MLS臭氧观测的WACCM臭氧6 h预报检验表明同化臭氧观测对臭氧分析和预报误差的改善效果主要体现在南半球高纬平流层和北半球中高纬平流层中上层-中间层底部;基于ERA5再分析资料的WACCM+DART分析场检验表明同化SABER和MLS臭氧体积浓度资料可在提高北半球高纬地区上平流层-中间层底部臭氧场分析质量的同时减小该地区上平流层-中间层底部温度场和中间层底部纬向风场的分析误差;基于MLS臭氧资料的臭氧中期预报检验表明相对控制试验同化SABER和MLS臭氧体积浓度资料能更好改善0~5 d下平流层和中间层底部臭氧的预报效果。     

基于雷达资料的上海地区暴雨面雨量计算及应用

根据上海地区小时雷达资料的定量降水估测(quantitative precipitation estimation,QPE)网格产品和经过质量控制的自动站雨量资料进行暴雨面雨量计算方法研究,计算方法为:将暴雨区内自动站周围9个网格点的QPE平均值作为自动站的雷达估测雨量,计算各测站雨量与雷达估测雨量的差值,用克里金插值方法将差值场插值到雷达降水估算产品相同的网格点上,再将网格点上残差插值数据加上网格点上雷达估测雨量,得到各网格点用自动站订正后的雷达估测小时雨量资料。文中24个典型暴雨各测站订正后QPE与实测雨量的平均绝对误差比订正前减小了27%;两个典型暴雨主要降水阶段经国家气象站资料订正后QPE与实测雨量的平均误差比订正前减小了33%～39%,暴雨过程总雨量经国家气象站资料订正后减小了34%～59%。根据以上方法得到的网格点雨量计算和绘制上海地区2007—2015年24个典型暴雨降水区域的小时面雨量值和图、过程面雨量值和图、行政区和水利片面雨量值和图。最后基于.NET Framework 4.0基础架构软件开发平台,使用Microsoft Visual Studio 2012和Microsoft Visual Studio软件开发工具制作"基于雷达资料暴雨面雨量自动化计算查询系统",供业务科研人员实时查询和计算。