基于大数据云平台的天山气象APP设计与应用

为提升大数据云平台与移动互联网的耦合气象服务质量,满足气象防灾减灾移动可视化需求,推进新疆气象信息化事业高质量发展,亟需开发一款专业气象服务APP。该APP在“云+端”业务模式下充分利用气象业务现有数字化成果,采取多源存储、接口调用、控制反转和数据交互技术,对全疆天气自动站的地面观测、格点实况融合、雷达回波、灾害预警等气象资料进行加工处理和移动展示。天山气象APP可按用户需求提供疆内基于实时位置的天气实况、精细化预报、预警详情、雷达拼图、实况要素产品和统计值要素产品,同时继承大数据云平台服务接口高额承载能力,实现毫秒级响应,在全疆天气自动站应急保障与气象防灾减灾服务中应用成效显著。     

内蒙古自治区气象大数据管理云平台设计与实现

文章介绍了内蒙古自治区气象大数据管理云平台利用分布式存储与计算架构,构建数据采集子系统、数据加工处理子系统、数据存储管理子系统、业务监视子系统、数据共享服务子系统和数据展示子系统,实现部门内外常规气象观测资料、服务产品、行业部门相关数据的集约化、标准化、统一存储管理,对接内蒙古自治区政府“云上北疆大数据平台”和“政务资源共享平台”,完成了行业的互补和延伸,开辟了气象信息化发展的新舞台。     

陕西省气象云管理平台简介

从组织管理职责、总体架构、技术路线等方面介绍陕西省气象云管理平台如何实现,从主要功能、平台应用等方面介绍陕西省气象云管理平台如何使用,从而实现全省基础资源的集中管理、动态分配、自助申请,并支撑数据处理、分析、交换、管理和各业务支撑系统等多种不同的系统。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

刍议省级气象大数据

针对气象数据文章,用大数据的4V特征标准逐一做了分析,并思考了气象数据是否无法用传统方法分析的问题,给出气象大数据较为理性的认识。根据大数据技术和气象数据的特点,列出了如何利用大数据技术与气象数据结合,发挥积极作用的几个方向。     

面向服务的气象大数据

依据国家大数据发展战略和大数据特性,对气象大数据特征、面临问题和技术创新进行阐述,深入分析气象大数据服务方式和跨领域服务的发展方向。提出以标准先行为前提,集约整合为手段,通过数据层、逻辑层和界面层的整合来搭建面向服务的气象大数据环境,借助大数据发展机遇加快推动气象大数据发展步伐。     

面向服务的气象大数据

依据国家大数据发展战略和大数据特性,对气象大数据特征、面临问题和技术创新进行阐述,深入分析气象大数据服务方式和跨领域服务的发展方向。提出以标准先行为前提,集约整合为手段,通过数据层、逻辑层和界面层的整合来搭建面向服务的气象大数据环境,借助大数据发展机遇加快推动气象大数据发展步伐。
 

     

基于云平台的气象数据监控服务系统实现

通过对县级气象观测运行监控业务现状的分析,提出了一种适于基层台站区域站数据实时监控的系统,并对该系统架构模式,气象数据下载方法、监控信息获取方案、主动提示告警服务等功能的实现进行了介绍。通过和广东省气象局区域站监控系统进行双轨运行对比试验,结果表明,本系统监控覆盖站点数较全面,缺测提醒准确度较高,平均响应时间约为50 min。     

福建气象综合业务平台融入“天擎”技术方案设计及实现

为加快推进福建省气象业务系统的集约化、云化转型,需要依托福建气象大数据云平台(“天擎·福建”)对业务系统进行融入改造。本文介绍了“天擎·福建”的概况、总体架构和功能,重点阐述了福建气象综合业务平台融入“天擎”的技术方案及实现方法,从平台融入“天擎”、数据源切换至“天擎”、算法纳入加工流水线、数据产品存入“天擎”、系统监控进“天镜”、前端页面改造等6个方面实现了应用融入并投入业务运行,融入后综合业务平台的数据汇聚、加工和服务全流程进一步优化和规范,系统运行效率和访问速度显著提高,为其他的业务系统融入天擎提供借鉴。     

大数据时代气象数据分析应用的新趋势

简要介绍了大数据的概念和特征,以及大数据时代的思维变革方式,通过案例引述,从数据采集、数据存取、数据挖掘和信息发布等方面探讨了大数据时代气象数据分析应用的新趋势,提出了应对思路和方法。     

气象大数据云平台归档系统设计及实现

本文针对"天擎"归档系统的建设需求、总体架构,提出系统实现的若干关键技术问题并进行深入分析,气象大数据云平台(以下简称"天擎")归档系统设计为面向海量数据归档存储的支撑系统,保障数据的安全完整。系统基于在线存储、离线存储以及磁带库管理软件,通过层次性结构体系、消息队列和微服务技术框架,实现多协议数据归档、敏感数据归档及转储数据归档等功能,满足各种新增数据归档业务场景,同时具备丰富的数据回取服务、数据全流程的追溯和规范化的磁带管理保障等功能。2020年8月"天擎"归档系统投入业务运行,每日归档的实时数据量约为10TB,后续最高可承载约240TB日数据量的归档业务。     

大数据环境下Spark性能优化分析研究与应用

针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorologi-cal Information Sharing System)存在支撑能力严重不足的问题.本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新...     

省级外网气象大数据服务平台研究与实现

随着社会经济发展，气象大数据已成为国家大数据基础性战略资源的重要组成部分。然而各省市集约化气象大数据环境均建设于气象业务内网，面向社会的气象数据服务则存在集约化程度低、时效性差、数据量少、安全隐患多等问题，因此，建立外网环境的统一、高效、安全的气象大数据中心是气象业务社会化服务发展的迫切需求。本文建立了外网气象大数据服务平台,采用GoldenGate和sersync+rsync技术实现内网与DMZ区(Demilitarized Zone,两个防火墙之间区域)实时稳定的触发式秒级数据同步；跨平台、多语言开发，标准化调用的统一访问接口设计，可实现高并发、稳定的数据响应请求；分时分类的用户数据访问控制，可实现数据权限的安全控制。该平台通过防火墙双网段控制，向互联网环境用户提供高效、安全、权威的气象大数据服务。     

提升气象卫星高速数据解调性能的研究与试验

随着风云气象卫星事业的飞速发展,卫星观测通道数量不断增加、时间和空间分辨率不断提高,原始数据码速率已经由每秒几十兆比特上升为几百兆比特,不久将达到千兆以上.卫星的主要任务是获取遥感数据,从某种角度而言,卫星的价值等价于遥感数据的质量和大小.原始数据通过无线电载波传输至地面站,从载波中准确无误地解调出原始数据,是风云卫星...     

气象数据质量分析与评估

MDOS系统实现地面小时数据、分钟数据、日数据、日照、酸雨数据质量控制,观测数据经过本系统实现台站级、省级和国家级三级质量控制。文章分别从站点分布、下垫面环境、观测要素疑误及产生原因、数据可用率等多个方面进行了数据质量的统计、分析与评估,统计了2017年1—6月考核数据,数据可用率高达99.98%,数据质量总体呈优良水平,保证各个应用系统使用数据的及时性和正确性,为数值天气预报、资料同化与再分析、公共气象服务、特色气象服务产品提供更准确的高质量地面气象观测数据。     

基于云资源的青藏高原科考数据收集与传输平台设计与实现

受限于地理环境、通信条件及人员保障能力,青藏高原科学考察数据无法通过现有气象通信系统进行收集和传输,这一直是困扰着气象科研工作者的难题。本文依托电信运营商的公有云资源建立科考数据汇集与传输平台,在西藏墨脱地区开展了大量科考观测数据的收集和传输工作。该平台采用高并发数据获取和分布式并行处理框架,实现在单台服务器上数据收集、处理、分发、监控等多个应用的持续有序工作,并结合科考仪器特点对数据进行有针对性的监控和归档服务。同时,还设计实现了轻量化的数据上传客户端,解决布设于野外的科考观测设备的数据采集问题。该平台的设计可应用于其他地区的科考观测数据收集和传输工作中。     

基于卫星资料梯度信息的新型变分同化方法对于台风数值模拟的研究

卫星资料凭着卫星遥感的全球性、连续性和高频次观测等优势,成为一种重要的非常规资料源,但卫星观测仍然存在各种各样的观测误差,其中包含由于观测偶然性所造成的统计学上的随机误差及仪器本身和辐射传输模式等造成的系统性偏差,这些误差在很大程度上影响了卫星资料的质量。文中提出了一种能有效订正卫星观测资料系统性偏差的梯度信息同化算法,该方法用一个梯度算子进行模式变量与观测变量的梯度变换,从而达到订正系统性偏差的目的。本文利用WRF（Weather Research Forecast）模式及其同化模式WRFDA（WRF Data Assimilation system）,以及AIRS（Atmospheric Infrared Sounder）资料,对台风“圆规”进行了实际的数值模拟和同化试验,数值结果表明,梯度信息同化方法能明显改善台风路径的模拟,在处理可信度较低的资料时仍然适用。另外,通过同化诊断分析,发现卫星资料的系统性偏差对于台风数值模拟有较大影响,而文中提出的梯度信息同化方法能较好的解决此类问题。