数据仓库技术在天气预报决策中的应用探讨

文章概述了数据仓库的概念和特点。讨论了数据仓库的数据存储、联机分析处理 (OLAP) 和数据挖掘 (DM) 要解决的主要技术问题, 侧重于数据仓库技术在天气预报领域中的应用。数据仓库技术将原始数据转换为便于分析的数据, 并增强了管理和使用历史数据及特种观测数据的能力, DM能够帮助预报员快速积累经验, OLAP使预报员的分析突破了过去固有框架的限制。文章针对天气预报决策特点提出以天气系统分析为主的数据聚集处理、在OLAP的多维分析之外增加比较分析、多元分析和相似分析功能等扩展, 还指出关联规则的挖掘是目前预报方法研究中值得尝试的新方法。     

SharpMap在青海省气象信息网络数据库中的应用

在 .NET环境下开发了基于B/S结构的青海省气象信息网络数据库。该数据库系统由气象信息基础数据库、数据库管理网站及一个空间信息平台构成。气象数据能够实时入库,并具有底图制作、基于地图的数据检索、数据统计和图形绘制等功能,将查询结果叠加在电子地图上显示,直观方便。系统于2009年在青海省气象台投入使用,提高了青海省气象台气象数据共享能力和服务水平,并为青海省气象台的各项业务工作提供了有力的支持。系统采用SharpMap技术实现了空间信息平台,并应用Ajax等技术提高了系统效率,本文对其在网络数据库中的应用     

江西省下行气象资料实时监视平台设计与实现

下行气象资料是省级气象部门重要的数据源。在分析下行气象资料接收流程基础上,提出了江西省下行气象资料实时监视平台的构建思路。基于日志分析,采用MVC架构、SQL Server数据库和HTML、JavaScript等Web技术对平台进行设计与实现。平台实现了对江西省实时下载资料和CMACast系统广播资料等下行气象资料的实时监视。平台具有对下行气象资料年、月、日和任意时段的统计分析和对后台日志处理系统的异常报警。平台投入业务应用后,大大提高了江西省下行资料接收和监控效率。     

北京全球信息系统中心的数据缓存功能优化

世界气象组织信息系统 (WMO Information System,WIS) 是一个支撑全球气象数据交换共享的通用信息服务平台,北京全球信息系统中心作为WIS的核心功能中心之一,必须缓存最近24 h内的WMO全球交换数据以提供高效的数据访问服务。为了检查收集到的全球交换数据的合法性,需要校验每条数据是否存在与之匹配的元数据,这些元数据信息以关系型数据库方式存储在北京全球信息系统中心中。由于每日接收到的WMO全球交换数据文件个数多且收集时间分布不均,大量频繁的数据库查询操作导致处理性能下降,特别在数据密集收集的情况下容易产生较大延迟,直接影响业务的实时性。设计并实现一种基于内存对象缓存的应用优化现有通过数据库查询的校验方式,实现在内存中一次性载入元数据信息,并在内存中完成缓存数据校验的操作,以此来减少磁盘的读写访问,提升处理效率。此外,还通过多线程方法实现与缓存数据相关的功能,使该方案具有良好的扩展性。实际应用表明:数据缓存功能优化后能满足实时业务性能要求。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

台站级CINRAD/SA雷达数据质量检测技术及应用

新一代天气雷达产品均由雷达基数据直接或通过算法等生成的,可能会出现数据质量问题,因此,利用雷达基数据和雷达主要状态信息,开展数据质量检测,能及时发现雷达回波强度异常值、无回波、奇异回波图等问题。本文对CINRAD/SA雷达运行的性能参数、监控信息、报警信息进行梳理,形成判据及阈值,并对江苏省SA雷达异常回波、基数据进行统计、分析,以解决由于雷达本身原因造成的回波异常,构建台站级雷达数据质量检测的方法,重点对雷达基数据进行数据质量检测,及时发现异常回波、无回波等数据质量问题,通过短信预警,指导台站进行维护维修,从而限制由于雷达自身原因造成的异常回波资料进入预报领域。     

多普勒天气雷达原始资料索引数据库设计

针对我国现阶段多普勒天气雷达网建设过程中雷达原始资料状况及气象业务发展、教学、科研工作对该类资料的管理需求．尝试设计了适于我国日前布网多普勒天气雷达原始资料的索引数据库管理系统，该系统同样可供由不同类型雷达构成的区域雷达网、全国雷达网雷达原始资料管理作参考。该数据库系统的建立采用结构化程序设计，用Visual C^ 6．0作为应用程序的开发工具，用Microsoft Access 2000做数据库。实现了雷达资料信息入库，修改，查询，资料导出，资料转换，资料回放，数据库备份等功能。     

基于奇异值分解的气象数据推测

以中国662个气象台站的2004—2013年逐日平均气温、平均相对湿度、日照时数和气温日较差4个气象要素为研究对象,使用奇异值分解方法来推测缺失气象数据。为降低随机的不利影响,将10年的逐日气象数据做平均。分别采用奇异值分解的相对误差和相似度矩阵来证实气象数据的近似低秩性,并探讨气象要素之间的相关。分析主要的基向量,设计3组推测试验。第1组试验随机选取6个气象台站的数据用于测试,其余台站用于训练,以获得5个最佳的基向量。随机选取每个测试台站的12个观测值,再由所选取的基向量来推测未知值。平均气温、平均相对湿度、日照时数和气温日较差的平均推测误差分别为8.00%、7.83%、17.17%和10.82%。在第2组试验中,随机选取70%的气象台站用于训练,其余气象台站用于验证推测性能。试验结果表明基向量的数目可选为5—15,随着基向量或观测值数量的增加,推测性能也随之改善。第3组试验,根据10个台站1952年下半年的气象观测数据,推测上半年的未观测值,试验结果合理可靠。      

气象数据在多种类数据库上查询统计能力初探

气象结构化数据包含地面小时数据、地面分钟数据等多种数据种类,在分析和调用中需要利用时间属性和空间属性。随着数据量日益增大,高并发、复杂统计条件下的查询与统计对数据库的效率要求十分严苛。在此背景下,传统的关系型数据库逐渐难以满足实时应用需求。本文使用不同类型的分布式数据库和关系型数据库,结合气象业务使用场景,探索多种类型下数据库的使用性能,研究不同场景的性能差异与不同数据库架构框架之间的关系,以提高数据服务实时响应能力。     

地温观测常见问题及报表数据处理方法

通过北京市朝阳区一般气象站地温日常观测实例,重点分析了自动气象站铂电阻地温传感器性能不良的数据异常特征和当月报表处理方法,简要分析了地面观测场维护不当对质量控制数据的影响。分析发现,铂电阻地温传感器性能不良直接引起自动站地温数据异常,表现在自动站和人工站差值不稳定或增大,报表数据处理要根据当月实际情况进行相应处理;地温场土壤热力性质不均一、地温表放置不当和周边环境变化都会造成质量控制数据的误差,需要观测员在操作过程中高度重视。     

基于ORACLE的陇东南区域自动气象站数据库设计及应用

区域气象自动站的建立,提高了防灾减灾及突发灾害性天气的监测预警能力。随着站点建设规模的快速扩展,数据处理量成倍增多,对数据库系统的存储处理提出了更高的要求。ORACLE数据库在处理海量数据方面,性能优异、可伸缩性强。以ORACLE 10G作为核心数据库,设计、建立了基于ORACLE的陇东南区域自动气象站数据库与应用系统。经过试用表明,该数据库能够很好地满足区域自动气象站数据实时访问和检索需求,提高了数据应用效率,实现了陇东南和周边部分地区近千个站点的资料自动入库、存储和查询检索。本文对数据库设计、SQL语句查询优化原则、ORACLE数据服务器和客户端的连接配置等方面做了重点介绍。     

地面气象观测资料电子档案的安全性

为了加强地面气象观测资料的电子档案安全管理,适应信息时代气象现代化业务建设的需要,以确保电子文件的真实性、完整性和有效性,提高气象电子档案的利用率,论述了电子档案安全性问题的特点,以及其与电子文件格式类型的关系.合适的电子文件格式对电子档案安全有重要意义,分析了纯文本文件和数据库文件这两种典型文件格式类型的特点,提出了通过建立纯文本文件和数据库文件相互备份机制,不仅可以最大程度地提高电子档案资料的安全性,而且可以提高档案资料的管理、服务及开发利用能力.     

沈阳区域气象中心雨量要素库处理系统

沈阳区域气象中心根据东北区域雨量报告的特点，自主开发了雨量要素库并投入业务使用。对雨量要素库的自动处理系统，及其主要功能如库生成与清除、数据存档与恢复等进行了详细介绍。     

自动站数据质量控制中关联规则挖掘的应用

为进一步提高自动气象站数据的业务可用性,提出了基于关联规则挖掘技术的自动气象站数据质量控制算法,以相对湿度与风向、风速观测要素变化间的关联关系为例,总结了自动气象站相关观测项目间可能存在的关联规则,进而指导建立适合不同地域、不同气候特征的专家知识规则库,用以完善自动气象站数据质量控制系统,为天气预报和气象服务提供更加精准的气象观测数据。文章还对关联规则专家知识库的可靠性进行了验证,具备了一定的实用价值。     

基于元数据的暴雨基础数据库系统设计与简介

针对气象数据来源多样、格式众多、时序性强的特点,从暴雨资料现状出发,结合暴雨资料共享需求,参考国内外气象科学数据共享相关技术,提出一个基于元数据的暴雨数据库系统设计及实现方法,建立一个以暴雨过程为核心的暴雨基础数据库系统。该系统融合了暴雨过程发生时间段内的各种地面、高空、雨量等常规气象要素资料和雷达卫星、暴雨数值预报资料等非常规气象要素资料,以及地基GPS/MET、微波辐射计、边界层风廓线等暴雨外场监测资料。该系统共享平台作为中国气象科学数据共享服务网的分节点,自2009年正式运行以来,效果良好。     

存储检索系统监视信息采集技术分析

主要介绍国家级气象资料存储检索系统的监视分系统中监视信息采集功能的实现,对存储系统监视信息采集需求和方法进行了分析,介绍了包括调用系统命令和Java提取信息等方法,通过实际例子详细阐述了监视系统获取信息和存储信息的方式,并概括说明了目前投入业务运行的监视信息采集功能,最后对采集模块的改进提出建议。     

Open Data Services和Socket的应用研究--数据库服务器与应用程序间网络通信接口模块的设计

在数据库应用系统开发时常遇到的问题是如何合理的设计外部进程访问数据库的时闻控制方案，在满足设计要求的响应时问的前提下。把握好系统与网络负载同系统事务响应处理速度之间的平衡关系。但在实际开发过程中对于某些类型数据的响应处理缺乏有效率的解决途径。此类数据采用通常的处理方式往往不能较好地得到解决。基于此，开发了1种由ODS API和Socket缩程的数据库ESP扩展方法，由应用系统主动查询方式变为数据库系统主动通知或推送的方式，从而提供了1种高效率的解决方案。     

河南省台站上行气象信息传输质量管理系统的构建与应用

针对台站上行的各类气象数据传输质量信息,在Windows操作系统上,以Web方式,使用ASP和VC语言开发了一个基于Sql Server数据库的集统计、查询、管理、报表生成、相关文件规定检索等功能于一体的综合应用管理系统。     

数值预报产品释用业务系统历史数据存储与检索

该文介绍了在国家气象中心中短期精细化数值预报产品释用业务系统中的历史数据存储结构的设计原理。基于该数据存储结构,依照用户的要求,可方便地选择区域大小,检索出某要素某段时间的数据,还可通过计算机编程实现国家级数值预报释用业务需求的历史数据处理和预报因子分析功能,表明新的历史数据存储结构简炼合理,灵活实用,能够极大地提高数值预报产品释用的工作效率。     

基于昆明市精细化GIS的天气雷达标准格式基数据应用

以国家地理信息公共服务平台、云南数字乡村、Mapinfo公共数据为数据源,在C#开发环境下实现了精细到乡镇、公路、行政村、自然村的昆明市精细化地理信息系统(GIS)的自主研发,解决了基层气象部门缺乏精细化GIS的难题。介绍了标准格式基数据的解析、成图过程及注意事项,在全国范围内较早实现了天气雷达标准格式基数据在基层气象部门的业务应用。在业务应用过程中,发现了CC天气雷达标准格式早期基数据存在回波强度严重减弱的问题;昆明市精细化GIS与昆明天气雷达回波图的融合应用,可以精确定位雷达强回波区,对精细化气象服务具有指导作用,提高了强天气精细化预警能力、短时临近精细化预报能力和防灾减灾能力。