元数据技术在MDSS实时气象数据库系统建设中的应用

元数据是关于数据的数据,目前被越来越多的应用于系统建设过程中。利用元数据,可以记录整个系统中数据的来龙去脉,这样可以把整个业务的工作流、信息流有效地管理起来,提高系统的可扩展性;此外元数据还具有数据发现和数据搜索的功能,能够提高系统的灵活性。介绍了国家级气象资料存储检索系统(MDSS)中实时气象数据库设计的元数据种类及其存储管理方式,以及元数据技术在实时气象数据库系统建设中的应用,详细描述了如何通过元数据提高软件的灵活性、可维护性。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

宁夏气象业务内网的功能与实现

构建气象业务内网,形成宁夏气象行业内部统一的数据共享服务平台,是宁夏全区气象信息化建设的重要任务之一。本文首先描述了系统建设思路、总体架构、功能结构,然后对气象元数据标准设计、数据收集和处理、数据存储以及数据可视化等关键技术作了阐述。最后,基于上述关键技术对宁夏气象业务内网进行设计和实现。目前,该系统已开始试运行,运行效果良好,能够对宁夏气象业务起到一定支撑作用。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

基于数据湖的智能网格气象预报业务产品服务模式初探——以江西省为例

随着智能网格业务不断发展,智能网格气象预报业务产品种类、数量日益增长,给产品的存储管理带来挑战。针对江西省智能网格气象预报业务产品收集及存储现状,采用PostgreSQL、Kibana、Elasticsearch等开源技术,提出了基于气象大数据云平台的气象数据湖建设思路,实现产品集中存储和管理,并提供统一共享服务,解决了海量多源数据产品存储、管理和共享等技术难题,为业务用户能够高效共享和应用数据产品提供数据环境支撑。     

基于ORACLE的长三角自动站数据库系统

在气象部门自动站资料存储实现中,大型数据库系统如ORACLE、SQL SERVER等已经得到了初步的应用,不过目前存储的自动站数量都较少,数据库性能容易保持.在区域级或者省级气象业务中,自动站的数据量非常大,且数据量不断快速增长,需要对自动站数据的存储进行重点设计.2009年,为服务上海世博会等大型活动,设计实现了基于ORACLE 10 G的长三角自动站数据库系统,系统实时处理长三角地区的自动站资料并入库,极大地扩展了资料的共享度.重点介绍了数据库系统的设计实施方案,主要包括事件驱动入库处理、自动站核心大表设计、索引实现,以及SQL语句的查询优化原则等.     

数据湖技术在气象卫星资料业务共享中的应用

文章依托大数据云平台·天擎系统的共享NAS存储,通过省级气象通信系统的文件分发策略,将气象卫星广播数据迁移到共享NAS上进行统一存储。基于B/S系统构架搭建气象数据湖对大数据云平台·天擎系统的共享NAS存储上的数据进行统一管理。数据湖提供了前端图形界面对目录权限和账户权限统一管理,一方面规范了数据访问权限,保障了数据和账户的安全性。另一方面解决了因数据反复迁移、多处存储而造成的资源浪费,符合气象业务的发展需求。     

后台管理模式在数据共享平台中的应用

为了使气象科学数据共享平台的运行逐步向自动化和业务化管理方向发展,基于元数据技术,建立了有针对性的后台管理模式,设计和开发了气象科学数据共享服务平台后台管理系统。该文介绍了当前信息系统发展的特点,分析了后台管理系统建设的业务需求,重点描述了系统的结构设计和元数据设计。共享平台的后台管理系统划分为数据层、管理层、服务层和保障层等4个结构层次,由元数据管理、业务管理、平台管理和系统监视等4个部件构成。系统采用J2EE的架构,保障了系统的可扩展性和灵活操作,实现了元数据管理、数据 (集) 管理、信息统计、内容管理、安全管理、系统配置管理和运行监视等功能。后台管理系统的部署和实施使新数据产品的发布更加便捷,也更具有时效性,保障了气象科学数据共享平台的平稳和安全运行。     

宁夏智能化综合气象业务服务共享管理平台设计与实现

文章按照标准化、集约化、智能化的理念,基于云端部署技术,提出了宁夏智能化综合气象业务服务共享管理平台的设计思路和总体架构,建设了宁夏气象基础数据库、业务产品库、服务产品库,构建了业务产品自动化生成系统、服务产品智能化制作系统、服务信息智慧型发布系统和信息共享与管理系统。通过数据存储、数据服务接口、数据资源管理、数据加工流程的标准化,设计了以标准化体系为基础的集约化数据环境。通过数据环境集约和业务系统集约,设计了以数据驱动为特征的集约化产品加工系统,形成统一的数据加工流水线。突出智能化要求,设计了以智能化为目标的数据分析算法和智能化系统运行控制,并在业务产品自动化生成、服务产品智能化制作、服务信息智慧型发布方面进行了探索。平台设计理念先进,技术前沿,流程简洁,功能完备,运行高效,充分体现了数据资源标准化、业务系统集约化和计算运行智能化的要求,平台的开发建设将极大地推进宁夏气象现代化进程,对于发展智慧气象具有重要的参考价值。     

公路交通气象观测站监控系统的设计与实现

设计了一种新型高效的公路交通气象观测站监控系统.该系统主要包含两个方面的内容,一是采用多线程编程技术设计开发实时气象报文数据入库程序,二是对开源ZedGraph制图控件的修改和重新封装使用,并以Oracle10g大型数据库作为后台数据库,最终构建成由实时气象数据入库的程序和数据提取展示程序组成的监控系统.该系统不仅实现了对海量气象数据的存储备份,而且其监控展示功能可以更高效地为交通气象的监测预警决策提供依据.通过具体应用,证明了该系统在减少气象灾害对交通的影响方面是可行的、有效的.     

积温效应在电力日峰谷负荷中的应用及检验

从电力气象服务需求出发,利用2001—2010年5—9月河北省南电网逐日电力日峰负荷、日谷负荷与对应时间的气象资料,探讨晴热天气和闷热天气对电力日峰负荷、日谷负荷的影响特征。分析发现持续3 d以上的闷热天气相对晴热天气使电力日峰负荷、日谷负荷增长更显著;日最高气温32℃是引起河北省南电网日峰负荷增长的初始气温敏感点,35℃为强气温敏感点,38℃为极强气温敏感点,日最低气温25℃为引起日谷负荷增加的敏感气温临界点;建立了引入积温热累积效应的日峰负荷、日谷负荷多元回归气象预测模型,经2011—2013年应用检验,日峰负荷、日谷负荷预测平均相对误差分别为4.8%和3.5%,提高了预测准确率,对电力调度具有参考价值。     

气象信息共享平台及其关键技术研究

气象信息共享平台作为新一代气象信息管理系统, 将极大提升现有的气象信息管理水平和对业务科研的支撑能力。该文首先介绍了气象信息共享平台的概念、内涵及其系统框架, 然后从数据资源管理和共享发布两个方面分别介绍了元数据技术、数据网格技术、海量数据存储管理技术、数据挖掘技术等构建气象信息共享平台的关键技术, 最后以两个关联的系统开发实例对我国气象信息共享平台发展思路和技术路线进行了探讨。     

数值预报产品释用业务系统历史数据存储与检索

该文介绍了在国家气象中心中短期精细化数值预报产品释用业务系统中的历史数据存储结构的设计原理。基于该数据存储结构,依照用户的要求,可方便地选择区域大小,检索出某要素某段时间的数据,还可通过计算机编程实现国家级数值预报释用业务需求的历史数据处理和预报因子分析功能,表明新的历史数据存储结构简炼合理,灵活实用,能够极大地提高数值预报产品释用的工作效率。     

风云气象卫星数据存档与服务系统

国家卫星气象中心依托风云卫星工程,对多批次工程建设采取统一设计、滚动开发、分批扩展的方法,建成气象卫星数据存档与服务系统。系统架构于多个高性能计算机集群,应用可配置的动态加载容器和多机作业负载均衡并发处理技术将集群构建为高扩展性、高可用、高效率的业务系统。对Internet的全集数据共享技术、分布式时空一体化数据库存储技术、基于WebGIS的全球卫星影像发布技术、可视化处理与显示技术、三维地球影像发布技术、多源数据融合处理技术等多项关键技术进行研究与应用,为用户提供多种数据共享服务方式,提高了数据下载效率。目前,国家卫星气象中心已存档国内外21颗气象卫星801类共1150 TB数据,为24258个注册用户提供各类数据共享服务,该系统亦可通过配置扩展,适应未来国家卫星气象中心数据存档与服务的需求。     

一种安全可靠的分布式气象数据库系统设计

该文论述了在分布式数据库基础上建立安全、可靠气象资料数据库系统的一般方法。在数据库安全设计中首次提出了安全组件概念及模型, 并将其应用到具体的数据库管理模块中, 较好地解决了数据库系统存在的安全性问题。在数据库应用软件设计中, 采用COM技术和B/S结构, 开发了一套气象数据Web综合查询显示系统, 解决了气象数据Web动态实时发布和查询显示问题。     

乌兰察布市气象资料应用处理与共享技术分析

乌兰察布市气象资料应用处理与共享系统,以该市已经建成的自动气象站实时监测数据为信息资源,充分利用信息网络通讯技术和数据库存储与查询、分析、统计技术,实现全市气象部门自动气象站资料的整合与管理。通过气象资料应用处理与共享平台的建设,实现了气象资料在全市气象部门内的高效共享,并提高了气象资料在业务领域和服务领域的使用率和共享率。     

统一检索界面技术初探

气象信息存储检索系统是将实时气象资料和历史气象资料进行统一的组织和管理，并提供检索服务的系统。由于数据量大，不可能都放在存取速度快但价格较高的磁盘上，因此必须将数据根据其访问频率分别存储在一级磁盘、二级自动磁带库和三级脱机磁带上，并结合使用商用数据库管理系统、数据迁移软件和存档软件对分布在各级存储设备上的数据进行管理。但由于这些软件之间存在的不衔接，不能对三级存储没备上的数据进行统一管理，也带来了用户检索界面不统一的问题。针对这个问题，本文对基于商用数据库技术的磁盘磁带数据的统一检索界面技术进行了探讨和研究，提出了统一检索界面的解决方案并在一定条件下，实现部分关键技术。