基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

RAID技术在气象数据存储和交换中的应用

RAID,即 Redundent Array of InexpensiveDisks,直译为“廉价冗余磁盘阵列”,简称“磁盘阵列”。它将一组磁盘驱动器用逻辑方式联系起来 ,作为逻辑上的一个磁盘驱动器 ,以提高磁盘在数据存储和交换中的速度和安全性。近年来 ,计算机 CPU的速度不断提高 ,而数据存储速度的提高相对较慢 ,导致数据存储和交换的瓶颈问题日显突出。为了解决这个问题 ,RAID技术应运而生。随着气象部门通信条件和计算条件的明显改善 ,各级台站每天要处理大量的气象资料 ,非常适合和需要应用 RAID技术。而对于广大气象台站来说 ,RAID又是一项陌生的技术。…     

数值预报产品释用业务系统历史数据存储与检索

该文介绍了在国家气象中心中短期精细化数值预报产品释用业务系统中的历史数据存储结构的设计原理。基于该数据存储结构,依照用户的要求,可方便地选择区域大小,检索出某要素某段时间的数据,还可通过计算机编程实现国家级数值预报释用业务需求的历史数据处理和预报因子分析功能,表明新的历史数据存储结构简炼合理,灵活实用,能够极大地提高数值预报产品释用的工作效率。     

MICAPS历史资料存储系统设计与实现

为实现多种类数据的集中采集、统一管理,在省级部署MICAPS历史资料(经MICAPS4后台解码程序所生成的文件类型的数据产品)存储平台。该平台能很好地满足湖北省各级台站对MICAPS历史资料的需求,为MICAPS4在全省全面业务化做好准备工作。通过对该系统的架构进行描述,并以相关数值预报产品为例,介绍数据存储、补调、恢复流程,以期与其他省级部门相关业务人员就MICAPS历史资料的管理进行良好沟通和交流。     

MICAPS4预报业务系统建设进展与未来发展

以精细化预报为标志的现代天气预报业务对高时空分辨率气象数据的应用提出了更高的需求,而传统的预报分析制作系统MICAPS3（Meteorological Information Comprehensive Analysis and Processing System Version 3）无法满足符合大数据特征的实时预报相关的数据应用。同时,模式预报和集合预报应用已在各专业预报领域中发挥越来越重要的作用,网格预报产品正在涵盖全部的预报业务流程,而MICAPS3无法提供便捷高效的支撑。为解决上述问题,国家气象中心启动了MICAPS4建设,一方面建立了基于大数据的气象实时预报应用技术体系,解决了气象大数据处理、存储、分析和显示效率的关键技术难题;另一方面搭建了多个满足不同复杂预报业务需求的专业化版本。MICAPS4将信息化技术与预报技术、预报业务流程紧密结合,解决了现代化预报方法的平台化集成应用与精细化预报制作的关键技术难题,基于MICAPS4基础框架的多个专业版在中央气象台和部分省级气象台进行业务化应用推广。基于CIMISS（China Integrated Meteorological Information Sharing System）-MICAPS4的海量数据存储环境,极大减轻了系统部署和本地化工作量,显著提升了数据解析及数据存储访问效率。     

山西省大雾的中尺度数值模拟

利用中尺度模式MM5（The Fifth—Generation NCAR／Penn State Mesoscale Model）对山西省2009年发生的3场典型雾个例进行了数值模拟,探讨了物理过程参数化方案对雾数值模拟的影响,确定了基于模式模拟数据的雾判别指标,为该地区大雾数值预报系统的研制提供了理论基础。结果表明,综合考虑边界层方案和辐射方案对地表温度、高空温度、2m温度及相对湿度、10m风速、雾的空间分布、雾的生消过程、雾的发展高度等要素数值模拟的影响,边界层方案选用high-resolution planetary boundary layers cheme（HIR）方案、辐射方案选用Cloud方案时,雾数值模拟的结果与实况更为一致。综合分析多个典型雾个例的模拟结果,山西省境内雾的预报指标为：20m液态水含量为0．13～0．6g·kg^（-1）,20～1500m高度大气层存在逆温层,10m风速小于4m·s^（-1）。     

西藏气象指数通用计算系统

利用人机交互方式定义气象指数计算公式,设计了西藏地区常用气象指数计算系统。该系统在统一的操作界面上定义和读取输入气象数据,包括数值预报、实况数据、预报产品等数据及站号、经度、纬度和时间信息,将相应的数据以浮点数代入公式,并支持加、减、乘、除、乘方等数学运算符,三角对数、绝对值等数学函数,且、或、否等逻辑函数,≥、＞、≤、＜、=等判断运算符及自定义的分段函数,能够完成多项气象指数的计算,数据均以通用的MICPAS格式交互存储,在统一的平台上管理气象指数及产品制作,无需预报和服务人员编程即可实现新的气象指数。     

服务器的RAID冗余磁盘阵列技术

本文详细介绍了RAID（独立冗余磁盘阵列）技术，并给出了一些选择适合系统应用的RAID解决方案。RAID技术正在变成支持文件共享、邮件交换和Web服务器等关键性服务的计算机系统所必备的一项标准功能。RAID可为这些关键性的系统提供两种好处：增强I/O性能和数据存储的故障安全性。目前RAID已经成为应付激增的数据存储空间需求的低成本解决方案。     

非线性正规模初值化及其对资料同化和预报的影响

文章介绍了国家气象中心中期数值预报谱模式（T42L9）的非线性正规模初值化方案（NNMI）。讨论了该方案对资料同化和预报的影响。试验表明，应用前5个垂直模，经2次迭代能够得到一个对分析资料修正较小的平衡初始场。它成功地消除了预报中虚假的高频重力波振荡，对改进资料同化和模式预报起了重要作用。     

MICAPS中T106分析/预报场的“快照”效果

围绕日常天气预报的需求和为区域数值天气预报模式定义天气背景场和初值场的需要，针对9210工程的MICAPS系统中T106谱模式的客观分析场和预报场的数据存储及显示中截断误差问题，提出了改进的方案，并定量分析比较了T106、欧洲中心ECMWF、华盛顿KWBC和日本JAPAN数值模式对天气环流形势的“快照”效果和统计误差。     

统一检索界面技术初探

气象信息存储检索系统是将实时气象资料和历史气象资料进行统一的组织和管理，并提供检索服务的系统。由于数据量大，不可能都放在存取速度快但价格较高的磁盘上，因此必须将数据根据其访问频率分别存储在一级磁盘、二级自动磁带库和三级脱机磁带上，并结合使用商用数据库管理系统、数据迁移软件和存档软件对分布在各级存储设备上的数据进行管理。但由于这些软件之间存在的不衔接，不能对三级存储没备上的数据进行统一管理，也带来了用户检索界面不统一的问题。针对这个问题，本文对基于商用数据库技术的磁盘磁带数据的统一检索界面技术进行了探讨和研究，提出了统一检索界面的解决方案并在一定条件下，实现部分关键技术。     

微型计算机农业气象资料管理系统

本文叙述一个被命名为SAMR的微型计算机农业气象资料管理系统。系统包括9种磁盘文件。将本院气象站自1958年1月1日以来每日20项气象资料存贮在微型计算机的硬盘上。文件总长1.3兆字节。用户可迅速而方便地进行资料查询。程序由BASIC语言写成。该管理系统具有使用方便、查询速度快、能进行统计计算及汉字打印等特点。目前作者正使用该系统开展作物产量、生育期和病虫害等预报研究。     

基于流程控制的国际气象通信数据收集管理系统的设计与实现

近年来,天气和气候业务对国外数据种类和时效要求不断提高,为解决大量数据的收集分发压力以及管理问题,设计并实现了基于流程控制的国际气象通信数据收集管理系统。系统应用数据收集器Logstash、Inotify监听机制与分析平台Kibana等技术,支持多种通信协议,扩展Scrapy网络爬虫功能,通过流程控制、任务调度等方式实现大量数据快速高效收集和集成管理,有效提高数据并行处理能力和可扩展性,且设计了全流程监视,保障数据时效。系统已经上线提供服务,为业务/科研用户提供全球观测数据、国外卫星数据和数值预报产品等300余种,日收集数据量约2 TB。     

北京气候中心CMIP6数据共享平台及应用

为保障北京气候中心（Beijing Climate Center,BCC）气候模式在第6次耦合模式比较计划（Coupled Model Intercomparison Project Phase 6,CMIP6）中的大量试验数据产品面向国内外实现共享,建立了试验数据共享平台。由于模式试验数据具有数据量大、要素种类繁多、元数据多样等特征,为提供高效的数据管理,平台采用分布式存储架构,数据通过气候模式输出重写（climate model output rewriter,CMOR）软件进行格式规范,并实现基于THREDDS（thematic real-time environmental distributed data services）的数据组织与共享。在平台建设及软件设计部署等层面,充分考虑数据安全。该平台实现BCC 3个模式约190 TB的试验数据稳定、高效共享,为国内外气候变化领域科研工作者提供获取数据的方便快捷途径与方法,成为推动我国气候模式国际应用的有力技术手段。     

一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

MARS软件在数值预报模式产品数据管理中的应用

该文简单介绍MARS (Meteorological Archival and Retrieval System) 软件的架构及组成部分,并基于MARS软件,介绍了数值预报产品数据管理系统设计与实现。通过在GRIB2数据段对应描述层次类型和气象要素的表格文件中定义新的层次类型和气象要素,在MARS软件解析GRIB2数据所需要查找的相关模板表格文件中定义气象要素对应的产品类型号、要素类别号、要素号、要素名称和要素名称缩写,说明GRIB2数据模板和代码表创建方法。以GRAPES模式产品GRIB2数据为例,实现应用MARS软件管理GRAPES模式产品GRIB2数据。结合存储管理TSM (Tivoli Storage Manager) 软件,研究开发MARS软件和TSM软件连接接口程序,实现数据的直接迁移和回调。以T639L60模式产品为例,通过测试检索性能,MARS软件检索数值预报产品速度超过当前国家级气象数据管理系统数据检索速度1倍,说明MARS软件检索数值预报产品数据具有时效优势。     

COSMIC掩星反演大气温湿资料的质量特征分析

针对COSMIC(Constellation Observation System of Meteorology Ionosphere and Climate)掩星反演的大气温度和水汽压二级资料,利用常规探空观测和NCEP(National Centers for Environmental Prediction)分析资料分别进行质量检验分析,以揭示反演资料质量的海陆差异、随纬度和高度变化等三维空间特征。结果显示:我国区域反演资料的温度略低于探空观测与NCEP分析资料,温度与水汽压相对于检验资料的均方根误差较小;全球范围内,反演大气温湿资料的质量随高度和纬度的不同而存在明显差异,而且海洋和陆地上质量的水平和垂直分布特征也存在显著不同。总体上看,COSMIC反演大气温湿资料具有良好的可靠性与精确度,可作为我国数值预报资料同化的新资料,反演温湿资料的质量特征也可为COSMIC资料同化的质量控制和垂直稀疏化方案的设计提供科学依据。     

集合卡尔曼滤波数据同化在一维波动方程中的应用

简要回顾了集合卡尔曼滤波(EnKF：Ensemble Kalman Filter)数据同化方法的发展历史，并介绍了EnKF数据同化方法的基本原理，利用一维非线性波动方程进行了数值试验。EnKF数据同化方法的实现过程简单可行。避免了EKF中协方差演变方程预报过程中出现的计算不准确和关于协方差矩阵的大量数据的存储问题，最主要的是EnKF可以有效控制模式变量估计误差方差的增长，改善预报效果。     

基于医疗联盟链的数据安全保护方法

随着互联网的飞速发展,医疗数据爆炸性增长,大量的医疗数据面临着安全共享问题.本文提出了一种基于医疗联盟链的数据安全保护方法,其中包括提出了一种安全认证与访问控制模型,并将查询逻辑分离存储技术引入该模型中,同时描述了基于医疗联盟链的认证凭据和访问权限数据的存储和访问.基于医疗联盟链的安全认证与访问控制模型包含了三个角色,第一角色是患者,第二角色是医护人员,第三角色是医疗联盟链.通过查询逻辑分离存储技术保护患者数据隐私,查询逻辑分离技术与医疗联盟链技术紧密结合,满足了不同医院之间医疗数据共享的需求,保障了患者的数据隐私和医护人员查阅数据的权限.