数据湖技术在气象卫星资料业务共享中的应用

文章依托大数据云平台·天擎系统的共享NAS存储,通过省级气象通信系统的文件分发策略,将气象卫星广播数据迁移到共享NAS上进行统一存储。基于B/S系统构架搭建气象数据湖对大数据云平台·天擎系统的共享NAS存储上的数据进行统一管理。数据湖提供了前端图形界面对目录权限和账户权限统一管理,一方面规范了数据访问权限,保障了数据和账户的安全性。另一方面解决了因数据反复迁移、多处存储而造成的资源浪费,符合气象业务的发展需求。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

气象通信数据多维模型构建及OLAP应用初探

气象通信系统是国内和国际气象资料传输与交换的枢纽。为了从宏观上掌握气象通信系统资料的传输情况,有效管理数据、优化和梳理业务流程,根据通信系统数据量大、流程复杂、数据异构等特点,文章基于数据仓库技术构建气象通信数据的多维模型,为长时间序列的通信数据存储和分析提供解决方案。利用SQL Server Analy-sis Service,采用实时业务系统的真实数据展开多维数据模型构建的试验,在此基础上对多维模型进行了联机分析处理(OLAP),验证了多维模型在数据分析和展现方面的优势。     

MICAPS4服务端系统架构设计

MICAPS4体系采用客户端/服务器的系统架构,其中服务端系统是MICAPS4的重要部分,利用分布式存储与分布式计算技术,构建可容纳102 TB量级的气象实时数据,千万数据总量,面向数百并发用户的服务器集群系统。MICAPS4服务端系统在国内率先实现全部气象实时数据由文件到数据库、从集中式系统到分布式系统的迁移,该系统自2015年起在全国推广使用。在海量气象数据和大量用户并发访问的环境下,表现出很高的稳定性和优越的读写性能,同时具有便捷的扩展性和可维护性。MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统,分布式存储子系统为MICAPS4客户端提供了近实时数据的高速随机与顺序读取服务,分布式前处理系统利用对等分布式架构实现了海量气象实时数据的流式计算,站点实况轮询系统实现了跨系统的实况数据异构副本的同步功能,查询服务器系统利用多线程服务器技术实现了MICAPS4客户端的实时计算请求,监控系统利用部署于每个节点的探针实现监控信息的主动上报。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

元数据技术在MDSS实时气象数据库系统建设中的应用

元数据是关于数据的数据,目前被越来越多的应用于系统建设过程中。利用元数据,可以记录整个系统中数据的来龙去脉,这样可以把整个业务的工作流、信息流有效地管理起来,提高系统的可扩展性;此外元数据还具有数据发现和数据搜索的功能,能够提高系统的灵活性。介绍了国家级气象资料存储检索系统(MDSS)中实时气象数据库设计的元数据种类及其存储管理方式,以及元数据技术在实时气象数据库系统建设中的应用,详细描述了如何通过元数据提高软件的灵活性、可维护性。     

气象GIS网络平台关键技术研究与实现

针对WebGIS在气象业务应用系统的现状和存在问题,开发了具有自主知识产权的气象GIS网络平台。该文介绍了平台开发的背景、目标、功能结构,结合气象数据特点和业务需求分析,对系统建设中的关键技术进行详细探讨,包括智能缓存技术,基于RIA (Rich Internet Application, 富互联网应用程序) 的渲染绘制技术,气象数据监视机制以及地图服务聚合技术。基于气象GIS网络平台搭建了国家级和省级气象应用业务系统,系统运行稳定,实现了海量气象数据的网络高效发布、快速渲染绘制、数据自动监视更新以及地图服务定制等功能,对气象信息网络服务具有重要意义和应用价值。     

青海省气象科学数据共享服务系统的设计与实现

本文对气象科学数据共享服务系统建设所涉及到的系统集成和数据安全保障技术进行了深入研究,提出了“逻辑集中分布存储“数据组织模式和信息安全保障体系框架,并采用分布式数据库技术、XML的WEB服务技术和数据安全技术分别解决了跨地区跨部门数据的共享、异构信息系统集成和数据共享安全等难点问题。     

基于智能网格产品的广西行业气象服务集约化系统的设计与实现

依据广西公众气象服务产品、行业气象服务产品精细化、集约化及智能化业务发展需求,基于智能网格产品及CIMISS基础数据平台,实现气象数据的汇聚、分发、共享及存储。依托J2EE、GIS及分布式技术,对现有的电力气象、旅游气象、交通气象等业务系统进行整合,构建基于B/S与C/S混合架构的广西行业气象服务集约化系统,形成基于广域网络、上下一体、统筹集约的气象服务业务系统布局,为公众、行业用户提供更精细、更实时的预报、实况和预警信息产品。     

基于J2EE平台的气象信息系统框架设计

为了集成现有的异质应用系统和数据库,加强存储数据检索与数据共享方面的建设,针对气象信息系统在整合现有数据资源、构建统一信息平台时的要求,搭建了基于J2EE的气象信息系统的基本结构,利用JDBC（Java Data Base Connectivity）技术对异构、分散数据库进行统一管理。讨论了J2EE在建立分布、动态的气象信息系统中的应用。     

基于编码规则的气象装备全寿命跟踪系统

为了优化气象装备的管理效率和保障能力,加强气象装备应急储备管理,提出一种基于RFID(Radio Frequency Identification)技术、手持设备和Web开发相结合的气象装备全寿命跟踪系统平台。该系统根据气象装备在全国范围内的调配和仓储等业务需求,实现全国气象装备管理一体化和业务统一化,为装备的管理及有效利用提供了方便;通过跟踪气象装备的状态信息(包括仓储信息、基本设备信息、业务状态等),为装备管理提供了更加详细的参考依据。结合气象装备编码规则的研究成果,为每个气象设备进行唯一标识,同时也为气象装备寿命的预测提供了实际参考数据。     

气象基础设施云平台关键设计与实现

为适配气象业务科研应用对算力、存储资源的需求特点，采用分布式计算、分布式存储、虚拟化技术搭建气象基础设施云平台，并根据不同的业务类别、网络区域、资源服务对象针对性地设计云平台资源分区，以及每个分区需具备的云资源及功能。设计的云平台涵盖IaaS层、PaaS层功能，通过软件定义方式池化硬件资源，形成具备云计算、大数据支撑特征的资源池，为众多气象应用端部署、气象大数据业务提供虚拟主机、物理算力、数据存储资源。实际运行效果表明设计的气象基础设施云平台能够适应数据处理规模与时效性要求不断提升的业务发展需求。     

临河气象观测站迁移对气象要素的影响分析

文章通过对内蒙古巴彦淖尔市临河地面气象观测站迁移前、后4a的自动气象站观测要素对比分析,得出临河迁站前、后气象要素存在明显的差异:新站的年、月平均气温比旧站低、相对湿度比旧站高、风速比旧站大。旧站的观测资料仅代表城市中心局部气候状况,已经不能较好的反映本地区的气候特点;而新站则较好的反映了临河地区城郊大范围的天气气候状况。同时分析了新、旧站各气象要素差值的形成原因,期望为天气预报、气候评价、气象服务等提供数据参考。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

乌兰察布市气象资料应用处理与共享技术分析

乌兰察布市气象资料应用处理与共享系统,以该市已经建成的自动气象站实时监测数据为信息资源,充分利用信息网络通讯技术和数据库存储与查询、分析、统计技术,实现全市气象部门自动气象站资料的整合与管理。通过气象资料应用处理与共享平台的建设,实现了气象资料在全市气象部门内的高效共享,并提高了气象资料在业务领域和服务领域的使用率和共享率。     

保险电子气象证明服务系统设计与实现

针对传统气象证明服务效率与现有保险业务发展需求不匹配的问题,提出一种气象异构数据同步处理的在线保险电子气象证明服务系统的设计与实现方案.通过提取保险业务的气象证明服务需求,采用Springboot框架和特定接口协议技术,将雷达回波数据、自动站气象六要素数据、闪电定位数据等多元异构气象数据进行抽取、转换、展示,形成行业气象服务客户需要的公共气象服务产品,即保险电子气象证明,并通过设计特定接口,将证明材料进行规范化输出,完成保险电子气象证明服务系统的设计与实现,对提高保险电子气象证明服务效率具有较强的促进作用.     

基于区域自动气象站实验室校准系统设计与实现

以设备集成技术为基础,采用层次化、模块化及面向对象的分析和设计技术,开发自动校准和计量业务管理软件,研制了市级气象局计量设备接口,最终实现自动采集被校传感器、计量标准器数据、自动控制校准设备、自动处理校准数据等整个区域自动气象站校准工作的自动化。     

基于NB-IoT技术的小型自动气象站监测系统设计

针对传统气象站通信组网技术复杂度高、建站成本高、时效性差、功耗高等缺点，设计了一种基于NB IoT技术的小型自动气象站监测系统，该系统主要由气象传感设备、单站控制器及物联网云平台组成。该系统以低功耗Corter M3内核的STM32L152微控制芯片为硬件核心，依托气象传感器设备，实现气象要素数据的采集和处理；利用NB IoT技术实现气象站和云端服务器之间的数据传输；利用RESTful API和MySQL技术，实现用户交互、远程终端控制、数据存储、数据显示、数据分析、数据查询等功能。测试结果表明，该系统建站简单、功耗低、数据传输稳定，可实现对气象要素的远程实时监测。     

气象代码过渡及其对气象业务的影响

针对气象观测资料的代码过渡计划，简要介绍了气象代码的表示方法、WMO代码过渡实施方案及我国气象代码过渡的实施设想；着重分析了气象代码过渡阶段将对我国现有气象业务系统（包括观测系统、通讯传输系统和数据应用系统）所产生的影响，并提出了如何避免或减轻这种影响的一些思路和应对措施。