面向服务的气象大数据

依据国家大数据发展战略和大数据特性,对气象大数据特征、面临问题和技术创新进行阐述,深入分析气象大数据服务方式和跨领域服务的发展方向。提出以标准先行为前提,集约整合为手段,通过数据层、逻辑层和界面层的整合来搭建面向服务的气象大数据环境,借助大数据发展机遇加快推动气象大数据发展步伐。
 

     

佛山市南海区智慧气象平台的架构和关键技术

南海区智慧气象平台主要是依托数据平台,构建智慧气象数据中心,利用大数据技术,为服务平台提供精细化预报数据。该平台设计采用模块化、结构化、分层化和标准化的设计理念;技术采用多层的技术架构来搭建,即用户层、服务层、应用层、支撑层、模型库、大数据中心和基础设施层。该平台功能主要包括智慧气象大数据中心、基于GIS智慧气象综合业务系统、智慧气象服务系统、智慧气象动态决策支持系统、突发事件预警信息发布统一系统、智慧气象管理门户及支撑系统等。     

基于大数据的公共气象服务需求分析与效益评估

基于与气象相关的互联网新闻、舆情大数据和新媒体发展数据,分析了江西省公共气象服务需求,利用影子价格法,对江西省公共气象服务效益进行评估。发现,大部分公众更关注当天天气,对其他气象相关问题的参与度较低;近年,微博的公共气象服务效益显著提升,并且发展空间大,服务效益接近电视,微信的公共气象服务效益明显低于微博,但其发展潜力较大,有待进一步拓展提升。因此,建议气象部门加强气象工作的社会化宣传,加强新媒体的气象服务传播,开展公共气象服务效益评估业务。     

基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

三维气象GIS平台关键技术研究与实现

针对三维GIS的发展应用以及气象服务对于高效决策和直观可视性的要求,开发了具有自主知识产权的三维气象GIS平台。本文从体系结构、功能、数据访问及组件方面介绍了系统的设计方法,并详细论述了平台的关键实现技术,包括气象数据组织、气象标绘、二维图层和三维体绘制技术。该系统能够高效加载海量的二三维气象数据,并支持气象标绘和分析等功能。该系统运行稳定,可视化效果突出,为气象数据处理、数值预报、气象模拟仿真等气象服务搭建了一个坚实的三维基础平台,具有重要的应用价值。     

Python语言在CIMISS中的应用

CIMISS实现了国家级气象数据的整合集约,国省首次建立了统一的数据环境,并通过标准统一、功能丰富、调用高效的气象数据统一服务接口MUSIC。本文介绍了Python编程语言特性,及其相对于IDL,Fortran,Matlab等气象行业常用编程语言的优势。阐述了Python在国外气象行业中的应用,以及如何调用CIMISS的客户端SDK,Web Services以及Rest服务接口。气象科研人员通过掌握Python编程语言,能够快速地从CIMISS中获取和处理气象数据,并可以使用Python进行各类气象数据的处理。     

基于插件技术的湖南气象服务平台设计与实现

为达到整合省级气象服务数据资源、统一气象服务出口的目标,推动气象数据产品在防灾减灾和公共服务中的高效应用,基于Spring Cloud云架构,采用软件插件(Plugin)、WEB服务(WebService)等技术研发了湖南气象服务平台。本文详细介绍了此平台的分层模型和功能结构,以及所采用的多源气象数据融合处理、基于微服务的气象数据并行处理、基于可缩放矢量图形(Scalable Vector Graphics, SVG)的气象数据矢量化和数据安全交互等关键技术方法。此平台通过天擎获取气象数据产品,统一加工处理后封装为数据插件、图形插件和行业插件,通过标准接口提供观测资料、预报预警、卫星云图、雷达拼图等产品,基于气象数字对象标识符(Meteorological Digital Object Identifier, MOID)保障气象数据产品服务过程的安全性。此平台的气象服务插件已应用于湖南省应急管理厅、自然资源厅、水利厅等单位的业务系统。应用结果表明：此平台的插件服务模式适应C/S客户端、WEB网站、移动APP等不同类型的气象服务需求,实现了气象数据服务的统一管理、高效加工和规范应用,提升...     

基于前置模式的气象观测数据整合技术实现

为实现地市级气象、水务、水文部门观测数据的整合并解决基层气象业务单位跨省调用本部门自动站数据的问题,基于FTP、Web Service等网络协议和数据交换方法,构建了前置模式共享网络,通过XML文件交换部门间需要共享的观测数据,利用面向对象的编程技术,将多个信息渠道的数据进行了同化处理,在Sql Server数据库环境下完成了多源数据的整合。整合机制和业务系统的建立实现了部门间的信息共享和部门内部自动站数据的跨省调用,为基层气象部门的监测预警、预报服务工作提供了更加全面的基础观测数据。     

基于大数据云平台的天山气象APP设计与应用

为提升大数据云平台与移动互联网的耦合气象服务质量,满足气象防灾减灾移动可视化需求,推进新疆气象信息化事业高质量发展,亟需开发一款专业气象服务APP。该APP在“云+端”业务模式下充分利用气象业务现有数字化成果,采取多源存储、接口调用、控制反转和数据交互技术,对全疆天气自动站的地面观测、格点实况融合、雷达回波、灾害预警等气象资料进行加工处理和移动展示。天山气象APP可按用户需求提供疆内基于实时位置的天气实况、精细化预报、预警详情、雷达拼图、实况要素产品和统计值要素产品,同时继承大数据云平台服务接口高额承载能力,实现毫秒级响应,在全疆天气自动站应急保障与气象防灾减灾服务中应用成效显著。     

标准化气象数据服务接口设计与实现

为统一气象应用系统数据对接方式,规范气象数据使用环境,以国省两级气象信息化行动方案为纲领,采用Spring Boot和Spring Cloud微服务框架,设计和开发了标准化气象数据服务接口。标准化气象数据服务接口遵循气象信息化标准体系,采集和加工各类气象数据后汇入气象数据资源池,统一通过RESTful API发布数据,为全宁波市气象应用系统提供标准化数据对接服务。该接口改变了应用程序直接读取数据库的旧模式,降低了应用系统的开发成本,同时加强了运维部门对各类气象数据访问的监控和管理。文章主要介绍了气象数据服务接口的设计和开发过程,并详细描述了开发过程中涉及的接口规范、业务流程和关键技术。     

“北京气象”手机客户端气象信息GIS快速可视化技术

随着移动互联网和智能手机技术的发展,客户端APP应用是满足便捷、高效、可移动、可定位气象信息服务的重要途径和手段。通过对格点天气、雷达回波、专题图等更新频次高、空间分辨率高、数据量较大的气象信息手机客户端GIS快速可视化关键技术的研究和实践,提出在服务器端应用支撑层部署Surfer专业绘图软件,在客户端数据资源层部署Google预先渲染好的离线栅格瓦片地图,应用支撑层部署开源的OpenLayers WebGIS二次开发组件,在两端应用逻辑层采用数据缓存和分布式存贮技术的手机客户端气象信息GIS快速可视化J2EE技术架构,实现了格点产品、雷达回波、专题图等气象信息GIS快速可视化展示。     

融入智慧行业的专业气象服务平台应用研究

正融入智慧行业的专业气象服务平台应用研究在客观数值预报的基础上,结合观测数据与行业的预报经验,进行主观订正,实现预报服务产品的集中制作、一键式发布和多渠道多用户共享展示,实现融入智慧行业的专业气象服务价值。本文从专业气象服务技术架构、平台特点、行业应用等方面展开,对专业气象在各行业的应用进行全面介绍,为智慧行业赋能,促进专业气象服务产业化发展。平台架构建立气象信息化标准规范体系,完成基础设施资源池的规划与整合,打造HXGIS气象大数据可视化云服     

运维数据可视化展示平台的设计与实现

运维数据可视化展示是基于HTML5技术和可视化技术,通过对运行监控、资源状况、气象数据全流程等多维数据实时展示,形成可视化展示大屏,实现多源异构数据整合和实时呈现运维数据,增强基础资源利用效率,为决策分析提供不同维度的运维数据关系。     

大数据在贵州专业气象服务的应用及展望

对目前热议的大数据,从理念、表现、数据获取方面,就其在各专业气象服务中的应用做了探讨。并指出大数据应用于专业气象服务的核心,是大数据技术获取非气象类的大数据,及其与气象数据的碰撞。因此从实际业务工作角度出发,以旅游、交通、能源专业气象服务为对象,分行业对各专业气象服务的现状、特点,以及非气象的大数据在各专业气象服务中的应用进行了阐述和展望,以期为今后在大数据时代开展专业气象服务开拓思路。     

Hadoop在气象数据密集型处理领域中的应用

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。     

省级外网气象大数据服务平台研究与实现

随着社会经济发展，气象大数据已成为国家大数据基础性战略资源的重要组成部分。然而各省市集约化气象大数据环境均建设于气象业务内网，面向社会的气象数据服务则存在集约化程度低、时效性差、数据量少、安全隐患多等问题，因此，建立外网环境的统一、高效、安全的气象大数据中心是气象业务社会化服务发展的迫切需求。本文建立了外网气象大数据服务平台,采用GoldenGate和sersync+rsync技术实现内网与DMZ区(Demilitarized Zone,两个防火墙之间区域)实时稳定的触发式秒级数据同步；跨平台、多语言开发，标准化调用的统一访问接口设计，可实现高并发、稳定的数据响应请求；分时分类的用户数据访问控制，可实现数据权限的安全控制。该平台通过防火墙双网段控制，向互联网环境用户提供高效、安全、权威的气象大数据服务。     

国家气象业务内网WebGIS数据服务系统设计与应用

气象数据服务应当以用户需求为导向,从"我们有什么数据"向"用户需要什么数据"的现代服务方式转变。文章分析了气象数据服务过程中存在的服务效率有待提高、服务方式有待转变等问题,从当前气象数据服务的发展和WebGIS的功能特点入手,提出了WebGIS技术与MUSIC接口相结合的气象数据服务方式。在气象数据服务的过程中,用户不必在多种工具软件间进行复杂的操作,WebGIS技术与气象数据统一服务接口(MUSIC)的结合,实现了集空间位置查找、地理空间分析、浏览器端作图、数据检索、数据下载一站式气象数据服务,该方式简化了气象数据服务过程的复杂度,极大地提高了气象数据服务效率,真正实现了气象数据的"所见即所得,所见可分析"效能,有效提升了国家气象业务内网的用户体验。     

大型运动会场馆气象服务系统的设计与实现

以“大平台、微应用”为理念,采用多层B/A/S结构、面向服务架构(SOA)、MVC设计模式等核心技术搭建,设计实现大型运动会场馆气象服务系统,包括实况监测、预报预警、数值预报等业务功能,整合了线上线下各种气象服务渠道,同时针对运动会所有训练场馆、比赛场馆的定点所在区域进行靶向发布,有效提高了赛事气象服务的智能化和精细化水平。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

2008年北京奥运会气象服务中的信息资源整合

结合2008年北京奥运会气象服务工作的成功经验,从气象综合探测数据的整合与公共气象服务信息的整合两方面进行探讨,分析了奥运气象服务信息资源整合的必要性、目的和难点,论述了整合的技术方法和措施,并对实际效果进行了分析评述,可为今后同类业务组织和服务工作提供借鉴.