基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

国家气象业务内网WebGIS数据服务系统设计与应用

气象数据服务应当以用户需求为导向,从"我们有什么数据"向"用户需要什么数据"的现代服务方式转变。文章分析了气象数据服务过程中存在的服务效率有待提高、服务方式有待转变等问题,从当前气象数据服务的发展和WebGIS的功能特点入手,提出了WebGIS技术与MUSIC接口相结合的气象数据服务方式。在气象数据服务的过程中,用户不必在多种工具软件间进行复杂的操作,WebGIS技术与气象数据统一服务接口(MUSIC)的结合,实现了集空间位置查找、地理空间分析、浏览器端作图、数据检索、数据下载一站式气象数据服务,该方式简化了气象数据服务过程的复杂度,极大地提高了气象数据服务效率,真正实现了气象数据的"所见即所得,所见可分析"效能,有效提升了国家气象业务内网的用户体验。     

省级外网气象大数据服务平台研究与实现

随着社会经济发展，气象大数据已成为国家大数据基础性战略资源的重要组成部分。然而各省市集约化气象大数据环境均建设于气象业务内网，面向社会的气象数据服务则存在集约化程度低、时效性差、数据量少、安全隐患多等问题，因此，建立外网环境的统一、高效、安全的气象大数据中心是气象业务社会化服务发展的迫切需求。本文建立了外网气象大数据服务平台,采用GoldenGate和sersync+rsync技术实现内网与DMZ区(Demilitarized Zone,两个防火墙之间区域)实时稳定的触发式秒级数据同步；跨平台、多语言开发，标准化调用的统一访问接口设计，可实现高并发、稳定的数据响应请求；分时分类的用户数据访问控制，可实现数据权限的安全控制。该平台通过防火墙双网段控制，向互联网环境用户提供高效、安全、权威的气象大数据服务。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

宁夏智能化综合气象业务服务共享管理平台设计与实现

文章按照标准化、集约化、智能化的理念,基于云端部署技术,提出了宁夏智能化综合气象业务服务共享管理平台的设计思路和总体架构,建设了宁夏气象基础数据库、业务产品库、服务产品库,构建了业务产品自动化生成系统、服务产品智能化制作系统、服务信息智慧型发布系统和信息共享与管理系统。通过数据存储、数据服务接口、数据资源管理、数据加工流程的标准化,设计了以标准化体系为基础的集约化数据环境。通过数据环境集约和业务系统集约,设计了以数据驱动为特征的集约化产品加工系统,形成统一的数据加工流水线。突出智能化要求,设计了以智能化为目标的数据分析算法和智能化系统运行控制,并在业务产品自动化生成、服务产品智能化制作、服务信息智慧型发布方面进行了探索。平台设计理念先进,技术前沿,流程简洁,功能完备,运行高效,充分体现了数据资源标准化、业务系统集约化和计算运行智能化的要求,平台的开发建设将极大地推进宁夏气象现代化进程,对于发展智慧气象具有重要的参考价值。     

基于插件技术的湖南气象服务平台设计与实现

为达到整合省级气象服务数据资源、统一气象服务出口的目标,推动气象数据产品在防灾减灾和公共服务中的高效应用,基于Spring Cloud云架构,采用软件插件(Plugin)、WEB服务(WebService)等技术研发了湖南气象服务平台。本文详细介绍了此平台的分层模型和功能结构,以及所采用的多源气象数据融合处理、基于微服务的气象数据并行处理、基于可缩放矢量图形(Scalable Vector Graphics, SVG)的气象数据矢量化和数据安全交互等关键技术方法。此平台通过天擎获取气象数据产品,统一加工处理后封装为数据插件、图形插件和行业插件,通过标准接口提供观测资料、预报预警、卫星云图、雷达拼图等产品,基于气象数字对象标识符(Meteorological Digital Object Identifier, MOID)保障气象数据产品服务过程的安全性。此平台的气象服务插件已应用于湖南省应急管理厅、自然资源厅、水利厅等单位的业务系统。应用结果表明：此平台的插件服务模式适应C/S客户端、WEB网站、移动APP等不同类型的气象服务需求,实现了气象数据服务的统一管理、高效加工和规范应用,提升...     

“秦云工程”气象数据对接的设计与实现

依托以CIMISS为核心的省级集约化气象数据环境,通过架构分析、接口定制、数据同步、存储和数据服务等关键技术环节的研究,实现"秦云工程"气象云的数据对接。为开展其他行业大数据接入"秦云工程"并进行交换和共享,具有一定的指导与参考意义。     

微服务在气象数据服务中的应用研究

在气象数据服务逐渐接口化背景下,MUSIC作为CIMISS气象数据接口服务的主要系统,得到了各级业务部门的广泛应用,但也存在不完善和使用难等问题。基于MUSIC以微服务架构设计与开发气象数据服务系统,扩充了MUSIC接口,实现了接口编制、编排和图形化使用,提升了接口使用人性化水平,增强了MUSIC业务支撑能力和业务适应性。     

“天擎”预报服务客户端开发及接口应用技巧

本文结合省级气象大数据云平台“天擎”业务试运行以来系统运维、业务迁移融入和应用研发经验,以气象预报服务人员的技术视角,给出在客户端开发及系统融入过程中的服务接口应用技巧,包括：采用函数式编程简化服务接口调用实现;引入“重试”机制确保接口调用成功率;运用JSON返回数据方式提高云平台气象要素信息提取和处理效率;掌握规避系统访问限额技巧以提升应用研发体验。结果表明：开源“天擎”云服务算法和系列软件包能够加深应用人员对系统运行机制及其服务理念的理解,促进气象大数据云平台高效安全使用,推动气象业务系统深度融入融合。     

Python语言在CIMISS中的应用

CIMISS实现了国家级气象数据的整合集约,国省首次建立了统一的数据环境,并通过标准统一、功能丰富、调用高效的气象数据统一服务接口MUSIC。本文介绍了Python编程语言特性,及其相对于IDL,Fortran,Matlab等气象行业常用编程语言的优势。阐述了Python在国外气象行业中的应用,以及如何调用CIMISS的客户端SDK,Web Services以及Rest服务接口。气象科研人员通过掌握Python编程语言,能够快速地从CIMISS中获取和处理气象数据,并可以使用Python进行各类气象数据的处理。     

软件设计模式在农业气象系统开发中的应用

通过分析当前农业气象业务服务发展与变化的需求, 农业气象业务系统架构、数据管理、产品制作等方面仍然存在不统一、不规范的问题,应用先进的软件设计模式与开发技术,该文提出了农业气象业务服务系统采用的以策略模式为主、工厂方法模式为辅的设计方式,以适应运行时用户不同功能选择和功能不断扩充的需求,提高软件的复用效率, 进一步形成通用、规范的应用系统,实现资源共享、集约化的系统设计模式。文章重点讨论了该模式下的总体框架模型、数据控制模型、数据服务模型、数据组件封装模型、插件管理与专业模块复用模型几方面的关键技术, 并通过基于ArcMap的农业气象评价系统和Oracle的农业气象数据库应用系统研发的两个实例,说明以动态库插件技术和数据组件封装技术的开发与业务应用效果。     

基于日志管理的珠海市气象网络数据系统

基于日志管理系统建立的气象网络数据系统,兼容原有气象网络形成了统一的系统接口,实现数据标准化管理,解决了气象网络数据管理中存在的技术复用率低,系统日志分散、记录破碎等问题,有效提高了气象网络数据的完整性。以该系统为平台,运用了开源软件系统等自由软件资源,开发多个管理模块,提高了气象网络数据管理的效率。系统应用规则引擎设计了日志管理模型,实现气象网络数据管理经验的可视化、可积累和延续应用,具有自动化程度高、生成业务产品种类多和使用方便简捷等特点。     

基于ZABBIX气象信息业务监控告警方法实现

本文在贵州省气象信息中心搭建的基于ZABBIX框架气象数据实时监控平台的基础上,主要对该架构监控流程、企业微信告警服务接入等功能的实现进行了介绍,利用ZABBIX的开源框架的企业微信告警接口分别对接本文开发程序模块和睿象云智能告警平台,实现对气象系统监控到的故障进行企业微信告警推送,使运维人员及时发现异常故障事件并对其进行快速的响应与恢复,从而为气象大数据云平台资源的自动化运维提供支撑和帮助,使气象数据故障维护的效率得到大幅提高,以此保证气象数据服务应用的及时性和可靠性。     

CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

公共气象服务集约化业务研究与平台设计

为提升公共气象服务基础技术支撑能力,对服务业务流程进行了概括,综合分析了气象服务过程中的"时间、空间、内容、表现、协同"等要素特征及在业务平台设计中的应用,提出了集约化平台物理共享及逻辑独立的内涵。以SOA为基础架构,提出了平台设计总体业务流程架构,依托省局气象大数据资源平台,构建面向服务应用的轻量化数据支撑环境,设计开发了产品处理、前端应用及业务协调管理等子系统,建立了基于互联网应用的公共气象服务集约化业务技术支撑平台,可为各级气象部门的气象服务提供数据接口和产品展示服务,实现服务产品在各类服务应用中的及时性、准确性、统一性和稳定性目标。项目成果已应用到江西省气象政府网站、江西天气微信服务及专业气象服务网站等系统,实践证明,平台的业务应用稳定可靠、便捷高效。     

MESIS系统省级应用中关键技术集成分析

MESIS系统是基于地理信息、数据库、可视化、工作流、多媒体和WEB等多门综合信息技术的新一代气象服务产品分析制作系统。在四川省气象台本地化应用中解决了数据接口、地图本地化、后台产品功能模块化的关键技术问题,实现了GIS技术与气象实况暴雨、高温、雷雨大风多要素气象信息有机融合。产品后台自动化处理,降低了MESIS使用难度,更易在省、地市推广。     

气象数据文件快速下载服务系统的设计与实现

有效地为专业和业务用户提供快速批量下载气象数据服务,需要一种新型数据服务系统,以弥补现有气象数据共享服务系统的不足。该文在分析气象资料服务系统发展阶段和技术特点的基础上,根据业务需求设计了一个基于元数据技术的、针对专业和业务用户的、能快速批量下载数据的新型气象资料服务系统。该系统基于前台应用系统和后台管理系统实现了批量下载、文件目录导航、数据同步更新、多线程断点续传、安全管理和灵活配置等功能。该系统是对气象资料服务方式的一种全新设计,系统发布后得到专业用户的肯定,具有广泛的推广价值,对气象数据服务系统的技术开发有较好的参考作用。     

省级多源融合实况产品融入“天擎”关键技术研究与实现

按照“云+端”技术架构对气象数据、算力、算法资源进行集约管理的思路,基于气象大数据云平台(“天擎”)提供的“数算一体”服务能力,研究省级多源融合实况分析系统的业务产品融入“天擎”的关键技术。梳理省级数据产品注册、发布和共享的基本流程,归纳并阐述了通信系统分发入库、算法改造写入、调用标准化接口写入等三种实时数据接入方案与实现方法。通过对比各方案的优缺点,给出不同应用场景下的最优接入策略,为其他各类本地化特色数据产品融入“天擎”提供借鉴。     

公共气象服务数据传输软件设计与实现

气象服务数据分发是公共气象服务业务的重要组成。PMSDDS V1.0(Public Meteorological Service Data Distribution Software Version 1.0)公共气象服务数据传输软件是一套业务化的气象服务数据分发系统。该软件对开源传输组件libcurl进行二次应用开发,在FTP协议下传输各类气象服务数据。该系统具有支持公共气象服务产品命名规范下的文件名精确和模糊匹配、多参数控制(包括超时、批处理、传输速率等)、日志等特点,有效解决了数据传输业务部署分散、与业务其他流程紧耦合、重复开发、缺乏日志等突出问题。针对常见数据传输问题如漏传、多传、拥塞、等待等给出解决方案。业务应用结果表明,软件运行稳定,传输成功率达到99.97%以上。软件自上线以来,数据传输业务得到统一部署和监控。据运维部门统计,传输业务年部署量较上一年增加50次左右,因传输问题导致的运维故障率同比下降约33%,大大提高了业务效率。