美国天气公司应用云服务的经验与借鉴

美国天气公司(The Weather Company,TWC)通过云服务,实现了非常高效的数据计算、存储和发布功能,每天可以处理上百亿次的数据为全球用户提供服务。简单介绍了美国天气公司的云服务策略以及其云计算、云存储、云平台数据分析与云平台研发等业务的情况。美国天气公司的云服务应用经验可以为国内气象服务云服务的推广和应用提供技术、观念、安全和成本等方面的借鉴。     

气象基础设施云平台关键设计与实现

为适配气象业务科研应用对算力、存储资源的需求特点，采用分布式计算、分布式存储、虚拟化技术搭建气象基础设施云平台，并根据不同的业务类别、网络区域、资源服务对象针对性地设计云平台资源分区，以及每个分区需具备的云资源及功能。设计的云平台涵盖IaaS层、PaaS层功能，通过软件定义方式池化硬件资源，形成具备云计算、大数据支撑特征的资源池，为众多气象应用端部署、气象大数据业务提供虚拟主机、物理算力、数据存储资源。实际运行效果表明设计的气象基础设施云平台能够适应数据处理规模与时效性要求不断提升的业务发展需求。     

基于大数据云平台的天山气象APP设计与应用

为提升大数据云平台与移动互联网的耦合气象服务质量,满足气象防灾减灾移动可视化需求,推进新疆气象信息化事业高质量发展,亟需开发一款专业气象服务APP。该APP在“云+端”业务模式下充分利用气象业务现有数字化成果,采取多源存储、接口调用、控制反转和数据交互技术,对全疆天气自动站的地面观测、格点实况融合、雷达回波、灾害预警等气象资料进行加工处理和移动展示。天山气象APP可按用户需求提供疆内基于实时位置的天气实况、精细化预报、预警详情、雷达拼图、实况要素产品和统计值要素产品,同时继承大数据云平台服务接口高额承载能力,实现毫秒级响应,在全疆天气自动站应急保障与气象防灾减灾服务中应用成效显著。     

基于数据湖的智能网格气象预报业务产品服务模式初探——以江西省为例

随着智能网格业务不断发展,智能网格气象预报业务产品种类、数量日益增长,给产品的存储管理带来挑战。针对江西省智能网格气象预报业务产品收集及存储现状,采用PostgreSQL、Kibana、Elasticsearch等开源技术,提出了基于气象大数据云平台的气象数据湖建设思路,实现产品集中存储和管理,并提供统一共享服务,解决了海量多源数据产品存储、管理和共享等技术难题,为业务用户能够高效共享和应用数据产品提供数据环境支撑。     

省级气象云资源管理平台设计与应用

基于OpenStack架构建立省级云资源管理平台,通过整合省级各类硬件资源,将计算、存储、网络等硬件资源纳入统一资源池管理,在此基础上将省级原有的多套虚拟化系统软硬件资源纳入平台统一管理。平台投入使用后资源有效利用率大幅提升,实现硬件资源动态、弹性、可回收利用,能够更好地为各业务部门提供硬件资源服务。通过接管省级VMware、OS等虚拟化系统,平台可以根据业务需求快速部署交付业务系统,大幅提高对气象业务的服务和支撑能力,提高了系统运维的水平和效率。该平台的建成和应用对省级云计算发展和应用具有示范、服务、探索等多重作用,特别是对带动省级信息化建设进入新阶段,探寻省级新的信息化建设模式具有现实意义。     

基于虚拟化云平台的气象终端集约化管理

气象终端的集约化管理是气象业务系统和气象服务需求发展到一定阶段后的必然趋势和结果。从气象终端管理的现状和需求、虚拟化云平台的技术体现和应用部署中,体现基于虚拟化云平台的气象终端集约化管理的应用特点和实施效果:提供虚拟防护、桌面管理及行为控制等的策略管理和策略服务,提升气象现代化支撑和保障气象用户个性化需求的能力,为气象平台建设、信息共享、应用服务的终端管理提出了全新概念,是集"应用"、"集成"、"运维"、"安全"到"成本控制"的解决方案。     

基于分布式和微服务架构的华信气象服务云平台

正华信气象服务云平台应用数据库、通信、并行计算等传统技术结合新兴的云计算、大数据技术进行建设。基于Hadoop分布式处理框架与应用Spring Cloud框架搭建、Docker容器封装、RESTful API作为服务接口的微服务架构,平台实现了各服务模块的高内聚、低耦合、灵活可扩展,为气象服务产品开发和实时服务提供数据环境和基础资源支撑,以实现面向航空、电力、保险等不同行业提供定制化的气象信息服务。     

公共气象服务空间信息系统的研究与应用

气象空间信息系统能够对气象数据进行高效的存储、管理、分析、显示和共享,可以大大提高公共气象服务的信息化水平。随着大数据、云计算技术的发展,分析了气象信息系统存在的问题和面临的挑战,讨论了公共气象服务空间信息系统建设总体技术架构和功能组成,详细介绍了该系统的关键技术,并以行业实例进行了验证。     

基于物联网技术下气象观测体系建设的思考

物联网是提升气象观测泛在能力的有效手段,也是现阶段推动气象信息化发展的重要途径。构建以数据采集为基础、以云计算为支撑、以用户需求为导向的智能化气象观测体系,集成融合传感器网、通信网、互联网、延伸和识别技术,为用户提供更好的应用和服务体验,目前还存在网络互通、数据质量、设备信息管理、业务信息管理、安全性等诸多问题,需要逐步解决。     

气象综合指挥平台建设与应用北大核心CSCD

在重大活动、突发气象灾害以及汛期会商服务等特定时空气象保障过程中,采用各单位逐一汇报及展示专业产品或系统等传统方式,形成的产品及系统深度专业,但无法互动且运行协同不足,影响实时保障服务效益。气象综合指挥平台充分利用现有气象业务数字化成果,面向气象保障服务的时空及可视化需求,采用混合存储、接口服务以及图层组件发布等技术,实现多源数据的标准化处理、功能集约建设以及图层渲染等组件松耦合发布,首次在气象保障服务中接入空间天气、风云四号气象卫星高分辨率数据、秒级观测以及百米融合实况等数据及产品,实现气象产品全在线服务与中国气象局电视会商、云会商系统音视频信号的同步实时调度,为实时气象保障调度指挥提供服务支撑。该平台集成113种气象产品,发布1106个图层服务,成功完成2022年北京冬奥会和冬残奥会等国家重大气象保障工作,未来可为各类气象保障系统开发及专题气象保障服务提供支撑应用。     

气象业务系统融入“天擎”“天镜”的技术要点分析

随着气象业务系统的集约化程度越来越高,“云”+“端”的业务构建模式将成为主流,省级气象部门新的业务系统构建直接基于“天擎”作为数据和算力支撑,“天镜”提供统一实时业务监控的模式开展。而原来研发的气象业务系统则要通过“云化”改造融入“天擎”“天镜”。本文通过分析融入“天擎”“天镜”技术要点,总结贵州前期系统融入过程中的经验,为今后各单位业务系统顺利融入提供借鉴和指导。     

一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

针对贵州省县级公共气象服务系统集约化建设的研究和思考

贵州省气象局自2014年起在全省县、区级气象部门部署了公共气象服务系统,该系统上线后对县级公共气象服务发挥了重要作用,随着云计算、大数据技术的发展,业务系统的集约化程度逐步提高,现有的县级公共气象服务系统已不能满足用户大量增长的服务需求,该文通过对该系统在县级部署和应用情况的分析,从技术和管理的角度,深入探讨系统在集约化方面存在的问题和不足,并提出了相关改进措施,对县级公共气象服务建设具有一定参考价值。     

基于气象业务零中断的存储数据迁移探讨研究

在广东省气象局2015年建设高性能存储设备逐渐老化,厂商即将停止设备技术支持服务背景下,针对存储所承载的气象业务系统面临着数据丢失或业务中断的风险问题,结合气象业务具有时效性、连续性等特点,通过运用异构迁移技术,对新存储建设要求、数据迁移原则、存储规划、风险评估、回退方案、数据迁移进行探讨研究,实现50多个核心关键业务系统的430TB数据在82小时完成平稳迁移,数据迁移速度最高达2.1GB/秒,平均速度1.5GB/秒,相比在应用层上做数据迁移的传统方法,异构虚拟化迁移技术具有迁移速度快、时间短、工作量少、业务无中断和可集中迁移的特点。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

基于MapReduce计算模型的气象资料处理调优试验

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。