气象数据文件快速下载服务系统的设计与实现

有效地为专业和业务用户提供快速批量下载气象数据服务,需要一种新型数据服务系统,以弥补现有气象数据共享服务系统的不足。该文在分析气象资料服务系统发展阶段和技术特点的基础上,根据业务需求设计了一个基于元数据技术的、针对专业和业务用户的、能快速批量下载数据的新型气象资料服务系统。该系统基于前台应用系统和后台管理系统实现了批量下载、文件目录导航、数据同步更新、多线程断点续传、安全管理和灵活配置等功能。该系统是对气象资料服务方式的一种全新设计,系统发布后得到专业用户的肯定,具有广泛的推广价值,对气象数据服务系统的技术开发有较好的参考作用。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

基于CTS的台站上行气象数据传输监控平台的设计与实现

气象数据上行传输是各类气象业务和服务正常开展的基础。针对气象通信系统切换至CTS以后,台站实时获取上行气象数据传输状况的业务需求,在分析气象数据上行传输流程的基础上,提出了台站上行气象数据传输监控平台的建设思路,设计了平台总体结构,传输日志同步策略和数据个性化显示方案,采用MVC框架、Quartz调度器和jQuery Grid Plugin等技术对平台进行了实现。该平台面向台站用户具有提供上行气象数据传输状态实时监控、传输状态统计和错报查询功能;作为县级综合观测业务集成平台的一个模块投入业务使用,为提高上行气象数据传输质量提供平台支撑。     

基于CIMISS全国精细化格点预报业务数据环境系统设计与实现

随着精细化预报业务不断发展,迫切需要建立支撑国省网格预报实时同步、协同一致的全国精细化格点预报业务数据环境。本文分析了精细化预报业务的特点,阐述了基于全国综合气象信息共享平台(CIMISS)的精细化格点业务数据环境的系统架构、数据流程、核心功能及相关技术实现。业务运行结果表明,数据环境实现了国省间格点预报实时同步和共享,有效支撑了预报产品的及时订正和发布,保证了国省格点预报一致性。     

DVB-S在气象数据广播中的应用研究

DVB-S卫星数据广播系统技术成熟、开放性好、硬件成本低、传输速率高,能很好地承担各种气象数据业务和视、音频广播业务。该文介绍DVB-S数据广播系统的基本组成,并结合新一代卫星通信气象数据广播系统的总体需求、总体技术设计、试验系统建设,对主站和小站的业务应用方式进行研究。基于DVB-S的新一代气象信息卫星广播系统建设,将大大提升国家气象信息中心气象信息广播分发和服务能力。大力开展围绕采用DVB-S技术的气象业务应用研究,拓展和衍生各种应用服务领域,是目前所面临的重要任务。     

广东省气象卫星遥感数据资源池设计与应用

气象卫星数据是遥感应用的核心基石,遥感业务平台是遥感应用的重要技术手段。本文利用广东省气象局数据中心分布式NAS存储,分设FY 3D、FY 4A数据资源池,通过数据同步和用户管理技术,设计了面向桌面级业务应用的广东省气象卫星数据资源池V1.0。利用SMART和SWAP两大气象遥感应用系统,各级业务人员可快速制作气象卫星遥感监测和评估产品。通过上述“云+端”的遥感业务架构,有效解决气象遥感数据不易获取的难题和遥感应用的技术壁垒,为推进省、市、县级气象卫星遥感业务一体化提供了一定的应用示范和参考价值。     

浪涌气象数据采集系统及其关键技术

针对无人值守大规模自动气象站的数据采集特点和要求,基于无线通信网络,设计了一种浪涌气象数据采集系统,并对其关键技术进行了深入讨论.首先,分析了系统数据传输的协议结构及存在的问题,设计了基于UDP协议的可靠应用协议,并就其工作过程及可靠性传输进行了详细的讨论,解决了无线数据传输的不稳定性问题;然后,利用多线程技术和大规模通信事件响应处理技术,提出了实现数据接收线程池的方法,通过引入"数据分区管理"的概念,论述了数据并发处理缓冲区的设计,解决了大并发系统容易丢失数据、堵塞和低效率等问题;最后,通过对系统测试及其在业务中应用的分析,表明该系统实时、高效、可靠,能满足目前业务的需求,并对未来业务的发展具有同样的适应性.     

高频精细化气象格点数据实时处理系统设计与实现

以高频海量气象格点数据为研究对象,针对传统实时处理系统数据处理效率不高的问题,设计并实现了高频精细化气象格点数据实时处理系统的总体架构和业务流程,在分析海量高频次气象格点数据特点的基础上,设计和实现了符合气象业务需求的分布式存储模型;利用多通道动态感知技术实现了动态多通道的文件处理和文件到达的快速感知触发;利用实时数据快速处理技术实现基于精准位置寻址的快速数据块定位算法,进而实现数据块的精准定位;利用数据按需实时截取技术实现了在空间范围内按需进行裁剪的截取算法,进而实现数据按需抽取;实际业务应用表明,系统有效地提升了半结构气象数值预报产品数据的实时处理效率。     

基于ElasticSearch的气象大数据原型系统

该文介绍了一种基于ElasticSearch智能搜索引擎的气象大数据原型系统的搭建方案,通过实现结构化气象数据同步、典型应用场景测试、业务系统接入等流程,将大数据原型系统与全国综合气象信息共享平台(CIMISS系统)进行了对比。结果显示,在结构化数据检索和统计分析方面,气象大数据原型系统具有明显的性能优势。     

软件设计模式在农业气象系统开发中的应用

通过分析当前农业气象业务服务发展与变化的需求, 农业气象业务系统架构、数据管理、产品制作等方面仍然存在不统一、不规范的问题,应用先进的软件设计模式与开发技术,该文提出了农业气象业务服务系统采用的以策略模式为主、工厂方法模式为辅的设计方式,以适应运行时用户不同功能选择和功能不断扩充的需求,提高软件的复用效率, 进一步形成通用、规范的应用系统,实现资源共享、集约化的系统设计模式。文章重点讨论了该模式下的总体框架模型、数据控制模型、数据服务模型、数据组件封装模型、插件管理与专业模块复用模型几方面的关键技术, 并通过基于ArcMap的农业气象评价系统和Oracle的农业气象数据库应用系统研发的两个实例,说明以动态库插件技术和数据组件封装技术的开发与业务应用效果。     

大容量历史气象信息的集成管理和应用开发

为实现大容量的历史气象信息的储存、整理和再利用,为气象分析的检索、查询、交换提供一个快捷的途径,中山市气象局基于业务服务需求开发了一套针对历史大容量气象信息的处理系统(BMDAS),它可实现对性质、来源不同的资料进行处理和集成,并针对不同的需求实现不同的检索和输出,最终实现对气象业务、服务应用以及气象信息共享的支持。     

专业气象服务业务工作平台实现

根据省级专业气象服务的需求和业务工作流程的需要,设计开发了业务系统工作平台,平台针对专业气象服务产品制作数据来源的多元化,进行了资料采集的实时数据监测及分类处理,具有专业用户分类管理和用户权限相结合的统一集成的专业气象服务产品多功能制作界面,能动态生成每天专业气象服务产品制作流程,系统可对用户制作的产品进行产品预览、存储、发布和系统用户日志管理等操作,实现了集数据信息采集处理、产品加工制作、产品分类发布、业务功能管理等功能的省级专业气象服务业务工作平台.     

基于MQ的气象数据采集与监控系统设计

针对气象业务和公共服务对气象数据统一管理与监控的需求,基于MQ(Message Queuing)消息中间件技术,设计并实现了一种气象数据采集与监控系统,由于多种气象探测设备数据源分散、难以统一管理,本文从数据采集端入手,对不同种类,格式各异的气象采集数据进行资料种类划分、数据消息规整、采集路由配置等方式实现了多种气象探测数据采集流程的统一,气象数据采集入库灵活及时,在数据流程环节中进行监控码的规范与定义,通过输出日志信息和监控信息,完成了客户端程序、气象数据更新状态、队列服务器等内容的监控,在装备运维的过程中,能够有效辅助于日常的故障发现与定位。     

MICAPS4网络平台设计与实现

针对多源、海量、实时气象数据的特点和高交互天气预报预警的业务需求,设计开发了MICAPS4网络平台,该平台包括服务器和网络前端结构,该平台可以实现网络气象数据叠加显示和交互分析等功能。该平台基于统一气象数据模型和分布式实时计算处理框架对多源海量、实时气象数据进行快速处理、计算分析、网络传输和发布,基于HTML5渲染绘制技术实现了浏览器端气象数据的标准实时渲染绘制和交互操作等。MICAPS4网络平台及基于该平台搭建的国家级、省级专业气象网络应用业务系统运行稳定,实现了海量气象数据的网络快速处理分析、高效渲染绘制、预报预警制作交互操作等功能,对建设国家级和省级气象网络应用系统具有重要意义。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

交通气象自定义地图服务聚合技术

利用华东各省交通气象信息数据,对共享产品的内容和格式进行了定义和约束,并基于GeoServer和Tomcat平台,运用Java Servlet构建了交通气象专用的地图服务,使得用户可以根据需求自由组合由系统提供的地图资源,从而满足用户需求的地图服务聚合应用。通过对交通气象产品拼图算法、核心GIS处理、XML解析等功能模块的研究与实现,最终完成了基于GIS的交通气象信息共享业务系统。该系统满足了交通气象的业务需求,为交通气象监测、分析、预报服务产品共享提供了技术支持。     

气候监测业务专题数据服务系统的设计与实现

为了满足气候监测业务日益突出的个性化资料需求,设计和开发了气候监测业务专题数据服务系统。在分析用户资料需求的基础上,重点介绍了系统的设计思路和实现技术。该系统由1个专题数据支撑库和4个功能模块组成,包括资料更新发现、专题数据集制作、数据服务和任务调度,其中,专题数据集制作方法和3种任务调度模式是系统设计的核心。系统实现采用SSH (Struts Spring Hibernate) 框架,按数据访问层、业务逻辑层和交互表现层进行分层实现;同时,结合DWR (Direct Web Remoting) 技术实现了同步异步交互方式,使用灵活的配置管理加强系统的可扩展性。系统投入运行后,已制作出13个专题数据集,提供了良好的数据服务。     

宁夏智能化综合气象业务服务共享管理平台设计与实现

文章按照标准化、集约化、智能化的理念,基于云端部署技术,提出了宁夏智能化综合气象业务服务共享管理平台的设计思路和总体架构,建设了宁夏气象基础数据库、业务产品库、服务产品库,构建了业务产品自动化生成系统、服务产品智能化制作系统、服务信息智慧型发布系统和信息共享与管理系统。通过数据存储、数据服务接口、数据资源管理、数据加工流程的标准化,设计了以标准化体系为基础的集约化数据环境。通过数据环境集约和业务系统集约,设计了以数据驱动为特征的集约化产品加工系统,形成统一的数据加工流水线。突出智能化要求,设计了以智能化为目标的数据分析算法和智能化系统运行控制,并在业务产品自动化生成、服务产品智能化制作、服务信息智慧型发布方面进行了探索。平台设计理念先进,技术前沿,流程简洁,功能完备,运行高效,充分体现了数据资源标准化、业务系统集约化和计算运行智能化的要求,平台的开发建设将极大地推进宁夏气象现代化进程,对于发展智慧气象具有重要的参考价值。     

时间同步技术在气象业务中的应用

在气象业务中,对时间的一致性要求很高,尤其是各种气象资料的准确同步观测对科学研究和业务应用都是非常重要的。随着观测手段和观测设备的增多,气象业务对全网时间同步的需求也越来越迫切。文章介绍了时间同步技术中的NTP协议的原理、工作模式和体系结构,设计了广东气象业务时间同步方案并用于实际业务中,取得了很好的业务效果。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。