基于气象数据收集分发系统的RDBMS设计分析

在CTS(China Telecommunication System)全国综合气象信息共享平台中数据收集与分发系统数据库中,RDBMS作为结构性支撑环节,其设计与评估至关重要,本文以CTS系统为基础,对RDBMS的设计原则和容量估算两方面加以分析,面向气象数据系统工程师进行底层解读,解释分析了系统设计过程中原则性要点,可以有效指导气象数据传输业务基层工作人员进行系统部署运维。     

贵州省自有数据接入CIMISS流程介绍

以SWAN产品接入为例,介绍将贵州省非结构化数据接入CIMISS系统平台,完善并丰富数据种类,为基础业务提供强有力的数据环境支撑。     

基于CIMISS的气象观测数据标准化现状分析

选取广西具有代表性的区域自动气象站、GNSS-MET和回南天三类观测数据资源,通过分析和研究气象资料收集、传输及数据标准化现状及其业务中存在问题和瓶颈,探索以CIMISS标准为基础,再造流程、整合业务及制定数据标准,为广西气象特色观测数据标准化工作提供参考.     

内存转发模型在CIMISS数据收发系统中的应用

针对国家气象信息中心现有数据收发业务在时效方面存在的问题,对现有模式进行剖析,找出现有流程中存在的问题,以及这些问题的产生原因。在此基础上,以气象卫星数据为对象,提出了应用内存转发模型。在该模型中,通过利用内存共享机制将数据接收流程和数据转发流程联系起来,建立通路,减少了多个中间处理环节,提高整个数据转发时效。参照内存转发模型,设计出适用于国家气象信息中心业务流程的统一数据转发流程,并通过对FTP服务端程序模块进行改造,在服务端实现了统一数据转发流程。通过性能测试,对两种转发模式的时效进行对比和分析,验证了内存转发模型的时效优势。     

基于Mycat的分布式技术在收集与分发系统中的应用

基于Mycat的分布式数据库集群,采用了 Mycat+Mysql+Haproxy+Keepalived的技术架构,实现了一个高可用、高性能和高扩展的分布式数据库集群系统,并对单机版Mysql数据库和基于Mycat分布式数据库集群进行性能比较.结果表明,基于Mycat的分布式技术研发数据库集群系统具有高效性和可行性,可以...     

气象电报收集、分发系统在业务中的应用

全省气象电报收集、分发系统是负责收集全省各观测站的气象资料，及时处理并分发到北京、香港、澳门等各个服务单位，它有易操作，报文处理迅速，易维护等特点，提高了电报的传输时效。     

数据的远程分发与处理

结合9210工程的建设,在网络结构、数据流程、技术实现等方面提出了有关9210工程系统所接收数据的远程分发与处理的方案和思路,并介绍了自行开发的客户端“气象信息传输与处理”软件。     

气象产品现代化分发技术与分发服务系统

论述自80年代中期起,在由大气遥感探测和数值天气预报所产生的大量气象产品的新形势下,如何最佳利用现代先进技术,对广大用户进行高效和实时分发的技术策略和方法。在概述80年代后期已蓬勃涌现的国外气象信息分发系统(MIDS)的基础上,介绍了我国第一个这类系统——武汉天气信息分发服务系统(WIDSS)的结构和特点。     

CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

使用SymmetricDS软件同步CIMISS核心库数据

为了满足行业用户和公众用户对气象数据的需求,需要有专门的数据库对其提供数据支撑。但是为行业用户提供数据服务的行业区数据库和对公众用户提供数据服务的INT区数据库并没有气象数据。该文通过SymmetricDS软件高效、稳定的将CIMISS~([1])中核心区气象数据同步到行业区数据库和INT区数据库,从而发挥了行业区和INT区数据库应有的社会效益,满足了行业用户和公众用户的需求。     

地球同步气象卫星数据收集平台系统

地球同步气象卫星数据收集平台的特点是获得平台数据的时间间隔很短,约半小时一次,甚至更短,平台容量大得多,一个卫星每小时可获得10000个以上平台数据,但是不能对移动平台进行定位,只是单纯地中继数据。 目前世界上的地球同步气象卫星GOES、GMS、Meteosat和Insat的平台系统大同小异。我国处于日本GMS卫星的平     

基于MUSIC的特色数据与产品回写CIMISS方法研究

遵守MUSIC数据规范,设计资料编码、数据结构、存储办法等内容,配置数据回写与访问接口,将广西雷电观测资料与数据产品接入CIMISS。业务应用表明,MUSIC可便捷地实现低频次小数据量数据回写,提供统一标准数据服务。     

江西省CIMISS降级备份系统的设计与实现

为提高CIMISS数据服务能力,研究CIMISS系统数据处理和服务流程,梳理分析了CIMISS数据处理入库积压原因,针对可能出现因软、硬件异常导致CIMISS数据服务性能大幅下降的情况,根据系统结构特点和数据服务需求,设计了CIMISS降级备份系统。通过运行测试发现,该降级备份系统可稳定提供气象业务所需的基本气象资料,能有效应对CIMISS数据服务终止等极端事件,同时显著提高CIMISS中本地化数据的入库处理效率。     

基于流程控制的国际气象通信数据收集管理系统的设计与实现

近年来,天气和气候业务对国外数据种类和时效要求不断提高,为解决大量数据的收集分发压力以及管理问题,设计并实现了基于流程控制的国际气象通信数据收集管理系统。系统应用数据收集器Logstash、Inotify监听机制与分析平台Kibana等技术,支持多种通信协议,扩展Scrapy网络爬虫功能,通过流程控制、任务调度等方式实现大量数据快速高效收集和集成管理,有效提高数据并行处理能力和可扩展性,且设计了全流程监视,保障数据时效。系统已经上线提供服务,为业务/科研用户提供全球观测数据、国外卫星数据和数值预报产品等300余种,日收集数据量约2 TB。     

怀化市CIMISS资料查询统计系统的设计与实现

基于全国综合气象信息共享系统(简称CIMISS)数据环境和C/S架构,采用Visual Studio 2010、SQL Server 2005和SharpMap开发了怀化市CIMISS资料查询统计系统。系统调用气象数据统一服务接口(简称MUSIC),获取湖南省境内及怀化周边地区所有站点的地面气象资料,建立数据库。通过数据检索、数理统计等方法,实现任意要素快速处理,形成多种可视化产品,提高气象决策服务的准确性、时效性以及预报人员的工作效率、工作质量和服务质量。     

数据收集系统的数据处理和运行监视

数据收集系统(DCS:Data Collection System)中的数据处理和运行监视子系统主要是对指令数据接收站(CDAS:Commander Data Acquired System)通过高速网输入的经过打包的数据收集平台(DCP:Data Collection Platform)报文和平台状态信息进行解包处理和数据检验,形成DCP实时报文和DCP状态信息分类数据,并实现DCP运行状态监视,同时将各类数据入库管理,为数据服务系统向平台用户分发报文信息提供相关的数据。该系统采用软件工程方法研制,设计模块化。在运行中不断完善与改进,经过半年多的试运行,证明系统运行稳定可靠。     

基于虚拟串口技术的地面气象观测数据实时分发系统

目前培训上使用的地面气象观测情境教学系统,不能为气象观测实习实训同时提供实时的天气现象、观测数据异常和观测设备故障情境,不具备同时开展基于历史观测情境和实时观测情境实习实训教学的功能。针对上述问题,本文利用虚拟串口技术和局域网数据共享方法,在VC6.0程序开发环境中,采用面向对象与面向过程相结合的程序开发思想,运用多线程方式和串口通信机制,研发了地面气象观测数据实时分发系统。该系统首次实现了分钟实时观测数据、小时统计数据、分钟状态数据,在局域网内从教师机到学员机实时分发共享的功能,同时具备开展基于历史观测情境和实时观测情境实习实训教学的功能。测试应用表明,该系统设计合理,操作方便,数据分发共享及时、稳定,满足了多学员同时开展地面气象观测情境教学的要求,大大提升了地面气象观测培训的实效,研究成果可为实时情境教学系统的设计开发提供技术参考。      

关于异步多线程快速提取CIMISS数据入库方法的研究与应用

为实现异步多线程快速提取CIMISS数据入库,使用c#5.0新特性async和await进行异步操作实现主线程与方法线程的并行执行,解决提取CIMISS数据时出现的主界面无响应问题,使用Sql Bulk Copy则可实现批量数据的快速入库。     

国产数据收集平台

气象科学研究院大气探测所在中国科学院空间中心、内蒙古自治区气象局的合作下,我国第一台SSP-1型数据收集平台(见封底),已于1987年5月9日在内蒙朱日和气象站安装完毕。并于当日格林威治时08~(12),将首次观测数据发向日本GMS静止气象卫星。通过GTS线路迅速传至北京气象中心,收到的报文齐全、记录准确。整个试用考验工