MICAPS4服务端系统架构设计

MICAPS4体系采用客户端/服务器的系统架构,其中服务端系统是MICAPS4的重要部分,利用分布式存储与分布式计算技术,构建可容纳102 TB量级的气象实时数据,千万数据总量,面向数百并发用户的服务器集群系统。MICAPS4服务端系统在国内率先实现全部气象实时数据由文件到数据库、从集中式系统到分布式系统的迁移,该系统自2015年起在全国推广使用。在海量气象数据和大量用户并发访问的环境下,表现出很高的稳定性和优越的读写性能,同时具有便捷的扩展性和可维护性。MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统,分布式存储子系统为MICAPS4客户端提供了近实时数据的高速随机与顺序读取服务,分布式前处理系统利用对等分布式架构实现了海量气象实时数据的流式计算,站点实况轮询系统实现了跨系统的实况数据异构副本的同步功能,查询服务器系统利用多线程服务器技术实现了MICAPS4客户端的实时计算请求,监控系统利用部署于每个节点的探针实现监控信息的主动上报。     

MICAPS4网络平台设计与实现

针对多源、海量、实时气象数据的特点和高交互天气预报预警的业务需求,设计开发了MICAPS4网络平台,该平台包括服务器和网络前端结构,该平台可以实现网络气象数据叠加显示和交互分析等功能。该平台基于统一气象数据模型和分布式实时计算处理框架对多源海量、实时气象数据进行快速处理、计算分析、网络传输和发布,基于HTML5渲染绘制技术实现了浏览器端气象数据的标准实时渲染绘制和交互操作等。MICAPS4网络平台及基于该平台搭建的国家级、省级专业气象网络应用业务系统运行稳定,实现了海量气象数据的网络快速处理分析、高效渲染绘制、预报预警制作交互操作等功能,对建设国家级和省级气象网络应用系统具有重要意义。     

MICAPS4预报业务系统建设进展与未来发展

以精细化预报为标志的现代天气预报业务对高时空分辨率气象数据的应用提出了更高的需求,而传统的预报分析制作系统MICAPS3（Meteorological Information Comprehensive Analysis and Processing System Version 3）无法满足符合大数据特征的实时预报相关的数据应用。同时,模式预报和集合预报应用已在各专业预报领域中发挥越来越重要的作用,网格预报产品正在涵盖全部的预报业务流程,而MICAPS3无法提供便捷高效的支撑。为解决上述问题,国家气象中心启动了MICAPS4建设,一方面建立了基于大数据的气象实时预报应用技术体系,解决了气象大数据处理、存储、分析和显示效率的关键技术难题;另一方面搭建了多个满足不同复杂预报业务需求的专业化版本。MICAPS4将信息化技术与预报技术、预报业务流程紧密结合,解决了现代化预报方法的平台化集成应用与精细化预报制作的关键技术难题,基于MICAPS4基础框架的多个专业版在中央气象台和部分省级气象台进行业务化应用推广。基于CIMISS（China Integrated Meteorological Information Sharing System）-MICAPS4的海量数据存储环境,极大减轻了系统部署和本地化工作量,显著提升了数据解析及数据存储访问效率。     

一种基于分布式的雷达拼图处理系统框架

以TITAN（Thunderstorm Identification Tracking Analysis and Nowcasting）系统为基础框架，通过引入大数据处理技术，对系统中各个模块间的通信机制、数据处理和存储方式进行优化，结合中国气象科学研究院的雷达数据质量控制方法和高效的雷达数据解析和拼图方式，实现了辽宁省及周边地区10部雷达的同步观测和雷达组网拼图处理系统的实时运行和雷达产品的按需定制。该拼图处理系统能够实现雷达数据的流式传输；通过Kafka（分布式发布订阅消息系统）实现雷达数据的分布式处理；并通过采用Cassandra数据库存储，提高雷达数据存储的稳定性。     

基于MICAPS系统的气象图形Web显示

利用MICAPS系统后台运行程序,通过修改相关参数和编写程序,将天气实况、城市预报和数值预报产品等气象数据,在Web服务器上实时自动生成预报员熟悉的MICAPS图形,并在叠加底图后保存为标准图像文件.再通过Web语言设计,实现在Web网络上提供实时的、全面的、专业的气象图形,从而提高了气象网站的专业性和服务功能.     

海量气象站点数据分布式存储测试及其应用

站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。     

MICAPS历史资料存储系统设计与实现

为实现多种类数据的集中采集、统一管理,在省级部署MICAPS历史资料(经MICAPS4后台解码程序所生成的文件类型的数据产品)存储平台。该平台能很好地满足湖北省各级台站对MICAPS历史资料的需求,为MICAPS4在全省全面业务化做好准备工作。通过对该系统的架构进行描述,并以相关数值预报产品为例,介绍数据存储、补调、恢复流程,以期与其他省级部门相关业务人员就MICAPS历史资料的管理进行良好沟通和交流。     

超大城市观测数据系统平台设计与实现

为收集管理应用新型地基遥感设备观测的海量、多源、实时数据，中国气象局气象探测中心设计并搭建了超大城市观测数据系统平台。系统基于主流Web开发技术和分布式列存储集群方式MySql数据库，具备数据实时传输、监控、存储、分析、显示和共享等功能，实现了新型地基遥感观测数据管理规范化、产品服务多样化、资料共享便捷化。该系统平台既提高了新型地基遥感设备数据的支撑保障能力，同时分钟级廓线数据产品满足了短临天气预报对实时数据的高时效需求。目前，平台已在部分城市中推广应用，为地基遥感设备业务化运行提供全面的平台支持。     

基于智能网格产品的广西行业气象服务集约化系统的设计与实现

依据广西公众气象服务产品、行业气象服务产品精细化、集约化及智能化业务发展需求,基于智能网格产品及CIMISS基础数据平台,实现气象数据的汇聚、分发、共享及存储。依托J2EE、GIS及分布式技术,对现有的电力气象、旅游气象、交通气象等业务系统进行整合,构建基于B/S与C/S混合架构的广西行业气象服务集约化系统,形成基于广域网络、上下一体、统筹集约的气象服务业务系统布局,为公众、行业用户提供更精细、更实时的预报、实况和预警信息产品。     

MICAPS3数据服务器应用和维护

2009年中国气象局推出MICAPS3数据服务器,目前大多数省已经完成该系统的部署。MICAPS3数据服务器的应用是MICAPS发展的一种趋势,新增的气象资料和数据将通过MI-CAPS3数据服务器进行处理生成MICAPS产品数据,提供给预报员使用。     

一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

高频精细化气象格点数据实时处理系统设计与实现

以高频海量气象格点数据为研究对象，针对传统实时处理系统数据处理效率不高的问题，设计并实现了高频精细化气象格点数据实时处理系统的总体架构和业务流程，在分析海量高频次气象格点数据特点的基础上，设计和实现了符合气象业务需求的分布式存储模型；利用多通道动态感知技术实现了动态多通道的文件处理和文件到达的快速感知触发；利用实时数据快速处理技术实现基于精准位置寻址的快速数据块定位算法，进而实现数据块的精准定位；利用数据按需实时截取技术实现了在空间范围内按需进行裁剪的截取算法，进而实现数据按需抽取；实际业务应用表明，系统有效地提升了半结构气象数值预报产品数据的实时处理效率。     

长江三角洲气象数据实时共享技术研究与实现

通过基于数据超市理念的气象数据实时共享技术研究,首次建成上海、浙江、江苏、安徽三省一市间互联互通的长江三角洲(长三角)气象数据实时共享平台。该平台设计并使用标准规范体系,建立基于分布式的数据管理模式,采用多层系统架构,实现物理上分布、逻辑上统一的长三角区域气象数据资源组织与共享。能有效支持短临天气预报对实时数据的高时效要求,支持灾害性天气移动观测、加密观测业务的数据共享,提高气象数据实时共享效率,降低数据更新分发的难度。     

MICAPS“不能正常调入数据”的故障排除

随着气象业务现代化的持续发展 ,PCVSAT单收站已相继在陕西省各县级气象台站安装运行 ,从而为 MICAPS的开通提供了硬件环境。该系统资源信息丰富、时效性强、操作方便直观 ,深受基层气象科技人员的欢迎。但在系统运行过程中 ,MICAPS偶尔会发生“不能正常调入数据”(完全调不到数据或部分数据无法调出 )的故障。这种故障在该系统故障中不仅所占比例较大 ,而且涉及到 MICAPS中较为复杂的数据接口及有关计算机网络知识。1　检查 PCVSAT网络是否畅通保证网络畅通是 MICAPS得以调取数据的基础。因此 ,先在 MICAPS处理机上的“网…     

基于MICAPS系统的数字化天气图及常规气象资料检索分析系统

介绍了基于“9210工程”和MICAPS系统的资料自动存储、整理、检索和历史天气图分析业务系统——基于MICAPS系统的数字化天气图及常规气象资料检索分析系统，较全面地介绍了该系统高度自动化、设计友好的功能和在业务中的应用。     

基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

MICAPS2.0服务器版安装、更新及维护

MICAPS2.0是在MICAPSl.0的基础上开发和完善的,在MICAPS2.0中增加了一个动态连接库和4个ACTIVEX控件,包括参数检索控件、辅助图表控件、数据分析控件和地理信息控件,增加了气象资料的文本和表格显示功能,增加了单窗口多屏显示功能,提供了新的图形图像操作功能和气象数据分析工具。MICAPS2.0数据接收处理部分和图形显示部分完全分开。

     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

用纯净水与自来水校准自动雨量传感器的差异

1引言气象自动仪器在气象业务中的投入使用,逐步取代了人工观测,从而实现通过计算机实时查看数据、存储数据和上传数据,使地面气象观测真正实现了自动化。但同时对自动气象仪器的维护是非常重要的,否则不会得到有效的观测数据,给工作带来不便。自动雨量传感器是测量雨量的仪器,目     

修改MICAPS系统配置参数提高气象资料时效性

通过在局域网络中建立专用MICAPS人机交互处理系统服务器,修改其余微机MICAPS系统配置参数就能直接访问该服务器处理好的资料,提高了现有气象业务系统利用卫星网提供的气象数据的效性,同时使全局能运行Windows3．x操作系统的386微机都能使用MICAPS系统,大大方便了用户,提高了预报工作效率,最大限度地利用现有的计算机资料。