数据湖技术在气象卫星资料业务共享中的应用

文章依托大数据云平台“天擎”系统的共享网络存储(Network Attached Storage,以下简称“NAS”),通过省级气象通信系统的文件分发策略,将气象卫星广播数据迁移到共享NAS上进行统一存储。基于B/S系统构架在贵州省搭建气象数据湖集群,实现对“天擎”系统共享NAS存储权限的统一管理。数据湖提供了前端图形界面对目录权限和账户权限统一管理,一方面规范了数据访问权限,保障数据和账户的安全性;另一方面解决了因数据反复迁移、多处存储而造成的资源浪费,符合气象业务的发展需求。     

基于数据湖的智能网格气象预报业务产品服务模式初探——以江西省为例

随着智能网格业务不断发展,智能网格气象预报业务产品种类、数量日益增长,给产品的存储管理带来挑战。针对江西省智能网格气象预报业务产品收集及存储现状,采用PostgreSQL、Kibana、Elasticsearch等开源技术,提出了基于气象大数据云平台的气象数据湖建设思路,实现产品集中存储和管理,并提供统一共享服务,解决了海量多源数据产品存储、管理和共享等技术难题,为业务用户能够高效共享和应用数据产品提供数据环境支撑。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

中国气象科学数据共享服务网总体设计与建设

中国气象科学数据共享服务网是由国家级和区域省级共享系统有机组成的覆盖全国、分布式、网络化业务系统.该系统实现了元数据统一发布、数据分级管理、全局用户的集中认证和授权管理.用户通过该系统可以获取分布在不同节点的、基于Web的数据访问服务.该文综述了该网的总体设计和技术实现.     

省级气象信息共享系统的设计与实现

针对省级气象业务对气象信息管理与共享服务的需求,提出了一套气象信息管理与共享服务系统建设模型。该模型实现了对海量气象信息的有效管理,能够提供气象信息的高效定位、检索,以及要素级的数据服务等功能。系统采用消息型中间件技术,为二次开发提供了便捷的接口,一方面使数据库的安全性和访问效率得到保障,另一方面支持各种不同开发环境和编程语言对数据库的访问,由此实现了开放式的气象信息共享服务。基于该模型开发了省级气象信息共享服务系统,并投入业务应用,对省级业务提供信息支撑作用。     

基于插件技术的湖南气象服务平台设计与实现

为达到整合省级气象服务数据资源、统一气象服务出口的目标,推动气象数据产品在防灾减灾和公共服务中的高效应用,基于Spring Cloud云架构,采用软件插件(Plugin)、WEB服务(WebService)等技术研发了湖南气象服务平台。本文详细介绍了此平台的分层模型和功能结构,以及所采用的多源气象数据融合处理、基于微服务的气象数据并行处理、基于可缩放矢量图形(Scalable Vector Graphics, SVG)的气象数据矢量化和数据安全交互等关键技术方法。此平台通过天擎获取气象数据产品,统一加工处理后封装为数据插件、图形插件和行业插件,通过标准接口提供观测资料、预报预警、卫星云图、雷达拼图等产品,基于气象数字对象标识符(Meteorological Digital Object Identifier, MOID)保障气象数据产品服务过程的安全性。此平台的气象服务插件已应用于湖南省应急管理厅、自然资源厅、水利厅等单位的业务系统。应用结果表明：此平台的插件服务模式适应C/S客户端、WEB网站、移动APP等不同类型的气象服务需求,实现了气象数据服务的统一管理、高效加工和规范应用,提升...     

基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

基于服务架构的多源气象卫星数据集成显示应用平台

为了解决不同气象数据间的应用接口,并突破传统C/S架构应用软件的限制,设计了一种基于服务的,能支持多源、多尺度、多形态的气象数据和卫星遥感数据自动化生产与发布的集成技术解决方案。基于该方案所建立的多源气象卫星数据集成显示应用平台(ShinetekView),能很好地实现数据的云端发布和轻量级客户端应用,并能采用分布式的数据管理方式及组件式的结构设计,实现对新的数据的扩展。     

基于虚拟化云网盘的气象数据共享和交换应用实现

从气象数据共享和交换应用的现状和需求、基于虚拟化云网盘的气象数据交换共享应用实现的技术体现和应用部署中,体现应用特点和实施效果:达到提高现有资源的利用效率和可用性,高效实现市级气象资源的动态利用,气象共享和交换数据的集中存储、应用和灾备恢复功能等目的。提供多平台、多手段数据交换共享支持,在对各用户访问权限安全控制的前提下,开辟气象办公、气象数据共享和交换新途径,达到提升市-县气象局间和市级气象局-市防灾减灾决策部门、气象用户间数据交换与共享效率的有效尝试。     

基于前置模式的气象观测数据整合技术实现

为实现地市级气象、水务、水文部门观测数据的整合并解决基层气象业务单位跨省调用本部门自动站数据的问题,基于FTP、Web Service等网络协议和数据交换方法,构建了前置模式共享网络,通过XML文件交换部门间需要共享的观测数据,利用面向对象的编程技术,将多个信息渠道的数据进行了同化处理,在Sql Server数据库环境下完成了多源数据的整合。整合机制和业务系统的建立实现了部门间的信息共享和部门内部自动站数据的跨省调用,为基层气象部门的监测预警、预报服务工作提供了更加全面的基础观测数据。     

省级外网气象大数据服务平台研究与实现

随着社会经济发展，气象大数据已成为国家大数据基础性战略资源的重要组成部分。然而各省市集约化气象大数据环境均建设于气象业务内网，面向社会的气象数据服务则存在集约化程度低、时效性差、数据量少、安全隐患多等问题，因此，建立外网环境的统一、高效、安全的气象大数据中心是气象业务社会化服务发展的迫切需求。本文建立了外网气象大数据服务平台,采用GoldenGate和sersync+rsync技术实现内网与DMZ区(Demilitarized Zone,两个防火墙之间区域)实时稳定的触发式秒级数据同步；跨平台、多语言开发，标准化调用的统一访问接口设计，可实现高并发、稳定的数据响应请求；分时分类的用户数据访问控制，可实现数据权限的安全控制。该平台通过防火墙双网段控制，向互联网环境用户提供高效、安全、权威的气象大数据服务。     

气象数据文件快速下载服务系统的设计与实现

有效地为专业和业务用户提供快速批量下载气象数据服务,需要一种新型数据服务系统,以弥补现有气象数据共享服务系统的不足。该文在分析气象资料服务系统发展阶段和技术特点的基础上,根据业务需求设计了一个基于元数据技术的、针对专业和业务用户的、能快速批量下载数据的新型气象资料服务系统。该系统基于前台应用系统和后台管理系统实现了批量下载、文件目录导航、数据同步更新、多线程断点续传、安全管理和灵活配置等功能。该系统是对气象资料服务方式的一种全新设计,系统发布后得到专业用户的肯定,具有广泛的推广价值,对气象数据服务系统的技术开发有较好的参考作用。     

基于RBAC的气象多维数据权限管理模型的建立

在传统的基于角色访问权限管理 (RBAC) 模型基础上结合气象数据自身特点及共享服务中的权限控制需求,提出了一种符合气象资料管理特点的多维度权限管理模型。该模型充分考虑了气象数据进行资源共享时资料分类众多、层次化结构复杂、检索粒度不同等特点,有针对性引入了客体维度概念和更灵活的权限管理机制,较好地满足了气象部门数据共享服务系统建设的需求。该方案作为全国综合气象信息共享平台 (CIMISS) 数据服务权限控制模型的前期试验研究,构建一个多维数据权限管理原型系统用于数据访问控制。作为通用性模型,该模型可以延伸用于气象数据服务类系统应用,对确保数据库的信息安全、防止用户越权访问数据、保障管理信息系统的正常运行具有重要意义。     

内存转发模型在CIMISS数据收发系统中的应用

针对国家气象信息中心现有数据收发业务在时效方面存在的问题,对现有模式进行剖析,找出现有流程中存在的问题,以及这些问题的产生原因。在此基础上,以气象卫星数据为对象,提出了应用内存转发模型。在该模型中,通过利用内存共享机制将数据接收流程和数据转发流程联系起来,建立通路,减少了多个中间处理环节,提高整个数据转发时效。参照内存转发模型,设计出适用于国家气象信息中心业务流程的统一数据转发流程,并通过对FTP服务端程序模块进行改造,在服务端实现了统一数据转发流程。通过性能测试,对两种转发模式的时效进行对比和分析,验证了内存转发模型的时效优势。     

风云三号气象卫星星地数据传输X频段链路干扰协调门限研究

风云三号系列气象卫星使用8025～8400 MHz频段将卫星探测数据传输给地面,该频段还有其它系统在使用,极易干扰风云三号气象卫星星地通讯,影响数据传输。目前,在该频段开展的兼容性分析研究工作中,所采取的系统关键特性参数和干扰保护限值大多数是直接引用国际电联相关建议书,没有对被干扰系统做干扰门限的精细计算,导致协调评估结果不准确,这也给该段频谱的协调使用和精细化管理等工作留下了很多潜在隐患。研究了卫星系统集总和单入干扰门限的计算方法,并根据风云三号卫星数据传输链路实际特性参数,分别得出其长期和短期集总干扰门限,并进一步研究得到来自空间长期和短期单入干扰协调门限,以及来自地面的长期和短期单入干扰协调门限,这些门限直接应用于风云三号气象卫星的频谱兼容性研究和频率协调,提高协调效率和协调精度。     

北京气候中心CMIP6数据共享平台及应用

为保障北京气候中心（Beijing Climate Center,BCC）气候模式在第6次耦合模式比较计划（Coupled Model Intercomparison Project Phase 6,CMIP6）中的大量试验数据产品面向国内外实现共享,建立了试验数据共享平台。由于模式试验数据具有数据量大、要素种类繁多、元数据多样等特征,为提供高效的数据管理,平台采用分布式存储架构,数据通过气候模式输出重写（climate model output rewriter,CMOR）软件进行格式规范,并实现基于THREDDS（thematic real-time environmental distributed data services）的数据组织与共享。在平台建设及软件设计部署等层面,充分考虑数据安全。该平台实现BCC 3个模式约190 TB的试验数据稳定、高效共享,为国内外气候变化领域科研工作者提供获取数据的方便快捷途径与方法,成为推动我国气候模式国际应用的有力技术手段。     

风云气象卫星数据存档与服务系统

国家卫星气象中心依托风云卫星工程,对多批次工程建设采取统一设计、滚动开发、分批扩展的方法,建成气象卫星数据存档与服务系统。系统架构于多个高性能计算机集群,应用可配置的动态加载容器和多机作业负载均衡并发处理技术将集群构建为高扩展性、高可用、高效率的业务系统。对Internet的全集数据共享技术、分布式时空一体化数据库存储技术、基于WebGIS的全球卫星影像发布技术、可视化处理与显示技术、三维地球影像发布技术、多源数据融合处理技术等多项关键技术进行研究与应用,为用户提供多种数据共享服务方式,提高了数据下载效率。目前,国家卫星气象中心已存档国内外21颗气象卫星801类共1150 TB数据,为24258个注册用户提供各类数据共享服务,该系统亦可通过配置扩展,适应未来国家卫星气象中心数据存档与服务的需求。     

风云气象卫星数据处理算法的若干创新

This study introduces some innovations in the data processing algorithm for Chinese FY meteorological satellites. Issues about satellite image navigation, radiation calibration, and data assimilation are discussed.
A time series of the earth＇s disk center-line count provides information on the orientation of the satellite spin axis. With this information, the altitude parameters of the satellite and then the earth disk location in the south-north direction may be solved. In each spin cycle, the satellite views the sun and the earth. Given the satellite position and altitude, the angle （β） subtended at the satellite by the sun and the earth can be calculated and predicted. Thus, the earth＇s disk location in the east-west direction is fixed. Based on this principle, we derived an automatic image navigation algorithm for FY2 geosynchronous meteorological satellites with an accuracy approaching pixel level.
The FY2 meteorological satellite traveling in a geostationary orbit suffers a large amount of radiation from the sun. The radiation varies on both diurnal and annual scales, which causes radiation responses in the thermal infrared （IR） bands wherein the wavelengths greater than 3.5 μm vibrate periodically on scales of hours to years. These vibrations must be precisely calibrated. First, based on the accurate estimation of the radiant contribution from the front-optics, the variation characteristics of the calibration parameters are obtained on a temporal scale of hours from the space-borne inner-blackbody （IBB） measurement results. Second, the in-orbit measured radiation of the lunar surface is referenced and utilized to correct the sys- tematic bias of the IBB calibration from daily to annual scales. By using such algorithms, we achieved a calibration accuracy of the FY2 satellite＇s IR imagery of less than 1 K.
The on-orbit satellite instrument parameters play an important role in data quality; however, they may be mis-measured due to limitations in the measurement conditions or may be