气象数据质量分析与评估

MDOS系统实现地面小时数据、分钟数据、日数据、日照、酸雨数据质量控制,观测数据经过本系统实现台站级、省级和国家级三级质量控制。文章分别从站点分布、下垫面环境、观测要素疑误及产生原因、数据可用率等多个方面进行了数据质量的统计、分析与评估,统计了2017年1—6月考核数据,数据可用率高达99.98%,数据质量总体呈优良水平,保证各个应用系统使用数据的及时性和正确性,为数值天气预报、资料同化与再分析、公共气象服务、特色气象服务产品提供更准确的高质量地面气象观测数据。     

国家级地面自动气象站数据卸载异常原因及处理方法

国家级地面自动气象站数据卸载的异常表现有数据卸载失败、不卸载数据、连续卸载过去数据等,这些异常情况会对正常的地面气象测报工作造成重大影响。文章介绍了自动站数据卸载流程,并结合维修经验分析导致数据卸载异常的原因,从影响原理、故障表现和排除方法等方面分别探讨了计算机与采集器时间不同步、业务软件参数错误、计算机系统设置不当、采集程序异常和硬件故障等数据卸载失败原因,归纳出数据卸载失败的检修流程;最后,介绍了导致不卸载数据和连续卸载过去数据的原因和处理方法。     

乌鲁木齐市气象塔梯度观测资料质量控制与处理

本文介绍了乌鲁木齐市建成区内5座100 m气象塔地理位置,根据逻辑极值检查、僵值检查、时间一致性检查、空间一致性检查和人工干预检查等组成的一套针对气象塔观测资料的质量控制方法和四点滑动平均插值、要素垂直分布拟合和线性回归方法组成的数据插值方法,对乌鲁木齐市从南至北5座100 m气象塔2012年4月1日至2014年4月30日的资料进行质量控制和数据插值。结果表明:该套方案能很好地找出缺测、错误和可疑的数据,结合人工干预,使得检验结果更为可靠。5座气象塔资料的质量是比较好的,正常数据占总数据的97.17%,其中红光山数据质量最好(正常数据占总数据的99.01%)。非正常数据只是少数情况(占总数据的2.83%),包括缺测和错误数据,其中缺测数据占非正常数据的6.23%(出现在米东和燕南立交),错误数据占非正常数据的93.77%。虚假数据占错误数据的89.99%(大部分为风速、风向),僵值数据占错误数据的5.47%(大部分为气温和湿度).超出逻辑极值数据占错误数据的0.41%(只出现在水塔山气温),不符合一致性数据占错误数据的4.13%(主要为湿度,主要在燕南立交)。利用四点中央插值法、每座气象塔要素垂直分布拟合和不同气象塔之间线性回归方法插值气温和相对湿度的效果较好。     

GIS气象数据的管理与表达方法

将气象数据分为离散数据、格网数据和要素数据,在此基础上,建立了气象数据库,包括气象资料信息数据库、社会资料信息库、基础地理数据库和气象空间数据库,并详细分析了气象数据的组织结构、表达和处理方法,最后提出了基于GIS的气象数据管理与表达的处理方法.     

浅析气象资料业务系统MDOS2.0应用及问题处理

1 MDOS2.0平台主要功能主要分为以下几大功能：数据传输信息显示与监控功能,此项功能能够直观的辨别出数据的显示和所上传的数据正常与否,能够及时提醒值班员查看不正常数据并及时处理,它包括日数据、小时数据、分钟数据、日日照数据和区域站数据等;国家站数据质控信息处理功能,当国家级台站上传的数据有不合理记录或处理记录不符合审核规则库时.     

四川省地面气象观测要素逐日值数据集

本文详细介绍了四川省地面气象观测常用要素逐日资料数据集的数据来源、制作方法、质量控制过程及质量状况、数据集的核心数据内容和数据格式,并对数据集核心数据的统计方法和制作流程、数据集命名规则等做了详细描述。     

中国二氧化碳排放数据比较分析

将世界主要相关研究机构和数据库（IEA、BP、EDGAR/PBL/JRC、CDIAC、EIA和CAIT）发布的中国二氧化碳排放数据与中国官方数据和估算进行比较,认为数据之间的差异来源于计算范围、方法和基础数据的不同,其中能源消费数据的差异是造成一些数据库估计值偏高的重要原因。研究认为IEA和CAIT数据与中国官方数据具有较好的可比性。建议中国加强煤炭统计工作,提高官方数据公布频率并提高清单完整性。     

四川省地面气象观测要素逐日值数据集

本文详细介绍了四川省地面气象观测常用要素逐日资料数据集的数据来源、制作方法、质量控制过程及质量状况、数据集的核心数据内容和数据格式,并对数据集核心数据的统计方法和制作流程、数据集命名规则等做了详细描述.     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

黑河流域气温和降水再分析数据的不确定性评估

评价区域再分析数据的精度和不确定性对于陆面过程模拟和气候变化分析有重要意义。以黑河流域为研究区,基于站点观测数据对中国区域高时空分辨率地面气象要素驱动数据集(CMFD)、黑河流域2000—2015年大气驱动数据集(WRFOUT)及黑河流域3 km 6 h时空分辨率模拟气象强迫数据(SFD)在不同下垫面条件下气温和降水的模拟精度进行评价,并通过广义三角帽法(TCH)评价3套数据集的不确定性。结果表明:(1)对于气温数据,WRFOUT数据集在草地、灌丛地、荒漠裸地及湿地下垫面精度较高,而CMFD数据集在农田下垫面精度相对较高,5种下垫面中,3套再分析数据的气温产品在灌丛地精度最高;对于降水数据,CMFD数据集在5种下垫面精度均较高,SFD数据集在草地、灌丛地和荒漠裸地,WRFOUT数据集在草地、农田和湿地表现出高估。(2) CMFD与WRFOUT数据集中气温数据的不确定性相对较低,而SFD数据集中气温数据的不确定性相对较大; 3套数据集中降水数据均表现出相对较高的不确定性,且区域差异明显,地表植被类型复杂和海拔差异较大的地区数据不确定性较高。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

面向服务的气象大数据

依据国家大数据发展战略和大数据特性,对气象大数据特征、面临问题和技术创新进行阐述,深入分析气象大数据服务方式和跨领域服务的发展方向。提出以标准先行为前提,集约整合为手段,通过数据层、逻辑层和界面层的整合来搭建面向服务的气象大数据环境,借助大数据发展机遇加快推动气象大数据发展步伐。     

青藏高原地气系统气象科学数据集成和共享

观测资料匮乏是制约青藏高原地球科学问题深入研究的关键因素。中国气象局国家气象信息中心联合中国气象科学研究院、中国科学院青藏高原研究所和西北生态环境资源研究院对近几十年来我国青藏高原区域的地气系统的大气和陆面观测资料及相关分析产品进行了整合集成,获得了高原区域长年代、多要素的地气系统综合气象数据,研发了综合气象数据库及其数据共享平台。本文系统介绍了相关科学数据的观测及数据情况,包括中国气象局长期业务观测数据、历次青藏高原大气科学试验数据、中国科学院部分野外台站长期观测试验数据和一些科学研究项目的产出数据成果,描述了多种数据的标准化集成技术和成果,设计并发布了青藏高原地气系统多源信息共享平台,为研究和解决青藏高原地球科学问题提供宝贵的数据资源。     

运维数据可视化展示平台的设计与实现

运维数据可视化展示是基于HTML5技术和可视化技术,通过对运行监控、资源状况、气象数据全流程等多维数据实时展示,形成可视化展示大屏,实现多源异构数据整合和实时呈现运维数据,增强基础资源利用效率,为决策分析提供不同维度的运维数据关系。     

遥感大数据分布式技术研究与实现

面向卫星遥感海量数据,针对其数据量的急速增长,对数据分析、价值挖掘提出了全新的挑战,引入驱动大数据应用的分布式模式,建立了适应卫星遥感大数据的网格模型,打破了数据的时空割裂和限制,数据可以作为整体进行存储、计算和应用,模型设计的网格、时间片、物理层的基本结构,可以保证未来云计算的实施。该文提出了基于希尔伯特曲线的网格散列算法,以此建立的分布式系统具有优异的并行读写性能和良好的负载均衡能力;遥感大数据分布式系统,实现了数据的高速分布式并行读写,支持数据的精确时空匹配和动态获取,整个系统的扩展能力可以达到线性增长,系统基于通用软硬件平台实施,实现卫星遥感大数据灵活、按需和简便的应用。     

基于数据湖的省级卫星直收站数据共享服务设计

针对省级卫星直收站数据存储分散造成共享应用不便的问题,提出卫星多源数据便捷高效访问和安全分级管理方案。引入数据湖技术,按照全国统一规范构建了基于气象大数据云平台的省级气象数据湖系统,基于此实现了FY-3、FY-4卫星地面直收站原始接收数据、加工处理产品等多种卫星数据入湖集中管理,并提供统一的数据共享服务,解决了海量多源异构数据的存储、管理和共享服务等技术难题。通过数据湖统一权限控制,实现对用户访问数据的分级管理,保障了数据应用的稳定性和安全性。通过数据湖统一文件目录服务,实现长时间序列文件的便捷快速获取,有效支撑卫星数据的服务应用和挖掘分析。     

基于深度学习的天气雷达异常数据识别技术

天气雷达基数据中因观测设备故障或标定问题而产生的异常数据, 直接影响天气雷达数据质量、定量估测降水及天气系统的分析和判断。目前在中国气象局气象探测中心实时业务中, 通过人工勘误环节对异常数据进行处理。针对2020—2022年业务中勘误较多的、大面积故障异常和易与降水数据混合的局部电磁干扰或故障的两类异常数据, 分别构建和训练R-ResNet和R-LinkNet两种模型, 提取雷达硬件故障、电磁干扰等特征, 实现异常数据的识别和处理。评估结果表明:两种模型在提取异常数据特征方面均具有很强的学习能力, R-ResNet在分类判识异常数据与正常数据的准确率超过99%, R-LinkNet在分离电磁干扰杂波和降水回波的准确率超过98%。两种模型可用于实时业务中监控和勘误电磁干扰、故障等异常数据, 实现异常数据的自动勘误处理。     

近百年全球地表月气温数据的概况与初步整合

基于国际上最著名的4套全球地表月气温数据集,即英国东安格利亚大学气候研究所数据集（CRUTEM3）、美国国家气候数据中心数据集（GHCN-V3）、美国国家航天航空局数据集（GISSTMP）和Berkeley地球表面气温数据集,从分析现有资源的状况入手,通过广泛的国际调研与合作,整合了这4套全球地表逐月气温数据集和一些主要国家或地区的区域数据集,研发了中国第一套全球陆地表面逐月气温站点数据集。该数据集共包含全球9519站、7073站及6587站的月平均气温、最高及最低气温（序列长度不低于20年）数据,同CRUTEM3和GHCN-V3数据集相比,该数据集站点密度在各个区域都有所增加,尤其是在南美洲、非洲及亚洲地区;另外,1990年代以来的站点数量显著增加,有利于降低自1990年以来全球气温变化趋势估计的不确定性。     

风能资源观测数据省级传输系统

风能资源观测数据省级传输系统是国家风能资源数据库建设项目的一个重要组成系统,是全国风能及其相关数据和产品服务的基础,并已实现了观测数据的业务化传输。该系统由数据收集、收集处理、数据分发、传输监视等4个功能模块组成。数据收集模块功能由Linux下的socket编程实现,可收集实时和历史数据、备份数据、删除过时数据;收集处理模块功能由Linux下的C语言编程实现,可对数据的唯一性、正确性及格式进行检查;数据分发模块功能由Linux下的socket编程实现,可实时分发、失败重发、分发日志记录;传输监视模块具有监视、统计、信息查询和显示等功能。     

雷电灾害数据可视化分析系统研制

随着社会和经济的发展,雷电灾害造成的经济损失和社会影响越来越大.为了研究雷电灾害发生、发展规律和分布特征,实现相关数据可视化分析,通过基于GIS和ActiveX自动化技术的等值线绘制技术、基于数据库的闪电密度图和极性图绘制策略、基于自绘图层的多普勒雷达图快速绘制方法和基于GIS的闪电数据与雷达回波数据叠加等多种技术手段,研制了雷电灾害数据可视化分析系统VASLDD(Visualized Analysis System of Lightning Disaster Data).该系统使用图表、GIS专题图、等值线、密度图等多种方式,实现雷灾调查数据、雷暴日数据、雷达数据、闪电定位数据的可视化分析,为防雷部门业务和科研工作提供有力的技术支撑.