三种高分辨率格点降水预报检验方法的对比

客观有效的评估高分辨率模式格点降水的预报能力,不仅是模式发展中的基础问题,而且直接关系到目前中国气象局主推的格点天气预报业务。以ECMWF(European Centre for Medium-Range Weather Forecasts)模式高分辨率降水格点预报资料、CMORPH(NOAA Climate Prediction Center Morphing Method)卫星与全国3×104个自动观测站的逐时降水量融合资料为基础,选择2015年6~8月55个降水个例,研究传统检验方法、面向对象MODE(Method for Object-based Diagnostic Evaluation)方法、以及邻域法在高分辨率格点降水预报检验中的适用性及优缺点,以期为高分辨率格点降水的预报性能评估提供参考。主要结论如下:(1)尽管点对点的传统方法在高分辨率格点降水检验中存在一定的局限,但传统方法能够在空间上表现高分辨率格点降水预报技巧的地域性差异,在时间上刻画预报的整体性能,对高分辨率格点预报性能评估仍然具有重要的适用价值;(2)邻域法的显著优点在于一方面能够通过变换邻域窗获得不同空间尺度上的传统预报技巧,另一方面独有的FSS(Fractions Skill Score)技巧评分能够表现预报相对于观测降水在格点数量上的比值,结合FSS和不同邻域窗上的传统技巧评分,可以判别在多大空间尺度上能够获得较好的预报技巧;(3)MODE方法在变换卷积半径的基础上提取降水对象,基于降水对象不仅能统计模式的传统技巧评分和预报性能的尺度变化,还可以表现降水对象的质心距离、轴角、面积、强度、综合收益、位移距离等多种属性,这些属性首先为用户提供了模式预报性能的多视角表现,其次从侧面定量描述了模式对天气系统发展快慢、槽脊强弱等预报误差,具有独特的优势,但如何应用对象属性来提高实际的预报能力还存在一些困难。     

基于对象诊断的超强台风“利奇马”(1909)模式强降水预报检验

采用基于对象诊断的检验评估方法(the Method for Object-based Diagnostic Evaluation,MODE)对超强台风“利奇马”过程中ECMWF全球模式与GRAPES-MESO区域模式预报的强降水目标对象进行了分析,发现MODE技术相比于传统点对点的检验方法可以提供更加丰富的模式性能分析信息,将模式的预报能力(是否匹配)与预报偏差(位置偏差、面积偏差等属性)区分分析。研究结果表明:ECMWF全球模式预报的强降水对象与观测匹配度较高,雨带的位置也相对准确;GRAPES-MESO区域模式预报的强降水对象数量和面积存在一定程度的高估,空报情况较多,雨带位置误差较大,与观测对象的匹配度相对较低。此外,ECMWF全球模式预报的强降水对象存在偏北的系统偏差,GRAPES-MESO区域模式预报的强降水对象随预报时效的增加有偏南的趋势,两个模式在较长预报时效下都有偏东的系统偏差。     

新疆新一代区域数值预报业务系统客观检验分析

运用MET检验工具,对新一代乌鲁木齐区域数值预报业务系统(RMAPS-CA)和目前业务运行系统(DOGRAFS)各季节业务模式预报性能进行对比检验分析.结果表明,相较于DOGRAFS系统,RMAPS-CA系统具有更高的空间分辨率和预报检验评分,预报能力明显提高.具体表现为:(1)对于高空要素预报,RMAPS-CA系统温...     

多种空间检验方法在不同分辨率模式降水预报评估中的应用

利用单一的客观评估方法并不能有效揭示预报误差来源。利用逐小时5 km格点融合降水产品,本研究使用了多种客观评估方法综合评估了南京大学2016年夏季汛期试验4 km与12 km WRF模式。整体上,两种分辨率都能成功地预报主雨带,4 km WRF在午后对流及复杂地形预报上更优。比较了各类客观评估方法,邻域法显示4 km WRF预报准确性更高,但对于强降水(≥13 mm·(6 h)^-1),两种模式预报的空间误差都较大。尺度分离法显示,对于小尺度系统,4 km WRF能较好再现对流但存在较大位置误差,而12 km WRF则漏报。MODE法(Method for Object-based Diagnostic Evaluation)显示4 km WRF在对象强度预报上更接近观测,但强度和范围偏大,导致华南偏强,而范围偏小造成江淮偏弱,12 km WRF低估主要是漏报。不同评估方法能清晰展示4 km WRF和12 km WRF预报误差的差异,为后续模式改进提供了重要参考。     

“23·7”华北特大暴雨数值预报检验评估

针对“23·7”华北特大暴雨过程,采用天气学检验及TS(thrcat scorc)评分和MODE(mcthod for objcct-bascd diagnostic cvaluation)方法对中国气象局高分辨率全球同化预报系统(CMA-GFS)、较低分辨率全球集合预报系统(CMA-EPS)、欧洲中期数值预报中心集合预报系统(EC-EPS)和业务预报模式(EC-HR)、美国环境预报中心全球预报系统(NCEP-GFS)等全球模式和中国气象局区域台风数值预报系统(CMA-TYM)、中尺度天气数值预报系统(CMA-MESO)和区域数值预报系统(CMA-BJ)等进行中短期预报效果检验评估。结果表明:EC-EPS提前14 d预报京津冀一带有过程累积降水量超过100 mm强降水的发生概率,CMA-EPS可提前12 d报出,但预报欠稳定且落区偏东偏南。EC-HR对100 mm以上过程累积降水量及2 d以上暴雨日的位置预报提前时效均达8 d左右,CMA-GFS的过程累积降水量预报显著偏小、强降水落区明显偏东,可用预报时效短;NCEP-GFS预报性能介于二者之间。各模式均可提前36 h预报强降水落区和...     

天气预报全流程检验评估程序库的设计与实现

为评估从数值预报、客观方法到主观预报产品各环节对天气预报准确率的贡献,研发了天气预报全流程检验评估程序库(Meteorological Evaluation Program Library,简称为MetEva)。MetEva以检验算法的全流程覆盖和检验结果的可对比性为目标,采用包含基础层和功能层的分层架构,基于统一的数据结构,设计了模块化的检验计算流程。围绕数据读取、数据合并与匹配、样本选取、样本分组、检验计算和结果输出等6个主要步骤,MetEva提供了6类400项功能函数。MetEva集成了5类54种检验算法,涵盖了大部分世界气象组织推荐和国内业务规范要求的检验算法,并对其计算流程进行改进,同时采用矩阵计算方式和并行算法来提升检验程序的计算效率。以温度和降水预报的检验评估为例,简要说明了MetEva的功能和使用方法,展示了MetEva在精细化检验评估方面的应用价值。该程序库已开源发布,可有效支撑全国各级气象部门开展天气预报全流程检验评估工作。     

一次高原地区强降水过程的对流可分辨尺度集合预报评估

利用FNL(Final Reanalysis Data)、 ERA5(ECMWF Reanalysis V5)再分析资料和GPM(Global Precipitation Measurement)全球逐半小时降水数据,选取我国西南高原地区一次强降水过程,研究了对流尺度集合预报中两种初始扰动方法 BGM(Breeding Growth Mode)和LBGM法（Local Breeding Growth Mode）对复杂地形强降水的预报能力。基于对象诊断的MODE(Method for Object-Based Diagnostic Evaluation)方法评估了模式对降水对象的位置、结构、强度的模拟能力,并与TS(Threat Score)等评分方法进行对比分析,综合评估模式预报性能,表明：（1）基于BGM和LBGM法生成初始扰动的集合预报系统BGM-EPS和LBGM-EPS,集合平均预报对24 h各个量级降水评分均优于控制预报,且暴雨的TS评分LBGM-EPS优于BGM-EPS;(2)整体上,WRF模式能够较好捕获降水对象,尤其是对于高原山地复杂地形的降水预报效果很好,LBGM-EP...     

基于对象诊断的空间检验方法（MODE）

基于对象诊断的空间检验方法 MODE(Method for Object-Based Diagnostic Evaluation),通过在空间场中识别对象,计算对象的相似度,并最终形成两个场的综合相似度来实现对两个空间场的检验。相对于传统的点对点的检验方法,该方法综合考虑了空间位置、形状、面积等多种因素,并通过符合主观判断的模糊逻辑算法计算相似度,克服了数值预报传统检验方法对于空间位置的过度依赖以及TS评分中的"双重惩罚"等不足。个例研究表明该方法具有明显的优势,有较高的实际应用价值。     

北京奥运期间多模式降水检验及集成试验

应用2008年奥运期间(6-10月)所使用的多种中尺度数值预报业务运行模式GRAPES_MESO15km(GRAPES)、华北中尺度模式(MM5)和北京区域气象中心的快速更新循环同化预报系统(RUC),对北京市24小时定量降水预报产品采用多个统计量进行了较详细的统计检验,并应用多元回归方法对多种模式的降水预报产品进行了集成试验.检验结果表明: GRAPES_MESO15km模式对奥运期间北京市晴雨及小雨预报具有较好的预报能力,而RUC产品对中雨及以上量级的降水预报则表现出较好的预报效果,这对今后北京市精细化降水预报具有一定参考价值.     

不同方法对青海2020年强降水模式产品预报性能的检验对比

基于多模式降水格点预报资料、青海省气象站实况资料及多源融合降水格点分析产品,针对青海省2020年7—8月强降水天气个例,采用TS(threat score)评分等传统检验方法和FSS(fraction skill score)评分及MODE(method of object-based diagnostic evaluation)空间检验方法,对比检验各模式在青海强降水中的预报性能。结果表明：(1)小雨及以上量级,欧洲中期天气预报中心(ECMWF)和美国国家环境预报中心(NCEP)全球模式、中国气象局全球同化预报系统(CMA-GFS)及GRAPES区域中尺度数值预报系统(GRAPES-Meso)的传统TS评分均较高且预报能力相差不大,但不同检验方法下评分最高的模式略有不同;(2)中雨及以上量级,各模式预报较观测普遍偏西,且传统TS评分差异较为明显,但不同检验方法下模式评分优劣表现较为一致;(3)大雨及以上量级,各模式预报较观测普遍偏北,且预报能力较差,传统TS评分为0,FSS评分有效提高了模式差异性的评估能力,MODE方法则给出了预报和观测对象属性的具体表现,但对检验参数的选取较为敏感...     

多模式温度集成预报的检验分析

该文利用C#程序语言逐日读取欧洲数值预报模式(Ec)、中国数值预报模式(T639)、德国天气在线(ZX)、美国天气(MG)、中国天气(ZG)、中央气象台指导预报(ZY)6家模式预报的日最高气温(Tg)和日最低气温(Td)预报值,建立预报数据库。使用LINEST函数对Tg和Td做多元回归分析,得出6家模式的集成预报结果,结果表明:集成预报(JC)比6家模式预报准确率都高;同时,建立本地化订正方法,将原6家模式Tg和Td进行订正后再集成,结果表明:订正后的集成比直接集成准确率提高了0%～4%,说明订正方法的使用对提高气温预报准确率有一定的效果。另外,通过对各家模式预报结果和集成预报结果的检验分析,不仅为预报员择优使用数值预报产品提供参考依据,也为数值预报产品释用提供一定的参考方法。     

东北区域业务模式预报产品检验评估系统的建立及应用

本文建立了东北区域业务模式预报产品检验评估系统,并对东北区域3 km业务模式系统与原东北区域9 km业务模式系统的降水预报效果进行了检验评估。东北区域业务模式预报产品检验评估系统每日自动运行,对降水、地面温度、形势场和台风预报产品进行检验,检验结果以文本和图形两种方式在东北区域气象中心局域网的中尺度数值预报网页上实时显示。同时,东北区域业务模式预报产品检验评估系统可以根据选取的具有代表性的降水个例,对更新改进后的业务模式与目前运行的业务模式预报产品检验结果进行对比评估。检验评估结果表明:新东北区域模式系统对大雨及以上量级降雨预报的改进效果明显,对冬季降雪和南来系统的预报效果也优于原业务模式,但空报率较高。随着数值模式水平分辨率的提高,增加了中小尺度地形信息特征,改进了大尺度降水的预报效果;数值模式垂直分辨率的提高,降水模拟易形成更多的虚假"数值风暴点",导致空报更多。     

GRAPES_3 km数值模式对流风暴预报能力的多方法综合评估

利用传统点对点TS评分、邻域法以及对象检验等多种方法,综合评估了GRAPES_3 km模式的对流风暴预报性能,分析了传统检验方法和新型空间检验方法对高分辨率模式评估的适用性和差异性,并同GRAPES_Meso模式的相关结果进行了对比。结果表明:对强对流典型个例的预报评估发现,综合应用多种评估方法能够更全面地评估对流风暴预报,获取模式在对流风暴初生和发展变化过程中的预报性能。使用点对点评分方法,GRAPES_3 km模式对风暴和强风暴的预报都明显优于GRAPES_Meso模式。对于模式不同起报时间的预报,起报时间越新预报效果越好。邻域TS方法考虑了时空偏差,GRAPES_3 km模式20和35 dBz采用时间邻域1 h,空间点对点时预报技巧最高;50 dBz时空偏差较大,时间邻域尺度为3 h技巧最高。分数技巧评分(FSS)显示GRAPES_3 km模式对不同阈值的对流风暴预报均能达到最低技巧尺度,而GRAPES_Meso模式对35 dBz以上的对流风暴基本无预报能力。对象检验可以评估对流风暴特征的预报效果,GRAPES_3 km模式的对流风暴个数预报与实况较为一致,但面积预报明显低估。该模式对β中尺度的对流风暴形态、位置等预报较好,对γ中尺度的对流风暴预报尺度偏大、形状偏圆、轴角偏小,对α中尺度的对流风暴预报尺度偏小、形状偏扁、轴角偏大。GRAPES_Meso模式的对流风暴面积、个数、尺度预报较实况均偏小,位置预报偏差较大,形状预报较实况偏圆、轴角偏小。传统点对点TS评分方法和新型空间检验方法对高分辨率模式对流风暴预报的检验结论一致,依然具有一定的参考价值,但新型空间检验方法能够提供更详细的评估信息。     

北京气象中心有限区业务预报模式的检验

预报检验是数值预报业务系统中不可缺少的重要一环。检验结果不仅客观、定量地反映了数值预报产品的水平,同时也为数值预报模式的进一步改进,提供可靠的依据。1984年6月北京气象中心正式建立了有限区模式的检验系统。形势场的检验,主要参考了北半球模式的业务检验方法。降水检验,     

广西中尺度数值模式格点产品检验系统

根据WMO规定的数值预报标准化检验方案开发的数值预报格点产品检验系统,可以实时检验广西中尺度数值预报产品及9210下发的多种数值产品,可为数值模式的改进及数值产品的业务化应用提供直接的参考依据。     

广西中尺度数值模式格点产品检验系统

根据WM O规定的数值预报标准化检验方案开发的数值预报格点产品检验系统,可以实时检验广西中尺度数值预报产品及9210下发的多种数值产品,可为数值模式的改进及数值产品的业务化应用提供直接的参考依据。     

华东区域数值预报系统对极端降水预报能力的评估

对SMS-WARMSV2.0业务系统、欧洲中期天气预报中心全球模式(EC模式)及全球预报系统模式(GFS模式)2016年1—12月降水预报结果进行统计检验,并对2016年我国多个极端降水案例进行对比检验。结果表明:技巧评分(TS)、公平技巧评分(ETS)、真实技巧评分(TSS)和击中率(PODY)多种统计检验指标证实华东区域数值预报系统对小雨、暴雨和大暴雨的预报技巧优于EC和GFS全球模式,在暴雨以上量级优势更为显著。多个极端降水案例检验表明,区域模式相对于全球模式对极端降水具备更强的预报能力。     

GRAPES_TCM模式对2013—2014年浙江影响台风预报的检验分析

基于多种台风定位定强客观方法,检验了高分辨区域台风模式(GRAPES_TCM)对2013—2014年浙江影响台风的路径、强度、移向和移速等的预报效果,并与多家业务模式产品(欧洲中心数值模式(ECMWF)、日本数值模式(JMA)、美国数值模式(NCEP)和中国数值模式(T639))进行对比分析,结果表明,在用最大风速中心定位、用10 m层中心最大风速定强以及用海平面中心最低气压定强时,GRAPES_TCM的预报精度都较高;GRAPES_TCM对台风移速和移向预报都有较好效果。     

基于MODE对模式预报强风风场的检验分析

基于专业气象服务领域十分关注的模式强风预报性能的客观检验和致灾性强风预警服务效果的合理性判别问题,利用一次强风过程对电网专业气象预警服务效果的检验示范,探讨基于目标(面向对象)的诊断检验方法(Method for ObjectBased Diagnostic Evaluation,MODE)对强风事件检验的适用性。通过对强风空间检验的各个关键参数的选择确定、匹配分析,发现:(1)MODE检验的卷积半径、诊断量权重和匹配阈值等参数的选择,将影响检验目标的适度聚焦和误差表达的客观性,因此需要综合考虑预报和实况场的水平分辨率、用户对该类强天气预报误差的空间和时间冗余度等;(2)MODE检验可较好地量化给出模式预报的整体效果,包括:强风落区的范围大小和位置偏差、强风过程的时间相位差等,从而可量化判别出模式在各个时刻的空报和漏报区域以及对强风过程移动速度和生命周期长度的预报性能。     

GRAPES_GZ 3 km模式对2019年海南岛暖季非台风降水预报的时空检验

利用基于目标诊断的空间检验方法(MODE)和时空检验方法(MTD)评估了华南3 km高分辨率区域数值模式(GRAPES_GZ3 km)对2019年海南岛暖季非台降水预报性能, 结果显示: (1)模式24 h累积降水预报的空间分布范围偏大、降水强度偏强; (2)模式逐小时降水预报的平均质心总体偏西和偏北, 降水出现时间总体偏早1~3 h, 结束时间总体偏晚2~4 h, 降水持续时间偏长; 预报的降水目标数量偏多, 与实况一致均存在着主峰和次峰形态的昼夜分布特征, 但预报的昼间主峰出现时间比实况偏早2 h; 预报的短时强降水出现频次总体偏多。相对于传统的预报和观测点对点检验评估方法, MODE和MTD方法具有捕捉模式预报偏差特征的优势。