MODE降水检验评价指标改进及卷积半径应用

基于对象的诊断检验方法（MODE）受降水临界值、卷积半径、属性权重等参数的影响,合理选取卷积半径并准确表征预报场与观测场之间的空间相似度决定了MODE的应用效果。本文基于2020年夏季贵州54个降水个例,以多源融合降水（CMPA）作为实况,使用MODE和FSS评分（Fractions Skill Score）对中国气象局广东快速更新同化数值预报系统（CMA GD）24 h日降水预报进行空间检验。结果表明：卷积半径过小易造成MODE提取降水对象过多,而卷积半径过大则导致局部降水信息丢失,无法从降水场中提取到降水对象。不同卷积半径下计算的最大相似度中值（MMI）存在突变。在MMI基础上引入面积权重构造面积平均最大相似度（AMMI）。AMMI不受提取降水对象个数的影响,较MMI更具有稳定性,用于表征降水场之间的整体空间相似程度更为合理。根据对象总面积随卷积半径的变化将降水分为大范围降水和局部降水2类。大范围降水平均总面积随着卷积半径的增加而增加,AMMI随卷积半径变化不大。随着卷积半径的增加,局部降水平均总面积减小,平均AMMI有所减小。局部降水对卷积半径选取较为敏感,以观测场对象面积变化不超过10%的最大半径作为卷积半径有助于保留降水场大部分信息。     

MODE方法在西南区域模式降水预报检验中的应用

为了弥补传统检验方法的缺陷,本文基于对象目标的空间检验方法MODE,对四川2019年6月22日的强降水过程进行检验,分析西南区域模式在短时强降水的预报效果。通过对该方法各参数的确定,可以发现:(1)MODE检验方法在确定卷积半径R和降水阈值时应灵活地进行选取;(2)模式较好地把握了此次降水过程的发展消亡过程,尤其是对盆地东北部的降水预报效果很好,对降水目标物的形状、走向、移动方向以及落区有比较好的相关性;但对于降水发展初期,模式预报效果不理想,存在明显的空报;(3)对于强度预报,降水发展强盛期预报场对高原目标物强度预报在降水大值区存在一定高估,对盆地目标物强度预报基本接近于实况,但在降水减弱时对盆地目标物强度预报也存在明显高估。      

基于CRA空间检验技术的西南地区东部强降水EC模式预报误差分析

CRA(contiguous rain area)空间检验技术是将连续雨区作为目标进行检验。通过设定降水量阈值,识别、分离及平移降水目标,将预报偏差分解为落区、强度和形态误差,该方法可避免传统TS评分的双惩罚效应。利用CRA空间检验技术对2011—2014年5—9月西南地区东部EC细网格模式36 h预报时效119个降水目标的预报误差进行分析,并按照环流形势和影响系统对强降水个例进行分型,分为西南地区东部低涡切变型、西南地区东部-江淮切变型、南风型,分别对上述三类不同类型强降水个例的落区和强度误差进行了对比。得到如下结论:西南地区东部降水预报形态误差占比最大,为60%左右,其次是落区误差,为30%左右,强度误差最小,约为10%;落区平均偏西0.7°,经向偏差不明显;模式对于水平尺度较小的降水目标漏报可能性较大,而对于天气尺度降水目标模式预报面积偏大,总降水量偏大,雨强偏小;西南地区东部低涡切变型和西南地区东部-江淮切变型降水强度预报误差类似,模式预报雨区面积均偏大,降水尺度越大,偏大的概率越大,实况平均降水强度越强,模式预报强度越偏弱;南风型预报强降水面积和平均强度均偏弱,出现漏报的概率较大;而对于最大降水量,三种类型模式预报的最强降水均较实况偏弱;西南地区东部低涡切变型模式预报落区偏西,江淮至西南地区东部切变型模式预报落区偏西偏北,南风型模式预报落区偏西偏南。     

不同方法对青海2020年强降水模式产品预报性能的检验对比

基于多模式降水格点预报资料、青海省气象站实况资料及多源融合降水格点分析产品,针对青海省2020年7—8月强降水天气个例,采用TS(threat score)评分等传统检验方法和FSS(fraction skill score)评分及MODE(method of object-based diagnostic evaluation)空间检验方法,对比检验各模式在青海强降水中的预报性能。结果表明：(1)小雨及以上量级,欧洲中期天气预报中心(ECMWF)和美国国家环境预报中心(NCEP)全球模式、中国气象局全球同化预报系统(CMA-GFS)及GRAPES区域中尺度数值预报系统(GRAPES-Meso)的传统TS评分均较高且预报能力相差不大,但不同检验方法下评分最高的模式略有不同;(2)中雨及以上量级,各模式预报较观测普遍偏西,且传统TS评分差异较为明显,但不同检验方法下模式评分优劣表现较为一致;(3)大雨及以上量级,各模式预报较观测普遍偏北,且预报能力较差,传统TS评分为0,FSS评分有效提高了模式差异性的评估能力,MODE方法则给出了预报和观测对象属性的具体表现,但对检验参数的选取较为敏感...     

GRAPES_GZ 3 km模式对2019年海南岛暖季非台风降水预报的时空检验

利用基于目标诊断的空间检验方法(MODE)和时空检验方法(MTD)评估了华南3 km高分辨率区域数值模式(GRAPES_GZ3 km)对2019年海南岛暖季非台降水预报性能, 结果显示: (1)模式24 h累积降水预报的空间分布范围偏大、降水强度偏强; (2)模式逐小时降水预报的平均质心总体偏西和偏北, 降水出现时间总体偏早1~3 h, 结束时间总体偏晚2~4 h, 降水持续时间偏长; 预报的降水目标数量偏多, 与实况一致均存在着主峰和次峰形态的昼夜分布特征, 但预报的昼间主峰出现时间比实况偏早2 h; 预报的短时强降水出现频次总体偏多。相对于传统的预报和观测点对点检验评估方法, MODE和MTD方法具有捕捉模式预报偏差特征的优势。      

台风“巴威”不同类型降水多模式预报与空间检验对比评估

以传统的检验方法和基于对象诊断评估方法(MODE), 对首次以台风级别影响辽宁的“巴威”台风(2008)的台风暴雨过程不同性质降水的多模式(ECMWF、CMA_MESO 10KM、CMA_MESO 3km和睿图东北模式)预报结果进行了检验评估。结果表明: 受“巴威”远距离和本体影响, 辽宁省先后出现对流型降水和稳定型降水, 传统检验和MODE检验结果均表明, 多模式的对流型降水预报效果要优于稳定型降水, 这很可能是多模式对于台风北上减弱产生稳定型降水的影响系统的预报强度偏差大导致, 在今后预报中务必注意台风强度预报偏差对本体稳定型为主的降水的影响。传统检验结果中, CMA_MESO 3km和ECMWF模式的评分较高, 并且对于对流型降水雨带的形状、范围和质心距离、交集面积预报效果最好, ECMWF模式对稳定型降水也有着较高的目标相似度评分。尽管睿图东北模式由于对10.0 mm以上量级降水较高的空报和漏报率, 而导致TS评分偏低; 但在MODE检验结果中, 东北模式预报的强降水雨带的中心位置、降水强度和范围均接近实况, 目标相似度更高, 尤其在对流型降水阶段目标相似度达到了1.00, 模式对于对流型降水预报有着较好的可参考性。     

目标检验方法在高分辨率数值天气预报检验中的应用

基于高分辨率数值模式的特点,为了弥补传统站点对站点等检验方法的不足,采用基于目标诊断的空间检验方法 MODE,对上海快速更新同化系统预报的2014年3月19日强对流降水和冰雹雷达回波进行了客观检验。该方法通过在空间场中识别目标,综合考虑了空间位置、形状、面积等多种因素,采用模糊逻辑算法计算预报和观测目标的相似度。结果表明,MODE在高分辨率数值模式检验中比传统方法具有明显的优势,尤其针对雷达回波的检验有较高的实际应用价值。同时讨论了MODE方法卷积平滑半径参数的选取对高分辨模式检验结果的影响。     

安徽省2021年梅雨期降水预报检验分析

检验梅雨期降水的预报效果,对于提升梅雨期降水预报能力、减少梅雨期降水带来的人员伤亡和经济财产损失有着重要的意义。文章对安徽省2021年梅雨期（6月10日—7月10日）六个客观模式和一个主观订正预报产品进行了检验分析,其中包含了三个区域模式数值预报（中国气象局中尺度天气数值预报系统（简称CMA-MESO）、中国气象局上海数值预报模式系统（简称CMA-SH9）、安徽WRF）、三个全球模式数值预报（中国气象局全球同化预报系统（简称CMA-GFS）、欧洲中期天气预报中心确定性预报模式（简称ECMWF）、美国国家环境预报中心全球预报系统（简称NCEP-GFS））和安徽智能网格主观订正预报的降水产品,进行了检验分析,结果表明：传统检验中安徽智能网格和区域模式对晴雨准确率的预报效果优于全球模式,又以CMA-MESO最优;在暴雨及以上量级的强降水预报中,传统检验表明安徽智能网格预报的得分最高（23.83）,ECMWF模式则是客观模式预报中效果最好的（20.12）,CMA-SH9次之（19.34）;通过对除安徽智能网格以外的各个客观数值模式进行的MODE空间检验可知,不同数值模式间暴雨预报误差原因不尽相同,ECMWF与各区域数值模式主要是由雨区位置的预报偏差,尤其是纬度偏差导致的,NCEP-GFS全球模式对降水强度和雨区面积的预报偏弱偏小比较明显,CMA-GFS在强降水方面的预报可参考性较差;各个主客观预报暴雨及以上量级预报,整体表现出较明显的日变化特征,在午夜前后、上午时段TS评分较高,而午后到傍晚评分较低,这个现象或许是梅雨期的午后降水多以地表太阳加热引起的短历时热对流降水为主造成的。     

安徽省2021年梅雨期降水预报检验分析

检验梅雨期降水的预报效果,对于提升梅雨期降水预报能力、减少梅雨期降水带来的人员伤亡和经济财产损失有着重要的意义。文章对安徽省2021年梅雨期（6月10日—7月10日）六个客观模式和一个主观订正预报产品进行了检验分析,其中包含了三个区域模式数值预报（中国气象局中尺度天气数值预报系统（简称CMA-MESO）、中国气象局上海数值预报模式系统（简称CMA-SH9）、安徽WRF）、三个全球模式数值预报（中国气象局全球同化预报系统（简称CMA-GFS）、欧洲中期天气预报中心确定性预报模式（简称ECMWF）、美国国家环境预报中心全球预报系统（简称NCEP-GFS））和安徽智能网格主观订正预报的降水产品,进行了检验分析,结果表明：传统检验中安徽智能网格和区域模式对晴雨准确率的预报效果优于全球模式,又以CMA-MESO最优;在暴雨及以上量级的强降水预报中,传统检验表明安徽智能网格预报的得分最高（23.83）,ECMWF模式则是客观模式预报中效果最好的（20.12）,CMA-SH9次之（19.34）;通过对除安徽智能网格以外的各个客观数值模式进行的MODE空间检验可知,不同数值模式间暴雨预报误差原因不尽相同,ECMWF与各区域数值模式主要是由雨区位置的预报偏差,尤其是纬度偏差导致的,NCEP-GFS全球模式对降水强度和雨区面积的预报偏弱偏小比较明显,CMA-GFS在强降水方面的预报可参考性较差;各个主客观预报暴雨及以上量级预报,整体表现出较明显的日变化特征,在午夜前后、上午时段TS评分较高,而午后到傍晚评分较低,这个现象或许是梅雨期的午后降水多以地表太阳加热引起的短历时热对流降水为主造成的。     

MODE方法在降水预报检验中的应用分析

采用WRF模式MET检验包中MODE方法,对BJ-RUC降水预报产品进行客观检验。使用2008—2009年汛期北京自动站逐小时降水数据,挑选出2个及以上站3小时累计降水≥50 mm的局地强降水个例及主要降水时段,根据其环流形势及影响系统进行分型,并将其归纳出三种型：西来槽型、低涡型、切变线型。分别针对这三种型中强降水个例的主要降水时段进行检验。在检验中使用BJ-RUC模式降水预报产品,实况数据使用与强降水时段相对应的雷达QPE降水估计产品。检验结果表明,BJ-RUC模式降水漏报比空报造成的误差更为明显,对移动较明显的西来槽型降水预报能力较差,相似度评分与TS评分没有本质区别,但它能给模式应用和模式开发人员提供更多有用信息。此项工作能为该模式应用及模式改进提供参考依据。     

基于对象诊断的超强台风“利奇马”(1909)模式强降水预报检验

采用基于对象诊断的检验评估方法(the Method for Object-based Diagnostic Evaluation,MODE)对超强台风“利奇马”过程中ECMWF全球模式与GRAPES-MESO区域模式预报的强降水目标对象进行了分析,发现MODE技术相比于传统点对点的检验方法可以提供更加丰富的模式性能分析信息,将模式的预报能力(是否匹配)与预报偏差(位置偏差、面积偏差等属性)区分分析。研究结果表明:ECMWF全球模式预报的强降水对象与观测匹配度较高,雨带的位置也相对准确;GRAPES-MESO区域模式预报的强降水对象数量和面积存在一定程度的高估,空报情况较多,雨带位置误差较大,与观测对象的匹配度相对较低。此外,ECMWF全球模式预报的强降水对象存在偏北的系统偏差,GRAPES-MESO区域模式预报的强降水对象随预报时效的增加有偏南的趋势,两个模式在较长预报时效下都有偏东的系统偏差。     

2013年汛期华中区域业务数值模式降水预报检验

为充分了解华中区域中尺度业务数值预报模式更新为WRF后的预报性能,对该模式2013年汛期24 h和48 h的累积降水预报产品,采用TS评分、预报正确率、漏报率、空报率、偏差及ETS评分等统计量对其进行了较详细的评估。结果表明：从日平均降水率分布来看,24 h预报的降水中心位置和强度与实况更接近,48 h的预报明显偏大、偏强;汛期总体降水检验表明,该模式的降水预报以偏大为主,随着降水量级的增大,TS和ETS评分逐渐减小,且ETS评分逐渐靠近TS;逐月降水检验结果发现,该区域汛期月晴雨预报正确率与雨日率呈正相关;通过梅雨期WRF与GRAPES_Meso的预报对比检验可见,两个模式都表现出了较好的预报性能。值得指出的是,随着降水量级的增大,WRF模式降水预报优势逐渐显现。总的来说,该模式的降水预报产品具有一定的参考价值。     

基于邻域最优概率的GRAPES快速更新循环同化预报系统逐时降水订正方法

针对高分辨率数值天气预报的时空不确定性, 利用邻域最优概率方法对华南区域GRAPES快速更新循环同化预报系统的24 h预报进行逐时降水订正和检验评估。结果表明: (1)邻域法能改善模式降水预报的空间不确定性, 最优邻域半径随降水等级增加而减小, 强降水的最优邻域半径约为60 km; (2)通过引入时间滞后因子, 可进一步改善模式不同时间起报的不确定性, 结合Brier评分确定了时间滞后窗为4 h; (3)提出基于邻域最优概率阈值的降雨进行分级订正方法, 有效提升了降水客观预报能力, 晴雨预报较模式全部为正技巧, TS评分达到0.89以上, 总体提升幅度约5.3%;强降水预报同样均为正技巧, TS评分呈先降后升趋势, 在12 h时效前后预报效果最优, 进一步提升了GRAPES快速更新循环同化预报系统的业务预报水平。      

华南快速循环同化模式在湖南不同环流型下的小时降水预报性能检验

利用T-mode斜交旋转主成分分析法,对湖南2021年汛期(4—9月)逐小时850 hPa风场进行环流分型,在此基础上开展同期华南快速循环同化模式(CMA-GD-R3)小时降水预报性能检验。结果表明：影响湖南2021年汛期的主要环流型为西南涡切变型、切变型、副热带高压边缘南风型和台风外围东风型4类;模式小时降水预报的晴雨准确率和分级降水TS评分日变化特征明显,晴雨准确率夜间高于白天,分级降水TS评分峰值出现在早晨,各环流型的临近时效降水预报效果较好,短时强降水发生频次最高的西南涡切变型晴雨准确率较低,副热带高压边缘南风型在较大量级降水表现相对较差;SAL(structure amplitude and location)检验显示,西南涡切变型、切变型过程模式位置预报较接近实况,强度预报表现为前弱后强,副热带高压边缘南风型过程预报落区分散,位置预报不稳定,整体强度较实况明显偏弱,台风外围东风型过程在短时预报时效落区接近实况,强度预报显著偏弱,该方法能较客观地反映模式降水预报空间偏差。     

冬季高海拔复杂地形下GRAPES Meso要素预报的检验评估

利用GRAPES(Globe/Regional Assimilation and Prediction System)对2010年温哥华奥运会6个场馆气温、相对湿度、风及降水量的预报结果,采用预报准确率、平均误差、平均绝对误差、Alpha Index、TS和ETS评分等统计量对其进行了较详细的评估。结果表明:GRAPESMeso预报相对湿度的准确率最高,且随预报时效的增加,其变化趋于稳定。起初模式对相对湿度的预报偏干,之后逐渐变为预报偏湿;气温预报偏低;风速预报偏大。逐日各要素预报检验结果表明,气温的变化幅度最小;各级降水检验发现,晴雨预报的TS评分最高,且随降水增大,ETS评分逐渐接近TS。与其他模式预报结果对比发现,GRAPES-Meso对复杂地形下要素预报还存在一定的不足。本研究还发现,模式存在一定的系统误差,若能有效订正其误差,将有助于改进模式预报。     

基于局地增长模培育法的对流可分辨尺度WRF模式对河南“21·7”特大暴雨的预报评估

基于WRF(Weather Research and Forecasting)模式,选取河南“21·7”特大暴雨事件,采用局地增长模培育法(Local Breeding Growth Mode,LBGM)生成对流尺度集合预报系统,在此基础上对24 h累积降水量进行SAL(Structure,Amplitude and Location)检验,结合预报成功指数(Threat Score,TS)、公平成功指数(Equitable Threat Score,ETS)评分等评分结果进行对比分析,综合评估集合预报成员的预报效果,表明:1)基于局地增长模培育法生成初始扰动的集合预报系统成员对于强降水预报有一定优势,在降水强度和位置的预报上与实况较接近;2)经检验,成员e003的TS和ETS评分在20日00时—21日00时(北京时,下同)和21日08时—22日08时两个强降水时段内表现最佳,并在SAL检验中对应较好的降雨强度A和雨区位置L,而成员e008暴雨TS、ETS评分最低,对应SAL检验中具有一定的位置偏差,即TS、ETS评分和SAL检验之间存在相关性,将二者有机结合,可以为业务工作中定量评估模式降水预报效果提供参考;3)通过对比整体评分表现较好的成员e003和较差的成员e008,两者预报的位势高度场与ERA5(ECMWF reanalysis v5,ERA5)再分析资料之间的差值,可以验证降水预报误差主要源于对低涡系统的预报偏差,同时预报评分较好的成员其位势高度偏差较小,综合评估效果更佳。     

全球模式对华北区域性强降水中期预报能力检验

选取2010—2016年夏季华北70个典型强降水个例,根据环流形势场,将其分为低涡型、西来槽型和切变线型。然后,利用降水空间检验法(MODE方法),通过对比质心距离、轴角以及纵横比等要素,讨论了几种常规业务模式对华北地区夏季强降水的中期预报能力。结果表明:ECMWF模式和T639模式对低涡型强降水预报能力较差;当实况强降水落区范围较大时,ECMWF模式和T639模式中期预报的雨带为狭长型并呈东北—西南向,预报与实况较为一致,但两种模式预报的降水落区均较实况偏西、偏南;这两种模式对较小面积降水,其预报的降水范围较实况偏大,而对较大面积降水,预报较实况明显偏小。     

三种高分辨率格点降水预报检验方法的对比

客观有效的评估高分辨率模式格点降水的预报能力,不仅是模式发展中的基础问题,而且直接关系到目前中国气象局主推的格点天气预报业务。以ECMWF(European Centre for Medium-Range Weather Forecasts)模式高分辨率降水格点预报资料、CMORPH(NOAA Climate Prediction Center Morphing Method)卫星与全国3×104个自动观测站的逐时降水量融合资料为基础,选择2015年6~8月55个降水个例,研究传统检验方法、面向对象MODE(Method for Object-based Diagnostic Evaluation)方法、以及邻域法在高分辨率格点降水预报检验中的适用性及优缺点,以期为高分辨率格点降水的预报性能评估提供参考。主要结论如下:(1)尽管点对点的传统方法在高分辨率格点降水检验中存在一定的局限,但传统方法能够在空间上表现高分辨率格点降水预报技巧的地域性差异,在时间上刻画预报的整体性能,对高分辨率格点预报性能评估仍然具有重要的适用价值;(2)邻域法的显著优点在于一方面能够通过变换邻域窗获得不同空间尺度上的传统预报技巧,另一方面独有的FSS(Fractions Skill Score)技巧评分能够表现预报相对于观测降水在格点数量上的比值,结合FSS和不同邻域窗上的传统技巧评分,可以判别在多大空间尺度上能够获得较好的预报技巧;(3)MODE方法在变换卷积半径的基础上提取降水对象,基于降水对象不仅能统计模式的传统技巧评分和预报性能的尺度变化,还可以表现降水对象的质心距离、轴角、面积、强度、综合收益、位移距离等多种属性,这些属性首先为用户提供了模式预报性能的多视角表现,其次从侧面定量描述了模式对天气系统发展快慢、槽脊强弱等预报误差,具有独特的优势,但如何应用对象属性来提高实际的预报能力还存在一些困难。     

基于模式集成的内蒙古夏季降水客观预报方法研究

文章基于消除偏差的模式集成客观预报技术,建立实时运行的降水预报模型,对内蒙古夏季降水进行预报。采用的集成模式资料为内蒙古数值预报业务系统和欧洲中期天气预报中心高分辨率数值预报产品。通过应用频次分布方法对大尺度模式进行预报偏差消除,应用TS权重方法对模式进行集成,建立了分季节、分量级、逐站点的精细化预报模型。对模型预报效果的客观检验结果表明:集成产品在原模式的基础上各量级预报准确率均有提升,主要改善在小雨及大雨和暴雨量级。针对内蒙古夏季发生的大部分大暴雨事件,集成产品在降水范围、强降水落区和极值预报方面都明显优于单模式预报。     

SMS-WARMS V2.0模式对中国西南地区降水预报能力的客观检验

本文采用标准降水检验方法、EDI方法和MODE方法对新一代上海区域中尺度模式SMS-WARMS V2.0模式2015年12月至2016年11月的西南地区降水预报效果进行评估。结果表明:(1)模式对西南地区四季的降水TS评分均较高,夏季和秋季相对更高,且在48 h内预报性能比较稳定。(2)预报偏差和TSS评分显示,模式对西南地区春、夏两季的各个量级降水预报均较实况偏多,而对秋季的大暴雨和冬季的大雨以上量级预报则相对偏少。总体而言,对西南地区的降水技巧呈现出预报成功率高于空报率的特征。(3)模式对西南地区的小雨、暴雨和大暴雨预报评分优于EC模式。(4)EDI检验显示模式对西南地区的极端降水有较高的预报技巧,对四川中部和东北部以及贵州西南部的极端降水预报技巧相对更高。(5)模式对2015年8月一次西南涡诱发的暴雨过程的空间落区预报较好,强度较实况偏强。(6)MODE方法统计结果表明,模式对西南地区暴雨预报的目标质心偏差较小,降水中心强度偏强。