INTEGRATED FRACTIONS SKILL SCORE FOR THE ASSESSMENT OF PRECIPITATION

Traditional skill scores (e.g., the threat score) used in the high-resolution verification of precipitation are affected by a “double penalty” caused by slight spatial or temporal displacements, which can lead to misleading evaluations. The fractions skill score (FSS) is a popular spatial verificaiton measure that can be used to solve these problems. It can determine useful and skillful scores by neighborhood analysis, which can be used to monitor the performance of operational forecasts. However, the FSS provides different scores at each spatial scale and it is difficult to obtain a definite score for the assessment of precipitation to analyze the temporal variabilities of daily forecasts. We previously reported a modified FSS assessment method and showed that a particular analysis scale had a significant advantage in the verification of operational forecasts of precipitation. To compensate for the lack of artificial definition in the analysis scale, we report here a new integrated score that satisfies a Gaussian weight function to average the FSS over all scales. We describe the advantages of the new score in the verification of forecasts of daily and hourly precipitation, taking forecast products from the GRAPES regional model and quantitative precipitation estimation products from the National Meteorological Information Center during June and July 2017 and investigating the differences between these results and those obtained with the traditional category score. We found that a value of 0.5 can be used as a standard for the skillful FSS in the forecast of heavy rainfall. The integrated score can maintain all the advantages seen in previous studies in the verification of daily and hourly precipitation and show excellent application prospects. The long-term verification including different seasons also find that the score can effectively improve the identification characteristics of the assessment.     

邻域空间检验技术在集合降水预报检验中的应用

常规降水检验受空间及时间微小差异所带来的"双重惩罚"影响严重,邻域空间检验FSS(Fraction Skill Score)方法在确定性预报中已体现出弥补这一不足的明显优势。随着集合预报分辨率的不断提高,集合降水预报同样存在与确定性预报相似的问题。本研究将FSS方法拓展至集合预报领域,构建适用于集合预报的降水空间检验指标EFSS(Ensemble Fraction Skill Score),利用欧洲中期天气预报中心(European Centre for Medium-Range Weather Forecasts, ECMWF)集合预报模式2018年夏季降水预报产品及国家气象信息中心提供的格点化降水融合产品进行分析,发现EFSS评分不受集合成员数影响,可获取一致性的评估结论。通过与适用于集合预报的常规技巧评分EETS(Ensemble Equitable Threat Score)对比分析发现,常规技巧评分受限于评分过低而无法有效反映强降水过程间差异性特征,EFSS方法则可有效提升强降水预报检验辨识度。     

A CRPS-Based Spatial Technique for the Verification of Ensemble Precipitation Forecasts

Traditional precipitation skill scores are affected by the well-known“double penalty”problem caused by the slight spatial or temporal mismatches between forecasts and observations. The fuzzy (neighborhood) method has been proposed for deterministic simulations and shown some ability to solve this problem. The increasing resolution of ensemble forecasts of precipitation means that they now have similar problems as deterministic forecasts. We developed an ensemble precipitation verification skill score, i.e., the Spatial Continuous Ranked Probability Score (SCRPS), and used it to extend spatial verification from deterministic into ensemble forecasts. The SCRPS is a spatial technique based on the Continuous Ranked Probability Score (CRPS) and the fuzzy method. A fast binomial random variation generator was used to obtain random indexes based on the climatological mean observed frequency, which were then used in the reference score to calculate the skill score of the SCRPS. The verification results obtained using daily forecast products from the ECMWF ensemble forecasts and quantitative precipitation estimation products from the OPERA datasets during June-August 2018 shows that the spatial score is not affected by the number of ensemble forecast members and that a consistent assessment can be obtained. The score can reflect the performance of ensemble forecasts in modeling precipitation and thus can be widely used.     

三种高分辨率格点降水预报检验方法的对比

客观有效的评估高分辨率模式格点降水的预报能力,不仅是模式发展中的基础问题,而且直接关系到目前中国气象局主推的格点天气预报业务。以ECMWF(European Centre for Medium-Range Weather Forecasts)模式高分辨率降水格点预报资料、CMORPH(NOAA Climate Prediction Center Morphing Method)卫星与全国3×104个自动观测站的逐时降水量融合资料为基础,选择2015年6~8月55个降水个例,研究传统检验方法、面向对象MODE(Method for Object-based Diagnostic Evaluation)方法、以及邻域法在高分辨率格点降水预报检验中的适用性及优缺点,以期为高分辨率格点降水的预报性能评估提供参考。主要结论如下:(1)尽管点对点的传统方法在高分辨率格点降水检验中存在一定的局限,但传统方法能够在空间上表现高分辨率格点降水预报技巧的地域性差异,在时间上刻画预报的整体性能,对高分辨率格点预报性能评估仍然具有重要的适用价值;(2)邻域法的显著优点在于一方面能够通过变换邻域窗获得不同空间尺度上的传统预报技巧,另一方面独有的FSS(Fractions Skill Score)技巧评分能够表现预报相对于观测降水在格点数量上的比值,结合FSS和不同邻域窗上的传统技巧评分,可以判别在多大空间尺度上能够获得较好的预报技巧;(3)MODE方法在变换卷积半径的基础上提取降水对象,基于降水对象不仅能统计模式的传统技巧评分和预报性能的尺度变化,还可以表现降水对象的质心距离、轴角、面积、强度、综合收益、位移距离等多种属性,这些属性首先为用户提供了模式预报性能的多视角表现,其次从侧面定量描述了模式对天气系统发展快慢、槽脊强弱等预报误差,具有独特的优势,但如何应用对象属性来提高实际的预报能力还存在一些困难。     

华南区域高分辨率数值模式前汛期预报初步评估

基于华南地区自动站逐小时观测资料, 采用传统站点评分、邻域法等评估华南区域高分辨率数值模式(包括GRAPES_GZ_R 1 km模式和GRAPES_GZ 3 km模式)对降水、地面温度和风场等要素的预报能力。结果表明: GRAPES_GZ_R 1 km模式的降水预报技巧优于GRAPES_GZ 3 km模式, 模式预报以正偏差为主。对于不同起报时间的预报, 00时(世界时, 下同)起报的预报效果优于12时。GRAPES_GZ_R 1 km模式的TS评分是GRAPES_GZ 3 km模式的两倍以上, 对不同降水阈值的评分均较高。分数技巧评分(FSS)显示GRAPES_GZ_R 1 km模式6 h累计降水预报在0.1 mm、1 mm及5 mm以上的降水均可达到最低预报技巧尺度, 对所检验降水对象的空间位置把握能力更好。2 m气温和10 m风速检验结果表明两个模式均能较好把握广东省温度的分布特征, GRAPES_GZ_R 1 km模式对2 m气温预报结果优于GRAPES_GZ 3 km模式, 预报绝对误差更小; 两个模式对风速的预报整体偏强, 预报偏差在1~4 m/s之间, 但相比之下GRAPES_GZ 3 km模式在风场预报上表现更好。GRAPES_GZ_R 1 km模式的2 m气温和10 m风速预报偏差随降水过程存在明显波动, 强降水过后温度预报整体偏低, 风速预报偏强, 在模式产品订正、使用等需要考虑模式对主要天气系统的预报情况。总的来说, GRAPES_GZ_R 1 km模式的预报产品具有较好的参考价值。      

短期集合降水概率预报试验

以MM5模式作为试验模式, 通过选取不同的物理过程参数化方案产生8个集合成员, 分别用平均法、相关法和Rank法对2001年11月至2002年5月期间的22个降水个例进行短期集合降水概率预报试验。试验结果显示对小雨—大暴雨6类降水的概率预报, Rank法的综合预报效果明显好于相关法和平均法, 相关法的综合预报效果与平均法基本相同; 无论从均方误差角度还是从命中率和假警报率的相对大小角度, 对小雨、中雨、大雨和暴雨各量级以上降水的概率预报, Rank法的平均预报效果是三种方法中最好的, 相关法的平均预报效果与平均法相同; Rank法好于平均法的平均幅度从均方误差角度较大, 从命中率和假警报率的相对大小角度则较小。平均而言, 三种方法对各量级以上降水的概率预报都是有技巧预报, 对量级小的降水的概率预报技巧高于对量级大的降水的概率预报技巧。     

基于时空不确定性的对流尺度集合预报效果评估检验

针对对流尺度天气系统的高度非线性特征和高分辨率模式预报结果存在时、空不确定性现象,以及当前邻域概率法主要考虑高分辨率预报结果的空间位移误差,而不能有效解决预报结果存在时间超前与滞后问题,将时间因素引入到邻域概率法中,结合一次强飑线过程进行对流尺度集合预报试验,并基于改进后的新型邻域概率法与分数技巧评分,对降水预报进行了不同时、空尺度的效果评估检验。结果表明:（1）邻域集合概率法和概率匹配平均法在极端降水的分数技巧评分远高于传统集合平均,弥补了集合平均对极端降水预报能力偏低的缺陷。（2）对于此类飑线过程的对流尺度天气系统而言,邻域半径为15—45 km的空间尺度能够改善降水位移误差的空间不确定性,并使其预报效果达到最优,其中15—30 km的邻域半径对于尺度更小的大量级降水事件预报能力更强。（3）对流尺度降水预报考虑时间尺度与降水强度存在着对应关系,不同时间尺度可以捕获到不同量级降水的时间不确定性。同时,时间尺度与空间尺度对于降水预报效果的影响是相互关联的。（4）改进的邻域概率法能够同时体现高分辨率模式预报结果在对流尺度降水事件上存在的时、空不确定性,实现了对流尺度降水在时、空尺度上的综合评估,并能为不同量级降水提供与其时、空尺度相匹配的概率预报结果。      

Percentile-based neighborhood precipitation verification and its application to a landfalling tropical storm case with radar data assimilation

The traditional threat score based on fixed thresholds for precipitation verification is sensitive to intensity forecast bias.In this study, the neighborhood precipitation threat score is modified by defining the thresholds in terms of the percentiles of overall precipitation instead of fixed threshold values. The impact of intensity forecast bias on the calculated threat score is reduced. The method is tested with the forecasts of a tropical storm that re-intensified after making landfall and caused heavy flooding. The forecasts are produced with and without radar data assimilation. The forecast with assimilation of both radial velocity and reflectivity produce precipitation patterns that better match observations but have large positive intensity bias.When using fixed thresholds, the neighborhood threat scores fail to yield high scores for forecasts that have good pattern match with observations, due to large intensity bias. In contrast, the percentile-based neighborhood method yields the highest score for the forecast with the best pattern match and the smallest position error. The percentile-based method also yields scores that are more consistent with object-based verifications, which are less sensitive to intensity bias, demonstrating the potential value of percentile-based verification.     

一种基于可预报性的暴雨预报评分新方法Ⅱ:暴雨检验评分模型及评估试验

针对当前暴雨预报检验采用二分类事件检验方法存在较严重的“空报”“漏报”双重惩罚,没有考虑暴雨时空分布不均和预报评分可比性不够等问题,在分析预报员对暴雨预报评分期望值基础上,设计了一种基于可预报性的暴雨预报检验评分新方法和计算模型,分析了理想评分,并对2015-2016年4-10月中国中央气象台5 km×5 km定量降水格点预报和降水落区等级暴雨预报进行评分试验,获得了以下结果和结论:（1）预报员对暴雨预报评分期望值呈现梯级下降特征,与传统的TS评分存在显著差异;（2）设计了一种基于可预报性的暴雨预报检验新方法,通过引入e指数函数构建暴雨预报评分基函数,进而构建暴雨评分模型,该模型可以较好地拟合预报员对暴雨预报评分的期望值,同时改善了评分在不同量级阈值处的断崖式突变情况;（3）提出了预报与观测的邻域匹配方法,即一个预报点与所定义邻域中的一组观测相匹配,并利用距离加权最大值法确定暴雨评分值权重系数,预报与观测距离越近,距离权重系数越大,评分值权重越大,提高了评分的合理性,避免了距离较远的匹配站点得高分不利于鼓励预报员提高预报精度的问题;（4）对中国中央气象台逐日5 km×5 km水平分辨率的定量降水格点预报产品和中央气象台定量降水落区等级预报产品进行了评分试验,暴雨预报准确率全国平均值大于60分。基于可预报性的暴雨预报检验新评分与传统暴雨预报TS评分逐日演变特征相似,但可以较好地解析TS为0的预报评分,解析后的新评分与预报员和公众的心理预期更为接近。      

一种集成风向风速的风场空间检验方法

基于概率分布特征定义全新风速阈值选取方案,不受地域及季节性影响,并综合风向信息建立兼顾风向风速的风场分类列表,采用邻域空间检验技术构建可集成风向风速的矢量风场检验方法。基于2018年4月1—30日GRAPES_Meso模式不同分辨率（10 km及3 km）逐小时预报产品,利用所开发的矢量风场检验方法分析表明:模式风向预报的随机性随着风速的增大而减小,即弱风的风向难以成功预报。通过矢量风场综合分析发现高分辨率预报效果在170 km空间尺度上24 h预报最大评分优势可达0.24,各邻域空间尺度上评分分布趋势保持一致。通过敏感性分析发现,所获取的综合指标可用于反映风场预报性能。同时,不同矢量风场分类方法将对评估结果产生影响,高分类方法评分稳定性更好,低分类方法受限于单一分类权重过大而影响评估一致性。因此,在计算能力允许的条件下,选择较高分类方式将有助于获得更为稳定的检验效果。     

中国夏季降水多模式集成概率预报研究

基于TIGGE资料中的中国气象局（CMA）、欧洲中期天气预报中心（ECMWF）、日本气象厅（JMA）、美国国家环境预报中心（NCEP）以及英国气象局（UKMO）五个中心2007-2011年5月25日-8月31日中国地区逐日12-36 h、36-60 h、60-84 h、84-108 h、108-132 h与132-156 h累积降水集合预报资料,分别利用PoorMan （POOL）和多模式消除偏差（MBRE）两种方法对2011年各中心降水概率预报进行集成,并采用RPS和BS评分方法对预报效果进行评估。结果表明,对于12-156 h逐24 h累积降水量概率预报,多模式集成预报效果优于单模式预报效果,且多模式消除偏差概率预报效果最好;针对小雨、中雨以及大雨以上降水,PoorMan和MBRE概率预报较单中心预报效果均有提高,MBRE概率预报效果优于PoorMan方法。     

2006年汛期北京地区中尺度数值业务降水预报检验

采用北京地区自动站逐小时观测降水资料对2006年汛期北京地区中尺度数值业务降水预报效果进行了客观检验,并针对2006年汛期的降水特点对模式的降水预报性能进行了初步的评估,着重对发生的28次降水过程按其主导的天气系统进行了分类,并对各个类型的降水预报进行了评分检验,根据检验结果分析了数值业务模式对于夏季不同天气系统导致的降水过程的预报能力,并且对不同分辨率的模式网格的预报性能进行了初步对比。     

新型局地增长模培育法对两次飑线个例的对流尺度集合预报试验

利用局地增长模培育法对两次典型飑线过程进行了对流尺度集合预报试验,通过与传统增长模培育法对比,检验了局地增长模培育法的实际预报效果。通过概率匹配平均处理后,将降水预报结果与实况资料进行对比分析,并用分数技巧评分来代替传统公平技巧评分实现对降水结果的合理检验,得出结论:1)在飑线降水预报上,局地增长模培育法优于增长模培育法。2)分数技巧评分比公平技巧评分更好地反映对流尺度集合预报能力,特别是在大暴雨量级降水评估上。3)降水评分结果显示,集合平均对于小雨、中雨和大雨级别降水的预报技巧高于概率匹配平均,概率匹配平均对于暴雨和大暴雨级别降水更有优势。     

西北太平洋台风在S2S时间尺度预报效果评估

使用世界气象组织季节内至季节尺度（Subseasonal to Seasonal, S2S）预测项目数据库评估了多个集合预报系统在S2S时间尺度对台风的预报能力。评估的时间段为1999—2010年期间每年5月1日—10月31日。为评估S2S时间尺度台风的预报技巧,使用了台风密集度来描述台风的生成及移动状况。台风密集度定义为一段时间内500 km范围内台风出现的概率。台风密集度由6个S2S集合预报系统后报结果计算得出,它们分别由BoM、CMA、ECMWF、JMA、CNRM和NCEP开发使用。这6个预报系统台风密集度的预报技巧评分表明,当预报时效为11~30天时,ECMWF预报系统的评分为正值,比基于气候状态的参考预报能略好地预报台风。      

辽宁省春季透雨集合预报误差分析

利用2016—2018年4月1日至6月30日三个全球数值预报业务中心（CMA、ECMWF和NCEP）的24 h降水集合预报资料和辽宁省降水观测资料,采用TS评分、预报偏差B、Talagrand分布以及BS评分等方法对辽宁省春季透雨（4—6月）CMA、ECMWF和NCEP三套全球集合预报结果进行对比分析。结果表明：三个集合预报中心的集合预报系统的离散度均具有偏小的特征,Talagrand都呈U型分布,即各集合预报系统对量级较小的降水预报值偏大,空报率高;对量级较大的降水预报能力不足,极值偏小,容易产生降水预报偏差。将各中心的确定性检验结果和概率性检验结果进行对比后发现,ECMWF相比CMA和NCEP的TS评分值更高,预报偏差B值更接近于1,也就是说另外两个预报中心对辽宁省春季透雨预报漏报更为明显。从BS评分值和其分解评分值结果来看,ECMWF优于另外两个预报中心。ECMWF对辽宁省春季透雨预报的结果与实况最为接近,检验结果最好,可在日后的预报服务工作中作为主要参考。     

基于FSS的高分辨率模式华北对流预报能力评估

目前高分辨率数值预报模式已具有一定的对流系统结构和演变特征预报能力,但对其预报能力的客观评估仍存在较多不足。选取2017年7—9月华北地区在不同天气系统背景下、具有不同组织模态的7次对流天气个例,使用模糊检验方法中的分数技巧评分（fraction skill score,简称FSS）指标评估不同高分辨率模式（包括快速更新同化GRAPES_Meso,GRAPES_3 km及华东区域中尺度模式）对中小尺度对流过程的预报能力。结果表明:分数技巧评分能够实现当模式预报存在位移和强度偏差时仍然给出有价值的评分结果,其优势还在于可以给出表征模式空间位移偏差尺度的预报技巧尺度信息;所用3个模式的雷达回波强度预报均偏弱,当回波强度小于44 dBZ时,华东区域中尺度模式预报最接近实况,而对于44 dBZ以上的较强回波,GRAPES_3 km模式预报偏差最小;采用百分位阈值（通过升序排列求出预报和实况数列的相同百分位数作为其相应的阈值）进行检验发现,对于预报难度更大的高阈值、小尺度的对流事件,GRAPES_3 km模式预报能力更强。     

公里级CMA_MESO模式FSS评分技术研究

本文研究计算CMA_MESO模式预报降水FSS（Fractions Skill Score）评分时，当其水平分辨率与观测降水不一致时，采取两种匹配方式统一分辨率，分析这两种方式得到的FSS评分结果是否有差异。针对3 km分辨率CMA_MESO模式6 h累积降水，选取5 km分辨率的观测降水，分别采取预报降水匹配观测降水分辨率，以及观测降水匹配预报降水分辨率两种方式，选择4种邻域尺度：5、25、51和105 km；4种降水阈值：0.1、4、13和25 mm，得到两组不同预报时效的FSS评分。通过分析发现：两组FSS评分结果没有显著差异。研究结果表明，当CMA_MESO模式预报降水水平分辨率与观测降水不一致时，可以将预报降水匹配到观测降水格点场，也可以将观测降水匹配到预报降水格点场，两种匹配方式对FSS评分结果没有影响。     

基于频率匹配法的中国降水多模式预报订正研究

基于TIGGE资料中欧洲中期天气预报中心、日本气象厅、美国国家环境预报中心及英国气象局1～7 d日降水量预报以及中国自动站观测资料与CMORPH降水产品融合的逐时降水量网格数据集,利用频率匹配法(Frequency-Matching Method,FMM)对中国降水预报进行客观订正。首先利用卡尔曼滤波方法对降水频率进行调整,并根据不同区域降水强度差异将全国分为7个子区域分别进行频率匹配。结果表明,FMM可以有效减小降水量预报的误差。经过频率匹配法订正后各模式降水预报的平均绝对误差(Mean Absolute Error,MAE)大幅减小,且订正后各量级降水的雨区面积更加接近实际观测值。FMM对小于5 mm和大于15 mm的降水预报技巧改进明显。此外,FMM降低了模式预报的小雨空报率和大雨漏报率,并且明显提高了晴雨预报的准确率。FMM明显消除了大范围小雨空报区域,但是对强降水预报FMM仅能调整降水量大小,强降水落区预报并不能得到明显改善。     

基于邻域最优概率的GRAPES快速更新循环同化预报系统逐时降水订正方法

针对高分辨率数值天气预报的时空不确定性, 利用邻域最优概率方法对华南区域GRAPES快速更新循环同化预报系统的24 h预报进行逐时降水订正和检验评估。结果表明: (1)邻域法能改善模式降水预报的空间不确定性, 最优邻域半径随降水等级增加而减小, 强降水的最优邻域半径约为60 km; (2)通过引入时间滞后因子, 可进一步改善模式不同时间起报的不确定性, 结合Brier评分确定了时间滞后窗为4 h; (3)提出基于邻域最优概率阈值的降雨进行分级订正方法, 有效提升了降水客观预报能力, 晴雨预报较模式全部为正技巧, TS评分达到0.89以上, 总体提升幅度约5.3%;强降水预报同样均为正技巧, TS评分呈先降后升趋势, 在12 h时效前后预报效果最优, 进一步提升了GRAPES快速更新循环同化预报系统的业务预报水平。      

2013年汛期华中区域业务数值模式降水预报检验

为充分了解华中区域中尺度业务数值预报模式更新为WRF后的预报性能,对该模式2013年汛期24 h和48 h的累积降水预报产品,采用TS评分、预报正确率、漏报率、空报率、偏差及ETS评分等统计量对其进行了较详细的评估。结果表明：从日平均降水率分布来看,24 h预报的降水中心位置和强度与实况更接近,48 h的预报明显偏大、偏强;汛期总体降水检验表明,该模式的降水预报以偏大为主,随着降水量级的增大,TS和ETS评分逐渐减小,且ETS评分逐渐靠近TS;逐月降水检验结果发现,该区域汛期月晴雨预报正确率与雨日率呈正相关;通过梅雨期WRF与GRAPES_Meso的预报对比检验可见,两个模式都表现出了较好的预报性能。值得指出的是,随着降水量级的增大,WRF模式降水预报优势逐渐显现。总的来说,该模式的降水预报产品具有一定的参考价值。