潘留杰 張宏芳 劉靜 劉嘉慧敏 梁綿 祁春娟 戴昌明 李培榮

摘要 以三源融合網(wǎng)格實況降水分析資料CMPAS為參照，基于二分法經(jīng)典檢驗、預報評分綜合圖和面向?qū)ο驧ODE檢驗等方法，對比分析2021年智能網(wǎng)格預報SCMOC以及ECMWF全球、CMA-Meso中尺度模式在秦嶺及周邊地區(qū)的降水預報表現(xiàn)，主要結(jié)論如下：1）ECMWF能夠很好地刻畫日平均降水量、日降水量標準差以及地形影響下降水量、降水頻次的空間分布特征，但對于0.1 mm以上量級的降水預報頻次遠高于觀測，暴雨預報頻次低于觀測，SCMOC、CMA-Meso日降水量大于等于0.1 mm的降水頻次和暴雨頻次預報更好;SCMOC不足在于降水的空間精細分布特征描述能力相對較弱。2）ECMWF預報的大于等于0.1 mm降水頻次日峰值出現(xiàn)時間整體較觀測偏早3 h左右，CMA-Meso、SCMOC與觀測總體吻合較好。3）三種產(chǎn)品24 h降水量大于等于0.1 mm的TS（Threat Score）評分數(shù)值上基本一致，但降水預報表現(xiàn)的特征顯著不同，SCMOC成功率高、命中率低，漏報多、空報少，ECMWF、CMA-Meso則相反;24 h、3 h大雨以上量級降水SCMOC的TS評分、成功率、命中率一致優(yōu)于其他兩種產(chǎn)品。 4）MODE暴雨檢驗，SCMOC大面積降水對象與觀測相似度最高，預報能力優(yōu)于ECMWF，但分散性小面積暴雨對象漏報風險大。SCMOC、ECMWF緯向距離偏差大于經(jīng)向，位置偏西比例高于偏東。

關(guān)鍵詞 SCMOC; 預報評分; 降水檢驗評分綜合圖; MODE方法檢驗

智能網(wǎng)格天氣預報既是社會經(jīng)濟發(fā)展的必然要求，也是天氣預報科學技術(shù)發(fā)展的必然趨勢（韋青等，2019;劉新偉等，2020）。中國智能網(wǎng)格預報從2014年開始，2016年國家氣象中心開始下發(fā)5 km業(yè)務(wù)指導產(chǎn)品SCMOC，2019年完成了集短時滾動、短期、延伸期一體的無縫隙網(wǎng)格天氣預報產(chǎn)品體系（金榮花等，2019）。五年來，隨著后處理技術(shù)（代刊等，2016;胡爭光等，2020）和客觀訂正方法（曹勇等，2016;吳啟樹等，2017;趙瑞霞等，2020）的快速發(fā)展，智能網(wǎng)格產(chǎn)品質(zhì)量穩(wěn)步提升，在氣象災害防御和工農(nóng)業(yè)生產(chǎn)生活中的作用越發(fā)凸顯。

檢驗是數(shù)值模式研發(fā)、產(chǎn)品優(yōu)選、智能網(wǎng)格預報客觀方法以及產(chǎn)品性能評估中最重要的基礎(chǔ)性工作（潘留杰等，2014，2016;黃麗萍等，2017;祁麗等，2017;郭達峰等，2018;李子良等，2021）。對數(shù)值模式研發(fā)來說，檢驗可以用來甄別參數(shù)化方案、物理過程以及模式更新等一系列改進后的預報效果（唐文苑等，2018;張延彪等，2022）;對客觀訂正方法而言，方法的穩(wěn)定性、研發(fā)中間環(huán)節(jié)的調(diào)整、產(chǎn)品的容錯能力和相對基礎(chǔ)產(chǎn)品的預報技巧判斷都依賴于檢驗方案的設(shè)計。已有的研究工作，Huntemann et al.（2015）以站點實況和格點實況分析為參照，對美國NWS（National Weather System）的降水BS（Brier Score）評分，溫度、露點溫度和風速等的平均誤差（ME）和平均絕對誤差（MAE）進行分析，Engel and Ebert（2012）對澳大利亞溫度網(wǎng)格預報進行了檢驗，并與歐洲中心中期數(shù)值預報ECMWF、英國UK等模式進行對比評估。韋青等（2020）基于站點觀測和實況分析資料，利用ETS（Equitable Threat Score）評分、預報偏差Bias和均方根誤差RMSE等預報評分，對2016—2018年國家級網(wǎng)格指導預報、省市訂正反饋結(jié)果進行檢驗。胡爭光等（2020）研發(fā)了智能網(wǎng)格預報應(yīng)用分析平臺，實現(xiàn)了網(wǎng)格預報產(chǎn)品的實時檢驗功能。趙瑞霞等（2020）采用經(jīng)典檢驗方法分析了ECMWF模式輸出降水和兩種訂正方法的預報性能。這些工作對網(wǎng)格預報研發(fā)應(yīng)用極具借鑒意義，但在預報性能分析方面整體上采用的是點對點的預報評分，在網(wǎng)格分辨率較高的情況下，很小的時空相位誤差可能帶來較大的雙重懲罰，從而影響評價結(jié)果的客觀性。

事實上，伴隨著數(shù)值模式分辨率的不斷提高，高分辨率網(wǎng)格要素預報性能的客觀評價備受關(guān)注，進而發(fā)展了一系列針對高分辨率預報產(chǎn)品的空間檢驗方法（Rossa，2006;Johson and Wang，2013;Griffinet al.，2017），其中最具有代表性的是面向?qū)ο驧ODE（Method for Object-based Diagnostic Evaluation）空間檢驗，它一方面通過閾值設(shè)置和空間卷積函數(shù)在要素場中識別目標對象，構(gòu)造模糊邏輯函數(shù)來評估預報和觀測對象的相似程度;另一方面通過目標對象質(zhì)心距離的經(jīng)向、緯向分解評估對象的位置誤差，能夠在一定程度上近似刻畫預報員的主觀判別。因此，在高分辨率網(wǎng)格降水預報性能檢驗方面具有獨特的優(yōu)勢（Davis et al.，2006，2009;薛春芳和潘留杰，2016）。

1 資料和方法

1.1 資料

降水實況采用國家氣象信息中心的三源降水網(wǎng)格實況分析資料（CMA Multi-source Merged Precipitation Analysis System，CMPAS），潘旸等（2015）研究表明該資料能夠很好地表現(xiàn)觀測降水的實際分布。資料時段為2021年1月1日至2021年12月31日，時間分辨率為逐小時，空間分辨率為 0.05°×0.05°。模式數(shù)據(jù)為同時期每日12時（世界時）下發(fā)的歐洲中期天氣預報中心ECMWF高分辨率降水預報、中國氣象局自主研發(fā)的CMA-Meso和國家氣象中心精細化網(wǎng)格降水預報指導產(chǎn)品SCMOC。需要說明的是，ECMWF降水預報的空間分辨率為0.125°×0.125°，最高時間分辨率為3 h。 CMA-Meso降水預報空間分辨率為0.03°×0.03°，時間分辨率為逐小時，SCMOC水平分辨率與CMPAS相同?？紤]到模式預報資料的可用性，ECMWF和CMA-Meso資料統(tǒng)一截斷12 h，即模式的12～36 h降水預報，SCMOC則為每日00時（世界時）起報的未來 0～24 h降水預報客觀產(chǎn)品，處理后預報和觀測資料的時效統(tǒng)一對應(yīng)為24 h累計降水。此外，采用距離權(quán)重插值方法將ECMWF、CMA-Meso數(shù)據(jù)的空間分辨率插值成與CMPAS一致。評估插值前后的數(shù)據(jù)，發(fā)現(xiàn)插值不改變原網(wǎng)格點上的數(shù)值，同時原網(wǎng)格對其之間的數(shù)據(jù)具有約束性，不因插值產(chǎn)生虛假的中心值。研究范圍選定為秦嶺及周邊區(qū)域（103°～113°E，31°～40°N）。

1.2 方法

由于ECMWF模式降水量最高時間分辨率為逐3 h，因此以3 h降水為基礎(chǔ)研究SCMOC和模式降水日變化特征。日降水精細化對比方面參考Zhou et al.（2008）統(tǒng)計出日平均降水量、頻率和標準差。計算公式為：1）日平均降水量=總降水量／研究時段總?cè)諗?shù);2）降水頻率=（總降水天數(shù)／研究時段總天數(shù)）×100％;3）降水日變化以3 h降水間隔為基礎(chǔ)，參考Yu et al.（2007），對比分析降水頻率日峰值（Peak Precipitation Frequency，簡稱PPF）和出現(xiàn)時間。

2 研究結(jié)果

2.1 總體特征

在詳細給出CMPAS和三種降水產(chǎn)品預報評分之前，首先給出日平均降水量、標準差和24 h降水量大于0.1 mm、大于50.0 mm的頻次空間分布?？梢钥吹降匦斡绊懴码S緯向的變化是研究區(qū)域日平均降水量的最重要特征（圖1a），以34°N為界，秦嶺南北日平均降水量呈現(xiàn)出明顯的量級差異。秦嶺北部，有一條清楚的沿甘肅蘭州、寧夏固原、內(nèi)蒙古鄂爾多斯的西南-東北向降水分界線，降水低值中心位于寧夏西北部的內(nèi)蒙古地區(qū)，高值中心在陜西關(guān)中以北的陜西、山西交界處。關(guān)中平原則是地形影響下秦嶺北部的第二降水低值中心，其以北地區(qū)沿陜西延安、山西呂梁受地形抬升作用，日平均降水量顯著增大。而秦嶺南部降水量顯著偏大，整個區(qū)域日均降水量在2.5 mm以上，在秦嶺、大巴山地形抬升作用下，沿山脈的兩條降水量高值帶非常清楚，秦嶺山脈附近降水量高值中心最大日平均降水量達5.5 mm，而在四川、陜西、重慶交界處，日平均降水量超過7.5 mm，為整個研究區(qū)域的降水量最大值。此外，山西、河南境內(nèi)呈現(xiàn)出多個分散的日均降水量高值點，與多年氣候態(tài)（潘留杰等，2018;張宏芳等，2020）相比明顯偏大。

三種降水預報產(chǎn)品均能很好地表現(xiàn)降水隨緯度增加而減小的變化特征。ECMWF（圖1b）日平均降水量級空間分布刻畫最好，關(guān)中北部黃土高原、秦嶺、大巴山地形作用下降水大值區(qū)和觀測都非常一致，略微不足在于日平均降水量大值區(qū)的范圍相對觀測略偏大。CMA-Meso（圖1c）與觀測降水的主要差異在于，日平均降水相對觀測顯著偏大，陜西、四川、重慶交界處出現(xiàn)日平均降水量超過8.5 mm的大值區(qū);另一方面出現(xiàn)了一些與觀測、ECMWF降水量級變化相反的區(qū)域，具體表現(xiàn)為實況場上關(guān)中平原、四川盆地西部與甘肅交界處的降水量相對于其周邊地區(qū)為低值區(qū)，ECMWF預報和觀測一致，但CMA-Meso預報呈現(xiàn)為日平均降水量高值中心，可能原因是模式在地形物理機制刻畫上存在較大偏差。SCMOC（圖1d）日平均降水相對于觀測偏小，四川、陜西交界處最大降水量僅在5.5～6.5 mm范圍內(nèi)，并且降水隨地形的變化特征不明顯，對秦嶺山脈、關(guān)中北部黃土高原地形抬升區(qū)的降水大值區(qū)沒有表現(xiàn)，也沒有刻畫出分散的觀測降水大值中心。另從日降水量標準差來看，三種產(chǎn)品日降水量標準差相對觀測均明顯偏大。其中ECMWF（圖1a）降水標準差的形態(tài)、強度、空間位置與觀測仍然匹配最好，除四川盆地及其周邊地區(qū)則較觀測偏大外， 34°N以北和觀測基本一致。而CMA-Meso、SCMOC降水日變化標準差等值線形態(tài)與觀測呈現(xiàn)較大差異，特別是CMA-Meso 10 mm等值線范圍遠大于觀測。

CMPAS大于 0.1 mm和大于50 mm的降水頻率（圖1e）整體與日平均降水量空間分布一致，受地形影響隨緯度增加而遞減的特征明顯。值得注意的是在陜西西南部的四川、甘肅交界處 0.1 mm以上量級降水頻率異常偏高，最大超過0.7，但該處的暴雨頻率偏低，日平均降水量和日降水量標準差也不大（圖1a），表明盡管這一區(qū)域的降水日數(shù)多，但降水強度不大。與之相反，35°N左右的河南境內(nèi)以及河南、山西交界處，0.1 mm降水頻次在0.3～0.4，而日平均降水量超過4.5 mm，同時日降水量標準差超過10.0 mm，暴雨頻次超過1.4×10 -2，明顯高于其周邊地區(qū)，表明該處的降水強度異常偏大，這可能與2021年河南“7.21”極端暴雨天氣過程有關(guān)。

ECMWF、CMA-Meso大于0.1 mm的降水預報頻率相對觀測明顯偏高，特別是ECMWF （圖1f）偏高非常顯著，且為系統(tǒng)性的在整個范圍內(nèi)一致性偏高，CMA-Meso（圖1g）則在研究區(qū)域中南部偏高明顯，35°N以北基本與觀測一致。從降水頻率分布的高低值中心來看，ECMWF和觀測對應(yīng)得非常好，CMA-Meso高低值中心分布存在與觀測特征相反的情況。SCMOC對整個區(qū)域內(nèi)降水頻率預報在數(shù)值上與觀測最為吻合，但對降水頻率的細節(jié)特征刻畫能力弱，這點與降水量級預報表現(xiàn)一致。而暴雨預報頻率是ECMWF系統(tǒng)性偏小，CMA-Meso較觀測略偏大，從數(shù)值角度，SCMOC仍然表現(xiàn)最好。

分析降水頻率的日峰值和出現(xiàn)時間。為了將CMPAS與三種預報產(chǎn)品的時間分辨率保持一致，采用逐3 h降水預報?？梢钥闯?，除去數(shù)值上的差異，三種預報產(chǎn)品降水頻率日峰值特征與大于等于0.1 mm降水量頻率的空間分布整體表現(xiàn)一致。CMPAS顯示（圖2a）不同區(qū)域降水頻率的峰值時間存在明顯差異，四川盆地是06時（北京時）前后降水頻率高，秦嶺南部山區(qū)則主要在14—17 時（北京時），而關(guān)中平原、陜北黃土高原主要出現(xiàn)在傍晚至入夜18—21時（北京時）。ECMWF（圖2b）對關(guān)中平原、秦嶺山脈、四川盆地中部的降水頻率峰值時間預報與觀測一致，但在陜北中部、甘肅、青海地區(qū)預報較CMPAS偏早3 h左右。CMA-Meso（圖2c）預報的降水頻率峰值與CMPAS吻合最好，不足在于對四川盆地以北的大巴山及周邊地區(qū)凌晨06時（北京時）前后的夜雨范圍預報偏大，這與多年氣候平均特征（張宏芳等，2020）較一致，但就2021年度來看，相比CMPAS存在差異。SCMOC（圖2d）與CMA-Meso類似，在四川盆地及周邊地區(qū)夜雨的范圍較CMPAS偏大，此外，陜南東部降水頻率峰值時間預報較觀測偏早6 h。

2.2 經(jīng)典檢驗

基于2×2列聯(lián)表獲得的降水評分指數(shù)包括POD、SCR、TS評分和Bias，可以在一張降水評分綜合圖中顯示，全面表現(xiàn)降水產(chǎn)品的預報能力。需要說明的是，命中率POD是正確預報次數(shù)與觀測降水發(fā)生次數(shù)的比值，POD越大，漏報越少，成功率是正確預報次數(shù)與預報降水出現(xiàn)次數(shù)的比值，成功率越高，空報越少。圖3給出了三種降水產(chǎn)品不同降水量級的預報評分綜合圖?？梢钥吹饺N產(chǎn)品不同量級降水的預報評分有明顯的趨勢差異。從24 h降水預報（圖3a）來看，ECMWF大于等于0.1 mm降水的Bias最大為1.56，隨著降水量級的增大，Bias逐漸減小，在25 mm時Bias接近于1，隨后降水頻次相對觀測偏少，Bias小于1。不同降水量級下CMA-Meso的預報偏差則呈拋物線變化，大于等于0.1 mm的Bias為1.13，10 mm左右預報偏差達到峰值1.63，然后逐漸減小，大于等于100 mm時下降為1。與CMA-Meso類似，SCMOC預報偏差也呈拋物線趨勢，但25 mm以下量級SCMOC的預報偏差偏少，50、100 mm則明顯高于觀測。Bias在不同量級的差異也表現(xiàn)在POD、SCR、TS評分上，三種產(chǎn)品對大于等于0.1 mm降水的預報TS評分數(shù)值上基本一致，但其反映的降水預報特性全然不同，ECMWF命中率高，漏報少，SCMOC成功率高，空報少，而對大雨以上量級降水SCMOC表現(xiàn)最好，命中率和成功率高，漏報率和空報率低，TS評分顯著高于ECMWF和CMA-Meso。從預報效果來看，ECMWF和SCMOC各有優(yōu)勢，這在很大程度上取決于用戶的需求和評價標準，譬如在一些重大的保障活動中，需要確保不被降水天氣影響，需要重點關(guān)注ECMWF，在日常預報中，更關(guān)注預報準確率評分，則可以多采用SCMOC的預報結(jié)論。

3 h預報評分綜合圖與24 h表現(xiàn)總體一致（圖3b），Bias的變化趨勢為ECMWF、CMA-Meso隨降水量級的增大快速減小，而SCMOC是先增后減。3 h降水量大于等于0.1 mm的降水預報TS評分ECMWF表現(xiàn)略優(yōu)，這可能與SCMOC預報注重晴雨預報準確率有關(guān)，而對10 mm以上量級的降水來說SCMOC一致高于ECMWF和CMA-Meso。但值得注意的是，10 mm量級降水ECMWF的Bias轉(zhuǎn)為偏少，SCMOC偏多，與 24 h預報相比，3 h 降水預報的正負偏差轉(zhuǎn)換閾值更小。

預報評分的逐月表現(xiàn)如圖4所示?？梢钥吹?，三種產(chǎn)品的晴雨ACC逐月（圖4a）變化趨勢一致，冬季高、夏季低，12月ACC達到最高值超過0.85。大于等于0.1 mm降水TS評分則是夏季高、冬季低，9月三種降水TS評分均超過0.65。對比三種產(chǎn)品，綜合所有月份晴雨預報ACC，SCMOC表現(xiàn)最好，CMA-Meso次之，ECMWF最低。大于等于0.1 mm降水TS評分ECMWF在6—8月高于其他兩種產(chǎn)品，其余月份偏低。暴雨Bias，9月三種產(chǎn)品暴雨預報頻次均高于觀測，其余月份一致低于觀測，結(jié)合不同月份變化，CMA-Meso總體更接近于理想值1，但其暴雨TS評分只在4、5月優(yōu)于ECMWF，其余月份低于SCMOC和ECMWF。分析發(fā)現(xiàn)盡管CMA-Meso暴雨預報Bias預報表現(xiàn)較好，但6—9月空間位置出現(xiàn)較大偏差，導致TS評分下降。

圖5給出了預報評分的空間分布，三種產(chǎn)品晴雨預報ACC均是北部高于南部，而TS評分則相反，是南部高于北部。發(fā)現(xiàn)下墊面對ACC影響明顯，關(guān)中平原、秦嶺南部低海拔地區(qū)的ACC相對其周邊地區(qū)明顯偏高;而研究區(qū)域西南部、秦巴山區(qū)高海拔地區(qū)ACC顯著下降，同時這些區(qū)域的降水TS評分也不高。SCMOC晴雨ACC和大于等于0.1 mm降水的TS評分明顯優(yōu)于CMA-Meso和ECMWF，具體表現(xiàn)為在寧夏、內(nèi)蒙古、陜北北部的ACC超過0.9，在研究區(qū)域西南部平均超過0.8，高于CMA-Meso、ECMWF 15％以上;大于等于0.1 mm降水TS評分高于CMA-Meso、ECMWF 10％以上。另三種產(chǎn)品的暴雨Bias空間分布整體一致，但Bias高值區(qū)位置存在差異，SCMOC的 Bias高值區(qū)與CMPAS日降水量大值區(qū)、暴雨發(fā)生頻次高值區(qū)有更好的一致性，導致SCMOC在研究區(qū)域東南部暴雨TS評分顯著優(yōu)于CMA-Meso和ECMWF。

2.3 空間檢驗

MODE空間檢驗利用給定的降水閾值，通過卷積函數(shù)識別降水對象，進而判別預報和觀測對象的相似度、位置誤差等，在很大程度上克服了因降水位置誤差導致點對點檢驗產(chǎn)生的雙重懲罰，檢驗結(jié)果能更好地體現(xiàn)模式的實際預報性能。因此，文章在點對點檢驗的基礎(chǔ)上，利用MODE方法評估三種降水產(chǎn)品的預報表現(xiàn)，考慮到實際的業(yè)務(wù)應(yīng)用，MODE檢驗僅用來分析暴雨以上量級的降水。

在給出MODE檢驗統(tǒng)計結(jié)果之前，先用一個個例對MODE空間檢驗方法詳細說明。2021年9月23—24日研究區(qū)域出現(xiàn)大范圍降水天氣，關(guān)中南部、秦巴山區(qū)出現(xiàn)暴雨（圖6a）。ECMWF（圖6b）在關(guān)中北部陜西、山西交界處和秦嶺以南預報出大范圍暴雨，主觀判斷來看，秦嶺以南地區(qū)暴雨范圍相對觀測明顯偏大、位置偏西。CMA-Meso（圖6c）降水區(qū)域范圍與ECMWF基本一致，但暴雨的范圍和強度相對ECMWF偏小，關(guān)中北部陜西、山西交界處的暴雨位置偏南，秦嶺山脈南部的暴雨位置偏東。SCMOC（圖6d）大于等于0.1 mm降水的范圍和CMPAS更為一致，明顯減少了甘肅北部和陜西交界處的降水空報，但在陜北東部也出現(xiàn)了部分漏報。并且SCMOC很好地消除了ECMWF和CMA-Meso關(guān)中以北的降水空報，不足的是秦嶺以南暴雨的范圍和強度相對觀測都明顯偏大。綜合整個過程暴雨TS評分，SCMOC、ECMWF和CMA-Meso分別為0.169、0.128和0.067，SCMOC暴雨TS評分最高。

利用MODE識別降水對象，CMPAS降水場識別出暴雨對象4個（圖6e），研究區(qū)域東部湖北境內(nèi)出現(xiàn)局地暴雨，但三種降水產(chǎn)品均漏報。ECMWF識別匹配對象為2個（圖6f），對關(guān)中以北暴雨降水對象空報。CMA-Meso同樣也對秦嶺以北山西境內(nèi)降水對象空報（圖6g），但對關(guān)中以南地區(qū)降水識別對象為4個，其中降水對象“1”和“2”組合與CMPAS降水對象“1”和“2”匹配，因此從暴雨對象數(shù)量上來看，CMA-Meso與觀測最為一致。SCMOC則識別降水對象1個（圖6h），對研究區(qū)域東南部暴雨對象漏報。

表1給出了預報和觀測匹配對象的屬性對比。為了方便比較，對象命名“F”表示預報，“O”表示觀測，F(xiàn)和O的下標表示具體的對象編號。降水強度90％分位數(shù)定義為：將預報或觀測數(shù)據(jù)從小到大排序，第90％分位所對應(yīng)數(shù)值。三種產(chǎn)品降水強度分位數(shù)相對觀測都明顯偏低。ECMWF兩個匹配對象F1預報面積較觀測明顯偏大，F(xiàn)2偏小，且整體面積偏差大，導致對象相似度偏低。事實上ECMWF兩個預報對象的總面積和SCMOC基本一致，但位置上相對SCMOC更為偏西，導致ECMWF在研究區(qū)域東部漏報面積偏大，這也與對象匹配閾值有關(guān)，如果將ECMWF預報對象F1、F2整體向東平移將會有非常好的預報效果。CMA-Meso預報和觀測對象質(zhì)心距離較ECMWF略大，預報面積顯著偏小，但預報出了更多分散、局地的暴雨對象。SCMOC僅有一個匹配對象，面積偏大，但相似度整體表現(xiàn)較好，這可能與SCMOC產(chǎn)品的算法有關(guān)，減少局地降水避免雙重懲罰，增加系統(tǒng)性暴雨面積避免漏報，以此來提高點對點的TS暴雨預報評分。

整個研究時段MODE方法檢驗統(tǒng)計結(jié)果如圖7所示，從不同面積對象數(shù)量來看（圖7a），CMA-Meso、ECMWF暴雨對象數(shù)量、面積的變化與觀測基本一致，但CMA-Meso較觀測明顯偏多、ECMWF偏少。SCMOC則對3 000 km2以下的暴雨對象預報嚴重偏少，6 000 km2以上的大面積對象預報偏多，與ECMWF、CMA-Meso、CMPAS呈相反趨勢。強度對比發(fā)現(xiàn)（圖7b），SCMOC、ECMWF暴雨強度低于觀測，而CMA-Meso高于觀測。CMPAS暴雨對象強度90％分位數(shù)集中在50～110 mm，且暴雨面積較小的對象也可能有較大的降水強度。而ECMWF和SCMOC對象面積越大，強度則越大，這種趨勢在SCMOC中表現(xiàn)更為明顯，表明SCMOC對局地分散性暴雨預報能力不足，即使有預報，強度也可能偏弱。CMA-Meso 對5 km2以下的降水對象預報嚴重偏多，部分對象強度偏大，與CMPAS存在較大偏差。有研究表明（張宏芳等，2021），預報和觀測對象相似度超過0.6即表示有較好的預報能力。從預報和觀測的重疊面積來看（圖7c），重疊面積越大，相似度越高，CMA-Meso 100 km2以下93％的降水對象與觀測的相似度低于0.6，預報能力弱，三種產(chǎn)品中SCMOC與觀測的重疊面積最大，相似度最高，ECMWF 400 km2以上的降水對象相似度與SCMOC類似，但100 km2以下降水對象有46％相似度低于0.6。從對象質(zhì)心距離經(jīng)、緯向偏差來看（圖7d），CMA-Meso經(jīng)、緯向偏差分布規(guī)律較差，而SCMOC、ECMWF具有明顯的規(guī)律性。其中SCMOC 90％的降水對象南北向誤差小于1°，75％的對象誤差小于0.5°，東西誤差最大超過1.5°，且東西向誤差中63％的對象位置誤差以偏西為主。ECMWF也有類似表現(xiàn)，東西向誤差大于南北向誤差，位置偏西比例高于偏東，可能的原因在于SCMOC是在不同預報產(chǎn)品的基礎(chǔ)上加入客觀方法獲得的，而ECMWF在客觀方法中權(quán)重占比較高。

3 結(jié)論和討論

以國家氣象信息中心三源融合網(wǎng)格實況分析降水資料CMPAS為參照，基于日平均降水量、降水頻率、降水頻率日峰值以及經(jīng)典檢驗、降水評分綜合圖、空間MODE檢驗等方法，對比分析2021年國家氣象中心網(wǎng)格指導預報SCMOC和ECMWF、CMA-Meso三種降水產(chǎn)品的預報表現(xiàn)，主要結(jié)論如下：

1）日平均降水量隨緯度的變化特征三種降水產(chǎn)品都有很好的表現(xiàn)，但降水量標準差相對CMPAS一致偏大。ECMWF降水量級、降水頻率空間分布刻畫能力優(yōu)于其他兩種降水預報，不足之處在于0.1 mm以上降水預報頻率異常偏高，暴雨預報頻率偏低。CMA-Meso日平均降水量相對觀測偏大，存在高低值中心與CMPAS相反的現(xiàn)象。SCMOC對整個區(qū)域內(nèi)大于等于0.1 mm降水頻率、暴雨頻率預報在數(shù)值上與觀測最為吻合，但日平均降水相對于觀測偏小，且對降水量、降水頻率的空間分布細節(jié)特征刻畫能力弱。

2）四川盆地06時（北京時）前后降水頻率高，秦嶺山區(qū)南部、北部降水頻率峰值分別在午后和傍晚至入夜。ECMWF對陜北中部、甘肅、青海地區(qū)降水頻率峰值時間預報較CMPAS偏早3 h左右。而CMA-Meso的降水頻率峰值預報和CMPAS吻合最好。SCMOC對四川盆地及周邊地區(qū)夜雨的預報范圍較CMPAS偏大，且對秦嶺以南東部地區(qū)降水頻率峰值時間預報較觀測偏早6 h。

3）三種產(chǎn)品對不同量級降水預報的Bias變化趨勢顯著不同，ECMWF預報Bias隨著降水量級增大逐漸下降。CMA-Meso、SCMOC預報偏差呈拋物線變化。三種產(chǎn)品大于等于0.1 mm降水TS評分在數(shù)值上基本一致，但降水預報側(cè)重點有差異，ECMWF漏報少，CMA-Meso、SCMOC空報少。大雨以上量級降水SCMOC命中率和成功率高，漏報率和空報率低，且TS評分一致高于ECMWF和CMA-Meso。

4）CMA-Meso預報的暴雨對象數(shù)量較觀測明顯偏多，而ECMWF偏少。SCMOC則對3 000 km2以下的暴雨預報對象嚴重偏少，6 000 km2以上的大面積對象偏多，與ECMWF、CMA-Meso、CMPAS降水場暴雨對象呈相反趨勢。SCMOC暴雨對象和觀測相似度較高，但存在分散性小面積降水對象漏報的風險。CMA-Meso暴雨預報位置誤差規(guī)律性不明顯。ECMWF、SCMOC東西向誤差大于南北向，位置誤差偏西占比高于偏東。

文章對比分析2021年1月1日至2021年12月31日網(wǎng)格預報SCMOC和多家數(shù)值模式的降水預報表現(xiàn)，得到了秦嶺及周邊地區(qū)模式預報和網(wǎng)格預報的預報性能差異和優(yōu)缺點，為網(wǎng)格預報研究和業(yè)務(wù)應(yīng)用提供參考。從分析來看，SCMOC暴雨預報TS評分、晴雨預報ACC明顯優(yōu)于其他預報產(chǎn)品。SCMOC的暴雨預報主要優(yōu)勢在于對系統(tǒng)性降水過程預報能力好，對分散性、局地性暴雨來說，SCMOC通過減小其預報頻率來避免雙重懲罰，從而提高暴雨預報TS評分，但這也導致了對局地性暴雨天氣可能出現(xiàn)漏報。實際使用時，特別是暴雨預警需要結(jié)合多種產(chǎn)品綜合分析。值得注意的是，一方面網(wǎng)格預報技術(shù)快速發(fā)展，特別是近年來在常規(guī)MOS（Model Output Statistic）方法、偏差訂正、頻率匹配、多模式集成等方法的基礎(chǔ)上加入機器學習、人工智能技術(shù)，SCMOC預報能力快速提升;另一方面模式預報的分辨率和準確率逐年提高。因此不同的年份SCMOC和模式降水預報的對比分析結(jié)論可能會有不同。此外，就不同季節(jié)來說，大氣環(huán)流形勢、降水的日變化特征和性質(zhì)也有明顯的差異，導致不同季節(jié)降水預報的偏差特征和全年的統(tǒng)計規(guī)律不一致。通過精細的月季尺度預報對比分析，獲得更有針對性的預報偏差規(guī)律，是提高預報準確率需要深入開展的工作。

參考文獻（References）

曹勇，劉湊華，宗志平，等，2016.國家級格點化定量降水預報系統(tǒng)［J］.氣象，42（12）：1476-1482. Cao Y，Liu C H，Zong Z P，et al.，2016.State level gridded quantitative precipitation forecasting system［J］.Meteor Mon，42（12）：1476-1482.doi：10.7519／j.issn.1000-0526.2016.12.005.（in Chinese）.

代刊，曹勇，錢奇峰，等，2016.中短期數(shù)字化天氣預報技術(shù)現(xiàn)狀及趨勢［J］.氣象，42（12）：1445-1455. Dai K，Cao Y，Qian Q F，et al.，2016.Situation and tendency of operational technologies in short-and medium-range weather forecast［J］.Meteor Mon，42（12）：1445-1455.doi：10.7519／j.issn.1000-0526.2016.12.002.（in Chinese）.

Davis C A，Brown B G，Bullock R G，2006.Object-based verification of precipitation forecasts，Part I：methodology and application to mesoscale rain areas［J］.Mon Wea Rev，134：1772-1784.

Davis C A，Brown B G，Bullock R，et al.，2009.The method for object-based diagnostic evaluation （MODE） applied to numerical forecasts from the 2005 NSSL／SPC spring program［J］.Wea Forecasting，24（5）：1252-1267.doi：10.1175／2009waf2222241.1.

Engel C，Ebert E E，2012.Gridded operational consensus forecasts of 2-m temperature over Australia［J］.Wea Forecasting，27（2）：301-322.doi：10.1175／waf-d-11-00069.1.

Griffin S M，Otkin J A，Rozoff C M，et al.，2017.Methods for comparing simulated and observed satellite infrared brightness temperatures and what do they tell us？［J］.Wea Forecasting，32（1）：5-25.doi：10.1175／waf-d-16-0098.1.

郭達烽，段明鏗，夏旻惠，等，2018.模式降水與溫度預報的不一致性特征［J］.應(yīng)用氣象學報，29（3）：321-332. Guo D F，Duan M K，Xia M H，et al.，2018.The inconsistency of forecasting in operational numerical prediction products［J］.J Appl Meteor Sci，29（3）：321-332.doi：10.11898／1001-7313.20180306.（in Chinese）.

胡爭光，薛峰，金榮花，等，2020.智能網(wǎng)格預報應(yīng)用分析平臺設(shè)計與實現(xiàn)［J］.氣象，46（10）：1340-1350. Hu Z G，Xue F，Jin R H，et al.，2020.Design and implementation of gridded forecast application analysis platform［J］.Meteor Mon，46（10）：1340-1350.doi：10.7519／j.issn.1000-0526.2020.10.008.（in Chinese）.

黃麗萍，陳德輝，鄧蓮堂，等，2017.GRAPESMeso V4.0主要技術(shù)改進和預報效果檢驗［J］.應(yīng)用氣象學報，28（1）：25-37. Huang L P，Chen D H，Deng L T，et al.，2017.Main technical improvements of GRAPESMeso V4.0 and verification［J］.J Appl Meteor Sci，28（1）：25-37.（in Chinese）.

Huntemann T L，Rudack D E，Ruth D P，2015.Forty years of NWS forecast：past foremance and future advance［C］／／Harry R，Glahn Symposium.Phoenix：NOAA／Nation Weather Service.

金榮花，代刊，趙瑞霞，等，2019.我國無縫隙精細化網(wǎng)格天氣預報技術(shù)進展與挑戰(zhàn)［J］.氣象，45（4）：445-457. Jin R H，Dai K，Zhao R X，et al.，2019.Progress and challenge of seamless fine gridded weather forecasting technology in China［J］.Meteor Mon，45（4）：445-457.doi：10.7519／j.issn.1000-0526.2019.04.001.（in Chinese）.

Johnson A，Wang X G，2012.Object-based evaluation of a storm-scale ensemble during the 2009 NOAA hazardous weather testbed spring experiment［J］.Mon Weather Rev，141（3）：1079-1098.doi：10.1175／mwr-d-12-00140.1.

李子良，趙濱，李國平，2021.鄰域空間檢驗技術(shù)在集合降水預報檢驗中的應(yīng)用［J］.大氣科學學報，44（2）：189-198. Li Z L，Zhao B，Li G P，2021.An extended spatial verification technique for ensemble precipitation forecasts［J］.Trans Atmos Sci，44（2）：189-198.doi：10.13878／j.cnki.dqkxxb.20200729001.（in Chinese）.

劉新偉，劉娜，段明鏗，等，2020.基于小波分析的西北區(qū)智能網(wǎng)格氣溫客觀預報方法的檢驗評估［J］.大氣科學學報，43（4）：673-686. Liu X W，Liu N，Duan M K，et al.，2020.Test and evaluation of Northwest Intelligent Grid Temperature Objective Prediction Method based on wavelet analysis［J］.Trans Atmos Sci，43（4）：673-686.doi：10.13878／j.cnki.dqkxxb.20200426002.（in Chinese）.

潘留杰，張宏芳，王建鵬，2014.數(shù)值天氣預報檢驗方法研究進展［J］.地球科學進展，29（3）：327-335. Pan L J，Zhang H F，Wang J P，2014.Progress on verification methods of numerical weather prediction［J］.Adv Earth Sci，29（3）：327-335.doi：10.11867／j.issn.1001-8166.2014.03.0327.（in Chinese）.

潘留杰，薛春芳，張宏芳，等，2016.兩個集合預報系統(tǒng)對秦嶺及周邊降水預報性能對比［J］.應(yīng)用氣象學報，27（6）：676-687. Pan L J，Xue C F，Zhang H F，et al.，2016.Comparative analysis on precipitation forecasting capabilities of two ensemble prediction systems around Qinling area［J］.J Appl Meteor Sci，27（6）：676-687.doi：10.11898／1001-7313.20160604.（in Chinese）.

潘留杰，張宏芳，陳小婷，等，2018.秦嶺及周邊地區(qū)夏季降水的主模態(tài)分析［J］.大氣科學學報，41（3）：377-387. Pan L J，Zhang H F，Chen X T，et al.，2018.Dominant modes of summer precipitation in Qinling and surrounding areas［J］.Trans Atmos Sci，41（3）：377-387.doi：10.13878／j.cnki.dqkxxb.20161019001.（in Chinese）.

潘旸，沈艷，宇婧婧，等，2015.基于貝葉斯融合方法的高分辨率地面-衛(wèi)星-雷達三源降水融合試驗［J］.氣象學報，73（1）：177-186. Pan Y，Shen Y，Yu J J，et al.，2015.An experiment of high-resolution gauge-radar-satellite combined precipitation retrieval based on the Bayesian merging method［J］.Acta Meteorol Sin，73（1）：177-186.doi：10.11676／qxxb2015.010.（in Chinese）.

祁莉，馬瓊，張文君，2017.GRAPES模式對2011／2012年冬季寒潮天氣過程預報能力的檢驗［J］.大氣科學學報，40（6）：791-802. Qi L，Ma Q，Zhang W J，2017.Verification of forecasting capability of cold wave process in the winter of 2011／2012 with GRAPES［J］.Trans Atmos Sci，40（6）：791-802.doi：10.13878／j.cnki.dqkxxb.20150104001.（in Chinese）.

Rossa A M，Nurmi P，Ebert E，2006.Overview of methods for the verification of quantitative precipitation Forecasts［J］.Advances in Measuremen：418-450.

唐文苑，鄭永光，張小雯，2018.基于FSS的高分辨率模式華北對流預報能力評估［J］.應(yīng)用氣象學報，29（5）：513-523. Tang W Y，Zheng Y G，Zhang X W，2018.FSS-based evaluation on convective weather forecasts in North China from high resolution models［J］.J Appl Meteor Sci，29（5）：513-523.doi：10.11898／1001-7313.20180501.（in Chinese）.

韋青，李偉，彭頌，等，2019.國家級天氣預報檢驗分析系統(tǒng)建設(shè)與應(yīng)用［J］.應(yīng)用氣象學報，30（2）：245-256. Wei Q，Li W，Peng S，et al.，2019.Development and application of national verification system in CMA［J］.J Appl Meteor Sci，30（2）：245-256.doi：10.11898／1001-7313.20190211.（in Chinese）.

韋青，代刊，林建，等，2020.2016—2018年全國智能網(wǎng)格降水及溫度預報檢驗評估［J］.氣象，46（10）：1272-1285. Wei Q，Dai K，Lin J，et al.，2020.Evaluation on the 2016—2018 fine gridded precipitation and temperature forecasting［J］.Meteor Mon，46（10）：1272-1285.doi：10.7519／j.issn.1000-0526.2020.10.002.（in Chinese）.

吳啟樹，韓美，劉銘，等，2017.基于評分最優(yōu)化的模式降水預報訂正算法對比［J］.應(yīng)用氣象學報，28（3）：306-317. Wu Q S，Han M，Liu M，et al.，2017.A comparison of optimal-score-based correction algorithms of model precipitation prediction［J］.J Appl Meteor Sci，28（3）：306-317.doi：10.11898／1001-7313.20170305.（in Chinese）.

薛春芳，潘留杰，2016.基于MODE方法的日本細網(wǎng)格模式降水預報的診斷分析［J］.高原氣象，35（2）：406-418. Xue C F，Pan L J，2016.Diagnostic analysis of precipitation forecasting from Japan thin-grid model based on MODE［J］.Plateau Meteor，35（2）：406-418.doi：10.7522／j.issn.1000-0534.2015.00010.（in Chinese）.

Yu R C，Xu Y P，Zhou T J，et al.，2007.Relation between rainfall duration and diurnal variation in the warm season precipitation over central Eastern China［J］.Geophys Res Lett，34（13）：L13703.doi：10.1029／2007GL030315.

趙瑞霞，代刊，金榮花，等，2020.OTS、MOS和OMOS方法及其優(yōu)化組合應(yīng)用于72 h內(nèi)逐3 h降水預報的試驗分析研究［J］.氣象，46（3）：420-428. Zhao R X，Dai K，Jin R H，et al.，2020.Comparison of OTS，MOS，OMOS methods and their combinations applied in 3 h precipitation forecasting out to 72 h［J］.Meteor Mon，46（3）：420-428.doi：10.7519／j.issn.1000-0526.2020.03.013.（in Chinese）.

張宏芳，潘留杰，陳昊明，等，2020.秦嶺及周邊地區(qū)暖季降水日變化及其成因分析［J］.高原氣象，39（5）：935-946. Zhang H F，Pan L J，Chen H M，et al.，2020.Diurnal variations and causes of warm season precipitation in Qinling and surrounding areas［J］.Plateau Meteor，39（5）：935-946.doi：10.7522／j.issn.1000-0534.2019.00067.（in Chinese）.

張宏芳，潘留杰，盧珊，等，2021.基于時域?qū)ο蟮木W(wǎng)格降水預報的追蹤診斷分析［J］.高原氣象，40（3）：559-568. Zhang H F，Pan L J，Lu S，et al.，2021.Tracking diagnosis analysis of grid precipitation forecast based on time-domain object［J］.Plateau Meteor，40（3）：559-568.doi：10.7522／j.issn.1000-0534.2020.00021.（in Chinese）.

張延彪，宋林燁，陳明軒，等，2022.基于卷積神經(jīng)網(wǎng)絡(luò)的京津冀地區(qū)高分辨率格點預報偏差訂正試驗［J］.大氣科學學報，45（6）：850-862. Zhang Y B，Song L Y，Chen M X，et al.，2022.A study of error correction for high-resolution gridded forecast based on a convolutional neural network in the Beijing-Tianjin-Hebei Region［J］.Trans Atmos Sci，45（6）：850-862.doi：10.13878／j.cnki.dqkxxb.20220615001.（in Chinese）.

Zhou X，Ding Y，Wang P X，2008.Moisture transpotr in Asian summer monsoon region and its relationship with summer precipitation in China［J］.Acta Meteor Sin，66（1）：59-70.

Based on the three-source fusion grid precipitation analysis data from CMPAS and using the dichotomy classical verification method，a comprehensive map of precipitation forecast score，and the Method for Object-Based Diagnostic Evaluation （MODE），we compare and analyzed the precipitation forecast performance of the fine-gridded SCMOC，ECMWF global，and CMA-Meso models in Qinling and its surrounding areas in 2021，and observe the following：1） The ECMWF model can well describe the spatial distribution characteristics of daily average precipitation，daily precipitation standard deviation，and daily precipitation frequency under the influence of terrain.However，the precipitation frequency of more than 0.1 mm is much higher than the observation，and the torrential rain frequency is lower than the observation.SCMOC and CMA-Meso have better forecasts of precipitation of different grades.The deficiency of SCMOC is that its ability to describe the fine spatial distribution characteristics of precipitation is relatively weak.2） The occurrence time of the daily peak of precipitation frequency greater than 0.1mm in the ECMWF model is about 3 hours earlier than the observation，and CMA-Meso and SCMOC are more consistent with the observation.3） The TS scores of the three products with 24-hour precipitation greater than or equal to 0.1 mm are basically the same，but the characteristics of the precipitation forecast are significantly different.SCMOC has a high success rate，a low hit rate，more missed hits，and fewer false alarms than ECMWF and CMA-Meso models which are the opposite of SCMOC.SCMOCs TS score，success rate，and hit rate for 24 h，3 h heavy rain，and above are better than the other two products.4） The verification results of the MODE method show that SCMOC has the highest similarity between the forecast and observation of large-area precipitation objects，and its forecast ability is better than ECMWF and CMA-Meso.However，there is a high risk of missing a hit for scattered，small-area torrential rain objects.The east-west distance deviation of SCMOC and ECMWF is greater than that of the north-south direction，and the proportion of the west position is higher than that of the east position.

SCMOC;forecast score;comprehensive map of precipitation forecast score;MODE

doi：10.13878／j.cnki.dqkxxb.20220213001

（責任編輯：劉菲）