目標檢驗方法在高分辨率數值天氣預報檢驗中的應用

李佳，陳葆德，徐同

（1.南京信息工程大學，江蘇 南京 210044；2.中國氣象局上海臺風研究所，上海 200030；3.中國氣象局臺風數值預報重點實驗室，上海 200030）

目標檢驗方法在高分辨率數值天氣預報檢驗中的應用

李佳1，2，3，陳葆德2，3，徐同2，3

（1.南京信息工程大學，江蘇 南京 210044；2.中國氣象局上海臺風研究所，上海 200030；3.中國氣象局臺風數值預報重點實驗室，上海 200030）

基于高分辨率數值模式的特點，為了彌補傳統站點對站點等檢驗方法的不足，采用基于目標診斷的空間檢驗方法MODE，對上海快速更新同化系統預報的2014年3月19日強對流降水和冰雹雷達回波進行了客觀檢驗。該方法通過在空間場中識別目標，綜合考慮了空間位置、形狀、面積等多種因素，采用模糊邏輯算法計算預報和觀測目標的相似度。結果表明，MODE在高分辨率數值模式檢驗中比傳統方法具有明顯的優勢，尤其針對雷達回波的檢驗有較高的實際應用價值。同時討論了MODE方法卷積平滑半徑參數的選取對高分辨模式檢驗結果的影響。

目標檢驗；MODE；數值模式；雷達回波

近年來，隨著高性能計算迅速發展，數值天氣預報模式的分辨率得到很大的提高[1-2]。高分辨模式產品在空間上具有更多的小尺度的變化。當采用點對點的方法，用站點觀測資料檢驗高分辨率模式時，易受小尺度影響，無法準確反映模式的預報能力[3-4]。因此除了使用常規的站點TS（Threat Score）、ETS（Equitable Threat Score）評分等來衡量高分辨率模式預報效果的好壞，近年來也發展了許多新的空間檢驗方法，如基于特征分析的檢驗技術將檢驗屬性定義為目標[5-6]，在一定半徑范圍內相鄰格點檢驗方法[7]，分析誤差大小和空間尺度的尺度分離檢驗方法等[8]。MODE（Method of Object-Based Diagnostic Evaluation）方法是一種基于目標診斷的空間檢驗技術[6，9-13]。該技術綜合比較預報目標和觀測目標的位置、面積、形狀和強度等，用來描述預報目標與觀測目標之間的相似程度，避免了傳統方法僅僅給出結論而無診斷信息的弊端，比如能從數值誤差和其他誤差中分離出落區誤差等。近年來，國內對該方法展開了一些應用[14-17]。比如徐同、李佳等統計了2009、2010年汛期MODE方法在上海區域中尺度模式檢驗應用的結果，從模式降水預報的空間位置、面積比、質心距離、軸角差，強度等方面進行了檢驗分析[14-15]。但這些應用大都集中在通常的降水預報的檢驗中，在高時間頻率同化的快速更新預報系統，特別是模擬雷達回波的檢驗應用尚未開展。本文擬將MODE方法應用于高分辨率的上海快速更新同化系統對強降水及其雷達回波的預報檢驗中，并簡單討論MODE方法卷積平滑半徑參數的選取對高分辨模式檢驗結果的影響。

1 資料和方法

1.1 模式簡介

2009年，上海 針對短時臨近預報建立了快速更新同化數值預報模式系統（SMB-WARR，Shanghai Meteorological Bureau-WRF ADAS Rapid Refresh System），是上海精細化短臨預報與服務業務最重要的技術支撐之一[2]。SMB-WARR系統基于ADAS（ARPSData Analysis System）資料同化系統和區域中尺度模式WRF（Weather Research and Forecasting）建立，分辨率為3 km，垂直分辨率為51層，預報區域覆蓋華東及其周邊地區。每日02時冷啟動，冷啟動的背景場和側邊界條件由NCEPGFS 6 h的全球預報場提供，其他時刻同化的背景場則由SMB-WARR系統上一時次的1 h預報場提供。每小時啟動一次預報，預報時效為12 h，并提供逐小時高分辨率中尺度分析場。系統采用逐小時循環同化的方式對觀測資料進行同化，實時業務的同化觀測資料包括常規天氣觀測、機場地面報、船舶、浮標、自動站、飛機報、探空、雷達反射率和FY-2E紅外和可見光輻射率資料[2，18]。

1.2 觀測資料

降水資料采用中國氣象科學數據共享服務網下載的“中國自動站與CMORPH降水產品融合的逐時降水量網格數據集（1.0版）”數據，該數據是基于全國3萬余個自動觀測站逐小時降水量和CMORPH衛星反演降水產品，采用概率密度匹配（PDF，probability density function）和最優插值（OI，optimal interpolation）兩步融合方法生成了中國區域逐小時、0.1°×0.1°分辨率的降水量融合產品。雷達最大反射率拼圖由雷達原始數據經ADAS分析，插值到模式格點生成。

1.3 方法介紹

MODE方法應用主要有3個步驟（圖1）：（1）首先通過卷積—閾值過程識別原始數據場中的目標，（2）計算目標屬性，（3）通過邏輯模糊方法，合并同場目標，匹配不同場目標，計算相似度。

卷積—閾值過程首先將原始數據場由濾波函數進行卷積，如式（1）所示：

圖1 MODE方法應用步驟

其中，f代表原始數據場，?代表濾波函數，C代表平滑處理后得到的卷積場。變量（x，y）和（u，v）均為格點坐標。濾波函數?是一個由影響半徑R和高度H決定的簡單圓柱形濾波方法。如果x2+y2≤R2，?（x，y）=H，否則?（x，y）=0。其中參數R和H并不是相互獨立的，滿足πR2H=1。因此影響半徑R是卷積過程中的唯一可調參數。一旦R確定后，H也確定了。

對卷積場C設定閾值T得到二值掩膜M，閾值以上的降水區域標記為1，閾值以下的區域標記為0，如式（2）所示：

原始數據被重新填充到二值掩膜M中獲得重構場F。這些數據可以用于強度的檢驗和分析。

這樣，2個參數——卷積半徑R和閾值T控制著原始場識別目標的整個過程。對于確定的閾值T，卷積半徑R是MODE方法識別目標過程中的唯一可調參數。卷積半徑的選取依賴于具體的應用。通常，4個格點可以視為實際應用中的最小值，因為模式極少能實際描述尺度小于8個格距的系統[19]。目標面積的大小與卷積半徑成反向變化。

目標一旦被識別后，就可以用各種各樣的屬性來分類和評估。目標屬性有3個用途：（1）在同場（單一的預報場或觀測場）中合并目標；（2）在不同場（預報場和觀測場）之間匹配目標；（3）通過對比匹配目標（預報目標和觀測目標）的屬性，統計預報效果。多數屬性都是幾何學定義的,例如面積、質心、軸角、縱橫比等。目標內的數值原始強度也是重要的屬性，目前MODE可以計算出一些數值百分位數（例如0.25 th，0.50 th，0.75 th和0.90 th分位數），這些分位數反映了目標內部數值的分布情況。

在單個目標屬性基礎上,目標合并和配對時的屬性診斷量可以有質心距離（兩個目標之間的質心距離），面積比（兩個目標面積之比），交集面積（兩個目標之間重合的面積），軸角差（兩個目標之間方向差）以及中位強度比（兩個目標強度中位數之比）等。配對指在不同場之間匹配目標，合并指在同場中組合目標。在合并之后，獨立的單一目標被認為是更大組合目標的一部分，組合目標的屬性也可以采用單一目標相同的方法再次計算。目前，MODE采用模糊邏輯方法進行目標合并和配對。該方法客觀應用了人類主觀判斷目標如何匹配的過程，允許在大量不同的屬性基礎上進行配對和合并。

使用模糊邏輯方法，計算相似度的公式如（4）式所示：

其中α1，α2，…為目標對之間的屬性診斷量，Ii為相似度因子，范圍從0～1，wi為權重系數，Ci為可信度函數。Ci用來調整屬性的相似度貢獻，使得相似度因子具有動態的權重。因為有時一個屬性與其他屬性有密切關系。比如目標形狀越接近圓形（縱橫比=1）時，軸角差的相似度貢獻應該越小，可以設定為縱橫比的函數。給相似度設定閾值，本文設為0.7。在閾值以上的兩個場中的目標可以匹配。

2 檢驗個例

2014年3月19日下午，受冷暖空氣交匯影響，長江以南地區出現大范圍強對流天氣，其中杭州、金華、臺州、溫州相繼出現冰雹，以臺州受災最為嚴重，全市6縣三區除三門、溫嶺、玉環外均不同程度遭受冰雹襲擊，洪家國家氣象站測得冰雹最大直徑3.3 cm[20]。采用MODE方法對2014年3月19日17—18時1 h累計降水進行檢驗，預報數據為SMB-WARR模式系統2014年3月19日08時起報的17—18時1 h累計降水（圖2a），實況見圖2b。

圖2 2014年3月19日17—18時的1小時累積降水量/mm

2.1 MODE檢驗結果

選取卷積半徑為2個格點，閾值分別設定為0.1 mm，1.6 mm和7.0 mm。圖3、4、5為MODE方法對快速更新同化系統2014年3月19日08時預報（17—18時）1 h降水的檢驗結果（鑒于觀測資料缺失，本文對位于海上的預報和觀測目標進行了遮蔽，下同），重點關注浙江東部的降水。MODE對浙江東部沿海強降水檢驗各個量級的目標屬性見表1。

檢驗≥0.1mm的降水。預報合并目標（圖3a，藍色）和觀測合并目標（圖3b，藍色）的相似度為0.93。預報合并目標中包含單個目標面積合計為10 403個格點，觀測合并目標中包含單個目標面積合計為10 874個格點，面積差為471個格點，面積比為0.96，其中交集面積為5390個格點，并集為15 887個格點，該預報目標和觀測目標并集區域內的TS評分為0.34。預報目標中心緯度28.29°N，中心經度119.06°E，觀測目標中心緯度為28.52°N，中心經度為117.34°E，質心距離為57.29個格點。預報目標軸角為18.23°，觀測目標軸角為6.87°，軸角差11.36°。預報目標長軸243.81個格點，短軸86.20個格點，觀測目標長軸318.16個格點，短軸99.94個格點。從預報強度來看,預報目標的0.5 th分位強度為0.93 mm，對應觀測目標0.5 th分位強度為0.62 mm，兩者之比為1.5；預報目標0.9 th分位強度為10.25 mm，觀測目標0.9 th分位強度為6.20 mm，兩者之比為1.66。≥0.1mm的降水預報目標和觀測目標面積大小較接近，走向較一致，總體相似度較高，TS評分較低，預報目標長軸偏短，為主要誤差來源，降水強度較實況偏強。

圖3 2014年3月19日17—18時1 h累積降水識別出的目標（卷積半徑2個格點,閾值0.1mm）

檢驗≥1.6mm的降水。預報合并目標（圖4a，綠色）和觀測合并目標（圖4b，綠色）的相似度為0.90。預報合并目標中包含單個目標面積合計為4032個格點，觀測合并目標中包含單個目標面積合計為2911個格點，面積差為1121個格點，面積比為1.39，其中交集面積為577個格點，并集為6366個格點，該預報目標和觀測目標并集區域內的TS評分為0.09。預報目標中心緯度28.26°N，中心經度119.95°E，觀測目標中心緯度為28.49°N，中心經度為118.41°E，質心距離為51.50個格點。預報目標軸角為19.72°，觀測目標軸角為20.37°，軸角差0.65°。預報目標長軸234.96個格點，短軸72.11個格點，觀測目標長軸262.18個格點，短軸65.83個格點。從預報強度來看,預報目標的0.5 th分位強度為5.16 mm，對應觀測目標0.5 th分位強度為3.19 mm，兩者之比為1.62；預報目標0.9th分位強度為16.52 mm，觀測目標0.9 th分位強度為9.04 mm，兩者之比為1.83。≥1.6mm的降水預報目標和觀測目標位置接近，走向一致，形狀相似，總體相似度較高，TS評分低，預報面積偏大，為主要誤差來源，降水強度較實況偏強。

表1 2014年3月19日17—18時1 h累積降水各量級的MODE目標屬性

檢驗≥7.0mm的降水。預報合并目標（圖5a，紅色）和觀測合并目標（圖5b，紅色）的相似度為0.76。預報目標3的面積為660個格點，觀測目標3面積為202個格點，面積差為458個格點，面積比為3.27，其中交集面積為16個格點，并集為846個格點，該預報目標和觀測目標并集區域內的TS評分為0.09。預報目標中心緯度28.6°N，中心經度121.28°E，觀測目標中心緯度為29.26°N，中心經度為121.46°E，兩者之間的質心距離為25.06個格點。預報目標軸角為64.24°，觀測目標軸角為60.15°，軸角差為4.09°。預報目標長軸39.75個格點，短軸26.24個格點，觀測目標長軸20.35個格點，短軸16.14個格點。從預報強度來看,預報目標的0.5 th分位強度為15.58mm，對應觀測目標0.5 th分位強度為12.61 mm，兩者之比為1.24；預報目標的0.9 th分位強度為22.00mm，觀測目標的0.9 th分位強度為17.18mm，兩者之比為1.28。≥7mm的降水預報目標和觀測目標位置接近，走向一致，形狀相似，總體相似度較高，TS評分低，預報面積偏大較多，為主要誤差來源，降水強度較實況偏強。

圖4 2014年3月19日17—18時1 h累積降水識別出的目標（卷積半徑2個格點,閾值1.6mm）

圖5 2014年3月19日17—18時1 h累積降水識別出的目標(卷積半徑2個格點，閾值7mm）

因為計算TS評分同時考慮了空報率和漏報率兩個因素，存在所謂的“雙重懲罰”[21]現象。應用MODE檢驗，盡管TS評分低，但此次降水過程模式提前9 h的預警是有效的，跟實況匹配成功，主要誤差來源分別為形狀誤差和面積誤差，另外預報強度偏強。

如前所述，在檢驗目標的識別中，對于確定的閾值T，卷積半徑R是MODE方法識別過程中的唯一可調參數。

將上述檢驗中的卷積半徑設定為4個格點，原為2個格點，閾值仍為7 mm，圖6為相應的檢驗結果，可以看到預報場（圖6a，方框）和觀測場（圖6b，方框）在浙江東部沿海未能識別出滿足閾值的目標。卷積半徑分別為2和4個格點時，MODE對浙江東部沿海強降水檢驗的目標屬性見表2。卷積半徑增大時，識別的目標面積減小，預報和觀測的目標配對結果（是否滿足相似度閾值）也會有所不同，在應用時需要結合模式分辨率和天氣系統時空尺度等綜合考慮卷積半徑和相似度閾值等檢驗參數的選取。

2.3 雷達回波檢驗

雷達回波能夠迅速、準確、細致地測定降水區的位置、范圍、強度、性質。通常利用回波的分布特征（如大面積片狀回波、帶狀回波）以及回波的形狀結構特征（如鉤狀回波、弓狀回波等）來進行形態學分析。采用MODE方法可以對雷達反射率進行形態學客觀檢驗。從3月19日下午的雷達最大反射率拼圖（圖7b）可以看出，17時左右，浙江臺州附近有很強的回波，在50 dBz以上。模式預報的雷達反射率通過氣壓、溫度、水汽、雨水混合比,雪水混合比和霰混合比反演而來。

表2 2014年3月19日17—18時1 h累積降水不同卷積半徑的MODE目標屬性及對比

圖6 2014年3月19日17—18時1 h累積降水識別出的目標（卷積半徑4個格點，閾值7mm）

圖8和圖9為MODE方法對快速更新同化系統2014年3月19日17時最大雷達反射率預報和實況的檢驗結果，卷積半徑為2個格點，閾值分別為20、45 dBz，相應的MODE目標屬性由表3給出。雷達反射率大于45 dBz出現降雹的概率較大[22]。

檢驗≥20 dBz的雷達回波，預報合并目標（圖8a，綠色）和觀測合并目標（圖8b，綠色）的相似度為0.93。預報合并目標中包含單個目標面積合計為6629個格點，觀測合并目標中包含單個目標面積合計為12 275個格點，面積差為5646個格點，面積比為0.54，其中交集面積為4662個格點，并集為14 242個格點。預報目標中心緯度28.49°N，中心經度119.40°E，觀測目標中心緯度為28.53°N，中心經度為117.90°E，質心距離為49.19個格點。預報目標軸角為20.26°，觀測目標軸角為11.58°，軸角差8.68°。預報目標長軸259.72個格點，短軸75.88個格點，觀測目標長軸281.25個格點，短軸122.04個格點。從預報強度來看,預報目標的0.5 th分位強度為30.99 dBz，對應觀測目標0.5 th分位強度為29.55 dBz，兩者之比為1.05；預報目標0.9 th分位強度為44.41 dBz，觀測目標0.9 th分位強度為42.22 dBz，兩者之比為1.05。大于等于20 dBz的雷達回波預報目標較觀測目標面積偏小，為主要誤差來源，位置基本一致，回波強度與實況非常接近。

圖7 2014年3月19日17時雷達最大反射率/dBz

圖8 2014年3月19日17時最大雷達反射率識別出的目標（卷積半徑2個格點，閾值20 dBz）

圖9 2014年3月19日17時最大雷達反射率識別出的目標（卷積半徑2個格點，閾值45 dBz）

檢驗≥45 dBz的雷達回波，預報單個目標（圖9a，紅色）和觀測單個目標（圖9b，紅色）的相似度為1。預報目標面積為269個格點，觀測目標面積為246個格點，面積差為23個格點，面積比為1.09，其中交集面積為97個格點，并集為418個格點。預報目標中心緯度28.63°N，中心經度121.04°E，觀測目標中心緯度為28.83°N，中心經度為121.05°E，質心距離為7.54個格點。預報目標軸角為63.76°，觀測目標軸角為51.44°，軸角差12.32°。預報目標長軸29.52個格點，短軸16.54個格點，觀測目標長軸33.58個格點，短軸13.87個格點。從預報強度來看,預報目標的0.5 th分位強度為47.92 dBz，對應觀測目標0.5 th分位強度為51.58 dBz，兩者之比為0.93；預報目標0.9 th分位強度為52.58 dBz，觀測目標0.9 th分位強度為59.50 dBz，兩者之比為0.88。預報目標與觀測目標面積、位置、形狀和強度接近。

表3 2014年3月19日17時最大雷達反射率不同閾值的MODE目標屬性

3 結論

（1）對于高時空分辨率的數值模式而言，應用MODE檢驗，可以避免TS等評價指標僅給出預報正確與否或者準確度評價，而無診斷信息的弊端，挖掘出預報產品中有價值的信息，為用戶提供針對性強的客觀檢驗信息。

（2）在高分辨率模式雷達回波預報檢驗中，MODE方法可以進行形態學的客觀檢驗，具有明顯的優勢，特別是對于較難觀測的強對流天氣現象，比如冰雹等，具有很高的實際應用價值。

（3）卷積半徑增大時，識別的目標面積減小，同時影響預報目標與觀測目標的匹配。在高分辨率模式預報檢驗應用中需要結合模式分辨率和天氣系統時空尺度等綜合選取卷積半徑和相似度閾值等檢驗參數。

[1]鄭永光，張小玲，張慶亮，等.強對流天氣短時臨近預報業務技術進展與挑戰[J].氣象，2010，36（7）：33-42.

[2]陳葆德，王曉峰，李泓，等.快速更新同化預報的關鍵技術綜述[J].氣象科技進展，2013，3（2）：29-35.

[3]潘留杰，張宏芳，王建鵬.數值天氣預報檢驗方法研究進展[J].地球科學進展，2014，29（3）：327-335.

[4]戴建華，茅懋，邵玲玲，等.強對流天氣預報檢驗新方法在上海的應用嘗試[J].氣象科技進展，2013，3（3）：40-45.

[5]Ebert E E,McBride J L.Verification of precipitation in weather systems:Determination of systematic errors[J].J Hydrol，2000，239：179-202.

[6]Davis C A,Brown B G,Bullock R G.Object-based verification of precipitation forecasts[C]//Part I:Methods and application to mesoscale rain areas.Mon Wea Rev，2006，134：1772-1784.

[7]Ebert E E.Neighborhood verification：A strategy for rewardingclose forecasts[J].Wea Forecasting，2009，24：1498-1510.

[8]Casati B,Ross G，Stephenson D B.A new intensity-scale approach for the verification of spatial precipitation forecasts[J].Meteor Appl，2004，11：141-154.

[9]Brown B G,Bullock R R,David C A,et al.New verification approaches for convective weather forecasts[C] //11th Conf Aviation，Range，and Aerospace Meteorology，4-8Oct2004，Hyannis，MA.

[10]Brown B G,Bullock R,Halley GJ,et al.Application of themode object-based verification tool for the evaluation ofmodel precipitation fields[C/OL]//AMS 22nd conference on weather analysis and forecasting and 18th conference on numerical weather prediction,25-29 June,Park City, Utah,American Meteorological Society（Boston），（2007-06-30）[2016-06-01].http://ams.confex.com/ams/ pdfpapers/124856.pdf.

[11]Davis C A,Brown B G,Bullock R G.Object-basedverification of precipitation forecasts Part II:Application to convective rain systems[J].Mon Wea Rev，2006，134：1785-1795.

[12]Michaes A C,Fox N I,Lack SA,etal.Cell identification and verification of QPF ensembles using shape analysis techniques[J].JHydrol，2007，343：105-116.

[13]Lack S A,Limpert G L,Fox N I.An object-oriented multi scale verification scheme[J].Wea Forecasting，2010，25：79-92.

[14]徐同，李佳，王曉峰，等.2009年5-9月上海區域中尺度模式降水預報效果檢驗[J].大氣科學研究與應用，2010，2：1-14.

[15]徐同，李佳，王曉峰，等.2010年汛期華東區域中尺度數值模式預報效果檢驗[J].大氣科學研究與應用，2011，2：10-23.

[16]尤鳳春，王國榮，郭銳，等.MODE方法在降水預報檢驗中的應用分析[J].氣象，2011，37（12）：1498-1503.

[17]王國榮，陳敏，由鳳春，等.基于對象診斷的空間檢驗方法（MODE）[J].氣象科技，2014，42（4）：652-656.

[18]王曉峰，王平，張蕾，等.上海“7·31”局地強對流快速更新同化數值模擬研究[J].高原氣象，2015，34（1）：124-136.

[19]Skamarock W C.Evaluating mesoscale NWP models usingkinetic energy spectra[J].Mon Wea Rev,2004,132：3019-3032.

[20]黃曉龍，高麗.2014年3.19臺州冰雹過程中分析[C]//第31屆中國氣象學會年會S2災害天氣監測、分析與預報，2014：1-25.

[21]張勇，牟容，潘穎，等.重慶強對流短臨業務評分辦法[J].氣象科技，2013，41（3）：594-596.

[22]王瑾，李明元，汪華.基于多雷達三維插值格點強冰雹診斷因子的強冰雹識別方法[J].高原氣象，2010，29（6）：1533-1545.

Application of the Object-based Verification Method for High Resolution NWP

LIJia1，2，3，CHEN Baode2，3，XU Tong2，3
（1.Nanjing University of Information Science&Technology，Nanjing 210044，China；2.Shanghai Typhoon Institute of China Meteorological Administration，Shanghai200030，China；3.Key Laboratory of NumericalModeling for Tropical Cyclone，China Meteorological Administration，Shanghai 200030，China）

Based on the characteristics of high resolution numericalweather prediction,considering the disadvantages of the conventional verification methods,using the method of object-based diagnostic evaluation（MODE）carried out an objective evaluation on precipitation and radar echo forecast of strong convective weather on March 19,2014 of the SMB-WARR system.The method takes account of spatial location,shape,area and other attributes of objects,identifies objects in each fields,calculates similarity of forecast and observed objects using fuzzy logic algorithm.Case study shows that,this method has evident advantages and higher practical application value especially in the examination of hail radar echo in the high resolution numerical weather forecast. At the same time,the choice of a convolution radius in MODE for the high resolution model verification is discussed.

object-based verification；MODE；numericalmodel；radar echo

P456.7

A

1002-0799（2016）05-0001-09

10.3969/j.issn.1002-0799.2016.05.001

2016-06-13；

2016-07-07

國家自然科學基金項目（41175094）；公益性行業（氣象）科研專項（GYHY201006002，GYHY201206006）；上海市科學技術委員會重點基金（13231203300）。

李佳（1978-），女，副研究員，主要從事數值預報研發應用及檢驗。E-mail：lij@mail.typhoon.gov.cn

李佳，陳葆德，徐同.目標檢驗方法在高分辨率數值天氣預報檢驗中的應用[J].沙漠與綠洲氣象，2016，10（5）：1-9.