數值模式評估系統MET及其初步應用

潘留杰張宏芳薛春芳王建鵬劉勇

（1 陜西省氣象臺，西安 710014；2 陜西省氣象服務中心，西安 710014；3 陜西省氣象局，西安 710014）

?

數值模式評估系統MET及其初步應用

潘留杰1張宏芳2薛春芳3王建鵬1劉勇1

（1 陜西省氣象臺，西安 710014；2 陜西省氣象服務中心，西安 710014；3 陜西省氣象局，西安 710014）

MET（Model Evaluation Tools）是美國國家大氣研究中心（National Center for Atmospheric Research，NCAR）數值預報發展試驗中心（Developmental Testbed Center，DTC）最新研發的數值預報檢驗、評估系統，其主要目的不僅在于為模式開發人員提供模式性能的測試工具，而且方便最終用戶通過MET來判別模式的預報能力，進而獲得預報相應的預報指標。MET系統提供了豐富的站點、格點數據接口程序，它的核心組件集成了模式經典方法評估檢驗，高分辨率模式診斷分析，集合預報、概率預報、臺風路徑等多種最先進的模式檢驗評估算法。為了方便用戶使用，MET系統還提供基于R語言的多種繪圖腳本。在對MET系統簡要闡述的基礎上，給出了基于MET系統的面向對象或基于目標的MODE（Method for Object-Based Diagnostic Evaluation）方法、鄰域法的具體降水檢驗個例，為使用MET系統進行模式檢驗、評估提供參考。

MET，概率預報，集合預報，空間診斷

0　引言

模式檢驗評估不僅是發展預報系統的重要組成部分，而且可以用來評價模式預報的準確性［1-3］，從而為用戶提供客觀的預報依據。事實上，由于模式預報系統的底層物理過程十分復雜，其預報結果存在很大的不確定性［4-5］，因此，通過評估檢驗來獲得模式的特定屬性和外在表現就成為用戶研究和應用模式的重要手段［6-9］。模式檢驗中最古老的方法是通過目視進行誤差主觀對比分析， 盡管主觀的目視誤差分析或天氣個例分析能夠準確給出模式對降水系統諸如鋒面、雨帶預報性能的詳細描述，然而目視分析存在顯著缺陷，它一方面無法客觀分析海量數據，另一方面通過目視檢驗獲得的結論也具有主觀性和非定量性，因此很難為用戶提供有效的判別標準。隨著模式檢驗需求的不斷擴大和氣象科研工作者的持續努力，一系列客觀的模式評估檢驗方法得到了快速發展［10-15］。

MET（Model Evaluation Tools）是由美國國家大氣研究中心（NCAR）數值預報發展試驗中心（DTC）研發的功能強大的數值天氣預報檢驗工具，其主要目的是為數值預報使用者、開發者搭建分析、評估數值模式預報產品的橋梁，它不僅為模式開發者提供實時的模式產品測試環境，為新的模式預報產品投入預報業務提供一攬子評估方案，而且為模式使用者客觀把握模式的預報能力提供了有效手段。MET最初版本發行于2008年，主要針對于WRF數值模式產品的檢驗和評估，其最新版本MET5.0發行于2014年9月，提供各種通用數據格式的模式產品檢驗評估接口。本文在對MET系統的功能、數據流、算法進行闡述的基礎上，給出部分基于MET系統的、國內外先進的、基于空間診斷方法的細網格模式產品檢驗個例，為使用MET系統進行模式評估提供參考。

1　MET系統架構和數據流

MET的初始研發理念是為短期天氣預報提供最為先進的數值天氣預報模式產品評估檢驗方案，這種理念使得MET系統不僅囊括了傳統的經典模式檢驗方法，同時不斷地吸納包括空間分析、診斷分析等在內的一系列新的檢驗方法。此外，MET增加了模式評估結果置信度檢驗等功能，這也使得MET快速取代傳統的模式評估系統，比如MET已經取代了NCEP的模式實時校驗系統。

MET是一種開放系統，可以在DTC網站自由下載（http://www.dtcenter.org/met/users/）。MET4.1以前的版本不包括臺風預報檢驗，MET4.1及以后的版本增加了模式預報臺風路徑檢驗模塊，但MET開發組認為臺風路徑檢驗本質上和模式其他要素檢驗是不同的，DTC給出的無論是臺風檢驗程序包，還是說明文檔，均為單獨的一個部分：MET-TC，因此本文將在第2節單獨闡述MET-TC。MET采用模塊化設計，具有很強的適應性，一種方法的檢驗模塊可以獨立運行而不依賴于其他組件，這種設計使得MET不僅能夠在具有復雜數據輸入、輸出接口的各種大型數據庫系統上運行，而且也方便運行于個人計算機。按照MET系統組件的功能的差異，可以將其分為格式轉換模塊、核心算法模塊、統計輸出模塊以及繪圖輸出模塊四個部分。

圖1給出了MET系統的基本架構及數據流。圖中帶陰影的橢圓表示MET的實際可執行程序，卷角方框表示數據輸入或輸出。可以看出，MET主要接收五類觀測數據：格點數據、MODIS衛星觀測數據、WWMCA格式云分析數據、ASCII格式站點觀測數據、PrepBufr格式觀測數據以及MADIS格式觀測數據，其中PrepBufr是NCEP的一種站點格式的觀測數據，而MADIS是NCAR的氣象數據同化集成系統的站點格式數據文件。這些數據格式均被轉換成NetCDF格式進行計算。在新版本中也可以直接輸入Grib或Grib2格式數據。數據繪圖程序可以顯示轉碼后的格點或站點數據，生成PS格式圖表。MET的核心模塊包括格點檢驗、站點檢驗、集合預報檢驗、小波檢驗、面向對象（基于目標）的MODE檢驗和時序檢驗六個部分，其中概率預報檢驗分別包含于站點檢驗和格點檢驗之中。MET的輸出主要包括三類：NetCDF、ASCII格式計算結果以及PS格式或PNG格式圖片文件。為了清楚反映模式的預報性能，通常還需要對輸出結果進行再分析。表1列出了MET5.0部分程序及其功能介紹。

2　臺風檢驗（MET-TC）

MET模式評估系統將臺風檢驗（MET-TC）作為一個獨立的部分單獨列出。MET-TC的輸入文件的數據格式包括兩個部分：渦旋追蹤軟件和實時模式預報產生的ATCF（Automated Tropical Cyclone Forecast）格式的臺風路徑文件以及ASCII碼格式的海岸、島嶼的經緯度文件，輸出文件包括兩類：NetCDF格式和ASCII碼格式的中間文件以及ASCII碼格式的評估結果。

MET-TC有三個可執行程序：TC-DLAND、TCPairs、TC-STAT。TC-DLAND主要任務在于快速解析限定范圍、滿足條件的水域到陸地或島嶼的距離。從4.1版本到5.0版本，TC-DLAND的主要變化是將可解析的范圍從地球的1/4擴大至全球，解析結果更加精確，但相比以前版本，計算速度下降。由于TC-DLAND解析出的NetCDF格式文件可以重復使用，因此TCDLAND并不需要在模式檢驗中實時運行，這也是提高運算效率的一種方法。TC-Pairs主要功能是檢驗模式對臺風位置、強度預報的準確性。TC-Pairs接收兩種類AFCF格式的文件：1）臺風路徑預報文件ADECK；2）觀測追蹤的最佳臺風路徑BDECK，從而計算模式預報臺風的位置、海平面氣壓、強度等誤差。TCSTAT對TC-Pairs的多個計算結果再進行統計分析，給出模式預報性能的具體評估結果。圖2給出了MET-TC系統的基本架構及數據流，需要說明的是，作為后處理部分，MET-TC給出了R腳本的繪圖程序plot_tcmpr. R，一些相關的腳本并未包含在程序的架構框圖中。

3　MET部分檢驗方法及應用

圖1　MET系統的基本架構及數據流（卷角方框表示數據的輸入或輸出，帶陰影的橢圓表示可執行程序，箭頭表示數據流）Fig. 1 The basic architecture of MET systems and data flow （the block represents the input and output data， shaded oval denotes an executable program， arrows indicate the data flow）

MET系統包括了傳統的經典檢驗方法，這些方法在模式檢驗中已得到了較好的應用，因此這里僅簡單列出MET計算的一些主要統計技巧評分。在計算這些評分時，MET也利用了兩變量的列聯表來將事件進行分類，然后將預報事件與觀測事件進行匹配并計算一系列評分指數，對于可分為兩種類型的離散形變量主要包括：預報偏差Bias、勝算比OR（Odds Ratio）、GSS（Gilbert Skill Score）或ETS（Equitable Threat Score）評分、準確率ACC（Accuracy）等。對于可分為多種類型的離散型變量來說，采用了n×2的列聯表將不同分級上事件發生的頻率分別歸類來計算評分指數，這種方法也用于檢驗概率預報中不同事件發生概率的準確性。針對離散型變量，MET主要計算了標準差（STDEV）、距平相關系數（ACC）、斯皮爾曼相關系數（SP_CORR）、Kendall等級相關系數（KT_ CORR）、均方根誤差（RMSE）、誤差百分位數等相關指標。

由于近兩年概率預報、集合預報、高分辨模式預報產品重點在預報業務中推廣，因此著重介紹MET系統的概率預報、集合預報和高分辨率空間診斷檢驗方法。

3.1概率預報和集合預報

對于普通的概率預報，MET系統通過n×2的列聯表，按照用戶給定的閾值將發生總概率為0～1的事件分為n種不同的類別，以此來評估概率預報的性能，如果獲得事件發生的概率是通過公式計算產生的，則指定分段區間的中值為事件發生的概率。當然這種方法也可以用來檢驗集合預報系統所產生的概率預報，之所以單獨列出，是因為MET針對集合預報及其概率給出了獨立的評估工具Ensemble_stat。表2給出了MET系統中概率預報檢驗的列聯表，在表2中將每一個概率預報區間內事件出現的概率分為發生和不發生兩種情況，“F”代表預報，“O”代表觀測；Nij表示相應類型“預報—觀測”發生的次數，其中，N的下標i表示預報，j表示觀測， 因此N11、N10分別表示第一個概率預報區間內降水事件發生和空報的次數；N21、N20則表示第二個概率預報區間，以此類推。然后，分別統計各種可能性出現的次數，在此基礎上計算各種評分技巧，計算的評分指數主要包括Brier評分［16］、聯合分布、似然基準率、可靠性圖、ROC（Relative Operating Characteristic）分析等。

表1　MET主要的模塊程序及功能Table 1 The main program modules and functions of MET

圖2　MET-TC系統的基本架構及數據流（方框表示數據的輸入或輸出，帶陰影的橢圓表示可執行程序，箭頭表示數據流）Fig. 2 The basic architecture of MET-TC systems and data flow （the block represents the input and output data，shaded oval denotes an executable program， arrows indicate the data flow）

MET系統檢驗集合預報時采用通用的方法。首先將集合預報轉換成單個值的確定性預報或離散事件的概率預報。計算的評分指數包括四類：1）連續分級概率評分CRPS（Continuous Ranked Probability Score）；2）等級直方圖或Talagrand圖；3）“未知”評分IGN（Ignorance score）；4）概率積分變換PIT（Probability Integral Transform），PIT是模擬的預報成員與觀測值離散程度的概率分布表現，其解釋意義與Talagrand圖一致。其中，CRPS在檢驗連續變量的概率預報應用最為廣泛。CRPS是所有可能閾值Brier技巧的積分，本質上表現的是集合預報變量的累計概率分布函數（CDF）與觀測值Heaviside函數之間的差異。MET系統在計算CRPS評分時去除了確定性預報中的平均絕對誤差，因此能夠直接用來比較集合預報與確定性預報之間的準確性，CRPS越小，表示預報準確率越高，理想情況下CRPS=0。

表2　MET系統概率預報檢驗采用的n×2列聯表（Nij表示不同預報、觀測事件發生的種類，其中下標i代表預報，j代表觀測）Table 2 Contingency table in terms of counts for precipitation （the Nijvalues in the table represent the counts in each forecast-observation category， where i represent the forecasts and j represents the observations）

MET采用Talagrand圖來衡量集合預報成員與觀測值離散程度分布是否一致。當集合預報與觀測具有相同的變化時，觀測的等級排名將按照預報成員的離散度均勻分布，繪制出的Talagrand圖應該是平直的，但是在大多數情況下集合預報各成員的發散度不夠， 落在兩端的概率要比落在中間的概率要大。Talagrand圖并不用來反映預報的準確性，此外，Talagrand圖僅僅針對集合成員固定的情況下才有意義［13］，因此MET給出的Talagrand圖更多是針對模式開發者對模式的檢驗。

IGN是MET給出的集合預報的負向的對數概率密度分布函數，用來檢驗預報與觀測要素的概率分布函數的相似程度，其值越小，表示預報效果越好。在MET中，IGN指數計算時基于集合預報的成員的預報結果滿足正態分布，對非正態分布的氣象要素，IGN指數并不適用。

3.2空間診斷分析

天氣變量在空間上具有連續性。點對點的傳統檢驗方法拆離了變量的空間關系，其檢驗結果不僅不具有明確的物理意義［17-18］，而且近年來新出現的高分辨率模式產品在空間上具有更多的小尺度的變化［19］，使得傳統檢驗方法無法正確評估模式的預報技巧，因此隨著模式的改進，診斷檢驗方法孕育而生。MET系統提供多種空間診斷檢驗方法，本文著重敘述其中的MODE及鄰域檢驗方法。

MODE方法的基本觀念來自Davis等［20-21］，實現時首先通過給定的卷積半徑R對原始降水場卷積，然后按給定的閾值解析出滿足條件的空間降水對象，在此基礎上計算各對象的降水強度、質心、軸角、面積復雜度等各種屬性。MET系統可以根據設定的判別標準對獨立的降水對象進行組合，并計算組合對象的各種屬性。考慮到一個對象的不同屬性可能有不同的表現，MET采用模糊邏輯來綜合考慮各種屬性的總體表現，從而計算預報對象的總收益函數。

式（1）給出了收益函數T（a）的計算表達式，式中ai表示對象的第i個屬性，wi表示對象第i個屬性的權重系數，Ci（a）表示第i個屬性的置信水平。Ii（ai）表示預報場對象的第i個屬性的收益函數，是ai的函數。計算時主要考慮降水強度比率、面積比率、質心距離、軸角偏差、復雜度比率和對象重疊面積比率。

圖3給出了日本細網格模式2012年7月4日20時起報，7月6日02—05時的3h降水量預報的中國區域MODE方法檢驗結果，其中降水觀測數據為來自中國氣象科學數據網的CMORPH（NOAA Climate Prediction Center Morphing Method）衛星與自動站逐小時降水融合資料。從圖中可以看出識別模式降水預報對象25個（圖3a），觀測降水對象18個（圖3b），主要不足在于存在較大范圍的空報。

圖3　MODE方法評估個例：卷積半徑2個格點，降水閾值1.0mm時日本模式3h降水量對象解析、識別結果（a）模式預報；（b）觀測；（c）、（d）分別為預報和觀測場解析、識別的獨立對象；（e）、（f）分別為預報和觀測場解析、識別的組合對象Fig. 3 A case of MODE method verified. The results of identifying objects at 2 grids of the convolution radius and 1.0 mm of precipitation threshold: （a） model forecast， （b） observation， （c）， （d） for the independent objects of forecasting and observation fields respectively， （e）， （f） for the composite objects of forecasting and observation fields respectively

相互匹配的預報場獨立對象10個（圖3c），觀測場獨立對象12個（圖3d）。按照閾值進行組合后匹配對象7個（圖3e、3f）。通過匹配關系就可以計算模式預報與觀測獨立、組合對象的強度、質心、面積、軸角、復雜度等各種屬性的不同表現。表3給出了預報與觀測場組合匹配對象的各種屬性差異，可以看出模式能夠較好地把握降水的空間位置，多數組合對象的質心距離小于15km， 軸角偏差多在50°之內，沒有軸角偏差大于90°的匹配對象，但預報面積顯著偏大，最多偏大6倍以上。從降水強度來看，模式預報降水的50%分位數與觀測基本一致，90%分位數則預報顯著偏強，組合對象1、2偏強3倍左右。因此對該個例來說預報的整體表現為：1）存在顯著的空報現象；2）預報降水面積顯著偏大；3）降水強度整體一致，但雨強中心量級偏大。

表3　組合對象屬性及總收益Table 3 Attributes and total interests of composite objects

MET針對高分辨率數值模式能夠更好揭示預報氣象要素的空間結構，但技巧評分卻低于粗網格模式的“兩難”現象，采用了鄰域法或相鄰格點法［22］來評估高分辨率數值預報模式。

鄰域法也被稱為模糊法，是通過比較預報和觀測場中對應點臨近區域內的特征而命名，其優點是能夠更好地區別不同尺度上模式預報能力的差異，與傳統校驗的差別在于模糊校驗假定當預報值相對于觀測點位置有偏移時，預報仍然是可用的，能夠接受的位移的大小或程度被定義為鄰域。圖4給出了傳統檢驗與鄰域檢驗方法空間匹配差異，可以看出，鄰域法可以更好地建立高分辨率模式與稀疏的觀測站點對應關系，使檢驗結果更加合理。

MET基于鄰域法評估細網格模式產品計算的主要評分指數有FSS（Fractions Skill Score）評分、ETS，FSS、ETS分別反映了模式預報的面積和強度與觀測的差異。圖5給出了利用2011年6月—2013年12月暖季（5—9月）ECMWF細網格模式降水預報資料對秦嶺及周邊地區降水預報性能的檢驗實例，觀測資料為與預報時段一致的CMORPH衛星與自動站逐小時降水融合資料，以此來分辨模式在多大尺度上降水預報性能最佳。從圖中可以看出，在低閾值降水時，增大模式的尺度有利于同時提高模式降水面積和強度的預報準確率，而在高閾值降水增大空間尺度盡管有可能提高面積預報準確率，但使得降水強度預報性能急劇下降。

4　結論和討論

MET是DTC最新研究的、功能強大的數值預報檢驗評估工具，它包括通用數值模式產品檢驗模塊MET及臺風路徑檢驗模塊MET-TC兩個部分。其中，MET模塊囊括了模式評估方法中的經典檢驗技術、概率預報檢驗技術、集合預報檢驗技術以及伴隨著高分辨率數值預報產品的出現而出現的模式空間診斷檢驗技術。本文首先闡述了MET、MET-TC的系統架構、數據流，給出了MET、MET-TC系統的核心程序組件及功能描述；其次簡述了MET系統針對經典檢驗技術所計算的評分指數，詳細敘述了MET系統針對概率預報、集合預報的檢驗方法；最后闡述了隨著高分辨率數值預報產品而出現的空間診斷檢驗方法，并利用兩種前沿檢驗技術MODE、鄰域法，對日本、ECMWF細網格模式預報產品進行檢驗，給出了具體應用個例。從分析的個例來看，MODE方法更適合于綜合分析模式預報降水面積、強度、軸角、質心距離等各種不同屬性的表現特征，而鄰域法在判別模式在不同空間尺度上的預報能力上具有較大的優勢，是檢驗模式預報性能不同方面的有效方法，因此兩者結合使用往往能更加全面地分析模式的預報表現。

圖4　MET系統的鄰域法匹配示意圖（a）觀測場；（b）傳統方法檢驗的匹配模式；（c）鄰域法匹配Fig. 4 The schematical matching map of the neighborhood methods: （a） the observation field in the domain， （b） matching model of the traditional verification mathods at the same grid box in forecast， （c） Fuzzy verification considering a neighborhood surrounding the observations

圖5　鄰域法檢驗個例：不同空間尺度下ECMWF模式6h降水預報的FSS（a）和ETS（b）隨不同降水閾值的變化圖（圖中數字表示對應尺度、量級下評分的數值大?。〧ig. 5 A case of Neighborhood method verified. Aggregated scores of the ECMWF at different precipitation thresholds and spatial scales: （a） FSS and （b） ETS （the bold numbers refer to the score values at corresponding threshold and scale）

MET系統對模式產品檢驗評估的方法齊全、功能強大，本文在綜合分析、研究MET系統架構、功能的基礎上，對MET系統做了較為詳細的闡述及簡單應用，以此方便模式使用者、開發者利用MET系統更好地對模式產品進行評估。需要說明的是，MET涉及的各種檢驗方法繁多，文中的一些方法僅為簡單介紹，還有一些評分技巧也沒有做出具體說明，更為深入、全面地理解和應用有待于在后期工作中展開。

［1］陳海山， 孫照渤. 陸面模式CLSM的設計及性能檢驗II：模式檢驗. 大氣科學， 2005， 29（2）： 272-282.

［2］潘留杰， 張宏芳， 朱偉軍， 等. ECMWF模式對東北半球氣象要素場預報能力的檢驗. 氣候與環境研究， 2013， 18 （1）： 112-123.

［3］潘留杰， 張宏芳， 王建鵬， 等. 日本高分辨率模式對中國降水預報能力的客觀檢驗. 高原氣象， 2014， 33（2）： 483-494.

［4］劉建國， 謝正輝， 趙琳娜， 等. 基于多模式集合的小時氣溫概率預報. 大氣科學， 2013， 37（1）： 43-53.

［5］陳超君， 王東海， 李國平， 等. 冬季高海拔復雜地形下GRAPESMeso要素預報的檢驗評估. 氣象， 2012， 38（6）： 657-668.

［6］Skok G， Tribbla J， Rakovec J. Object-based analysis of satellitederived precipitation systems over the low- and midlatitude Pacific Ocean. Mon Wea Rev， 2009， 137： 4561-4575.

［7］何立富， 周慶亮， 諶蕓， 等. 國家級強對流潛勢預報業務進展與檢驗評估. 氣象， 2011， 37（7）： 777- 784.

［8］賈麗紅， 張慧嵐， 肖開提·多萊特， 等. T639數值產品對影響新疆主要系統的預報檢驗評估.氣象， 2012， 38（8）： 971-976.

［9］劉君， 黃江平， 董佩明， 等. 衛星資料循環同化應用對區域數值預報效果影響分析. 氣象， 2013， 39（2）： 156-165.

［10］閔晶晶. BJ-RUC系統模式地面氣象要素預報效果評估. 應用氣象學報， 2014， 25（3）： 265-273.

［11］潘留杰， 張宏芳， 王建鵬. 數值天氣預報檢驗方法研究進展. 地球科學進展， 2014， 29（3）： 327-335.

［12］杜良敏， 柯宗建. 一種適用于延伸期過程事件預報的檢驗方法.應用氣象學報， 2013， 24（6）： 686-694.

［13］張宏芳， 潘留杰， 楊新. ECMWF、日本高分辨率模式降水預報能力的對比分析. 氣象， 2014， 40（4）： 424-432.

［14］鄧國， 龔建東， 鄧蓮堂， 等. 國家級區域集合預報系統研發和性能檢驗. 應用氣象學報， 2010， 21（5）： 513-523.

［15］Brier G W. Verification of forecasts expressed in terms of probability. Mon Wea Rev， 1950， 78： 1-3.

［16］Hamill T M. Interpretation of rank histograms for verifying ensemble forecasts. Mon Wea Rev， 2001， 129： 550-560.

［17］Gilleland E， David A， Brown G. Intercomparison of spatial forecast verification methods. Wea Forecasting， 2009， 24：1416-1429.

［18］Marsigli C， Montani A， Paccangnella T. A spatial verification method applied to the evaluation of high-resolution ensemble forecasts. Meteorol Appl， 2008， 15： 125-143.

［19］Hoffman R N， Liu Z， Louis J F， et al. Distortion representation of forecast errors. Mon Wea Rev， 1995， 123： 2758-2770.

［20］Davis C B， Brown B G， Bullock R G. Object-based verification of precipitation forecasts. Part I： methods and application to mesoscale rain areas. Mon Wea Rev， 2006， 134： 1772-1784.

［21］Davis C A， Brown B G， Bullock R G. Object-based verification of precipitation forecasts， Part II： application to convective rain systems. Mon Wea Rev， 2006， 134： 1785-1795.

［22］杜鈞， 李俊. 集合預報方法在暴雨研究和預報中的應用. 氣象科技進展， 2014，4（5）： 6-20.

Numerical Weather Prediction Model Testing and Evaluation Systems MET and Application

Pan Liujie1， Zhang Hongfang2， Xue Chunfang3， Wang Jianpeng1， Liu Yong1
（1 Shaanxi Meteorological Observatory， Xi'an 710014 2 Shaanxi Meteorological Service Centre， Xi'an 710014 3 Shaanxi Meteorological Bureau， Xi'an 710014）

The MET （Model Evaluation Tools） comprehensively uses many kinds of advanced model testing and evaluation algorithms， such as the classical methods， the analysis of high resolution mode diagnosis， ensemble prediction， probability forecast， and the typhoon path test. It is the newest numerical prediction test， evaluation system developed by DTC （The Developmental Tested Center） in the NCAR （National Center for Atmospheric Research， USA）. The main purposes are not only to provide a mode performance test tool for mode developers， but also to give users a forecast ability of distinguishing mode and then getting the forecast index by using MET. MET provides abundant interfaces of stations and grid data； it's core component integrates many advanced classic mode test methods above mentioned. In addition， it provides various drawing scripts based on language R for user's convenience. This article briefy explains the MET system， and gives a precipitation test example based on the MET object-oriented method and neighborhood method.

MET， probability forecast， ensemble prediction， spatial diagnosis

10.3969/j.issn.2095-1973.2016.04.005

2014年11月20日；

2015年4月11日

潘留杰（1978—），Email: pljmtgh57245@sina.com

資助信息： 陜西省自然科學基金（2015JM4140）；陜西省氣象局面上科研項目（2016M-1）；中國氣象局預報員專項（CMAYBY2014-070）