幾種暴雨預報方法內部一致性的信度評價

侯宜廣　趙瑾　吳偉巍等

摘要采用基于權重Kappa統計值的方法，在剔除了由于偶然性和隨機性造成的一致性的基礎上，對3種常用暴雨預報方法的預報結果的一致性進行了衡量。結果表明，數值模式預報與綜合經驗預報的預報結果為“本質的一致性”，說明其預報結果的一致性并不是由于偶然性造成的；衡量結果是清晰的，內部一致性的信度評價是可靠的，避免了來自主觀評價的差異，從而有利于提高對不同預報方法預報結果的差異性的認識，對進一步提高暴雨預報的準確度有重要意義。

關鍵詞 暴雨預報；權重Kappa統計值；一致性；信度評價

中圖分類號S165文獻標識碼A文章編號0517-6611（2015）16-216-03

Reliability Evaluation of the Internal Consistency about Heavy Rain Forecast Methods

HOU Yiguang1， ZHAO Jin1， WU Weiwei2 et al

（1. Xuzhou Meteorological Bureau， Xuzhou， Jiangsu 221002； 2. College of Civil Engineering， Southeast University， Nanjing， Jiangsu 210096）

AbstractOn the basis of eliminating the consistency by contingency and randomness， the consistency of forecast results for three kinds of commonly used method about heavy rain forecast was measured based on weighted Kappa statistics method. The results showed that the essence of forecast results for numerical model forecast and comprehensive experience forecast are consistency. In other words， the consistency of forecast results is not effected by contingency. To avoid the differences from subjective assessment by clear outcome evaluation and dependable reliability evaluation for internal consistency. Thus， we can improve the understanding about the differences of the forecast results which based on different forecasting methods， and that has important significance to improve the accuracy of heavy rain forecasting.

Key words Heavy rain forecast； Weighted Kappa statistics value； Consistency； Reliability evaluation

我國是世界上多暴雨的國家之一，暴雨對我國經濟社會發展和人民生命財產構成了嚴重危害，民政部數據顯示，僅2010年上半年我國就因暴雨導致直接經濟損失高達2 100多億元[1]。對于黃淮流域來說，初夏是暴雨多發期，期間暴雨平均發生次數約占全年近62%。準確的暴雨預報對工農業生產、社會生活具有非常重要意義。暴雨預報在汛期天氣預報和決策氣象服務中也越來越顯示出它的重要作用。暴雨預報是一個復雜的系統工程，也是氣象工作者一個長期探索的科學難題，很多氣象工作者對它的發生發展機理、數值模擬等進行了研究[1]。近幾十年來，通過試驗工作和理論探索，無論是在分析預測還是在基礎理論研究方面均取得了重大進展[2-4]，如郭裕福等研究得出長江流域洪水和印度洋海溫異常有緊密關系[5]；周廣強等通過分析長江暴雨過程中的云滴譜和地面降水的關系，得出云滴譜的不確定性對長江流域暴雨有重要影響[6]；李躍清研究認為青藏高原東側邊界層風場和長江暴雨有緊密關系[7]。但暴雨過程本身是一個十分復雜的過程，目前仍有很多未解決的問題。因此，準確及時的暴雨量級預報是非常困難的。

當前對暴雨預報主要采用數值預報的輸出產品，但由于暴雨的發生發展機理還有很多未解決的問題，數值預報中的物理參數化方案只是暴雨發生發展各物理過程的一種近似，在實際天氣預報中會發現采用不同的參數化方案對暴雨的預報會出現較大差異[1]。數值預報系統雖能提供可信度較高的中期時效（一周或更長）的天氣形勢預報、大尺度天氣過程預報和短期定點氣象要素值預報，但數值預報畢竟不能替代預報員的綜合預報[8]。從預報業務應用上認識數值預報產品性能和誤差，對數值產品進行主觀分析、判斷和誤差訂正，尋求客觀預報與主觀預報的最佳結合點，是提高預報水平的有效途徑[9]。然而，在不同預報方法下的預報結果所達成的一致性（即預報結果相同），也有可能是由于偶然性和隨機性所造成的，現有的文獻中缺乏針對解決此類問題的相關研究。也就是說，如何在比較不同預報方法的預報結果時剔除偶然性和隨機性的影響，在暴雨預報領域仍然是個空白。筆者基于Kappa統計值的方法，在剔除由于偶然性和隨機性造成的一致性的基礎上，對數值模式預報、統計預報和綜合經驗預報3種常用暴雨預報方法的預報結果的一致性進行衡量，從而提高對不同方法預報結果的差異性的認識，該研究對于更加深刻地認識各種預報方法及其預報結果、對進一步提高暴雨預報的準確度有重要意義。

1資料與方法

1.1Kappa統計值概述

Kappa統計值是內部一致性信度評價的重要指標。信度是衡量預測結果內部一致性的程度，也是對預測結果一致性和穩定性的評價標準。Kappa統計值是被廣泛采用的、用來衡量去除偶然性以后的內部一致性的統計量[10-13]，在臨床診斷、分類等領域也得到了非常廣泛的應用[12，14]。這種方法考慮了由于偶然性達成一致的可能性，通過首先從表面一致性里面減去由于偶然性導致一致性的可能性，然后再除以非偶然性導致的一致性，從而計算出相應的Kappa統計值[15-16]。采用的預報結果（篩選出24 h預報雨量為大雨以上的作為研究個例）分為大雨（24 h雨量在25.0～49.9 mm）、暴雨（24 h雨量在50.0～99.9 mm）、大暴雨（24 h雨量在100.0～199.9 mm）和特大暴雨（24 h雨量≥200.0 mm）4個級別，則每種預報方法的結果均有這4種可能。顯然，距離遠的2個選項的差異性比距離近的2個選項的差異性大，為了反映這種差異性，就要給每一個情況賦以不同的權重，權重Kappa統計值就可以解決這種情況。樣本數可根據Kappa精度要求來確定，通常需要20～30個樣本量[17]。樣本量不需要太大，當樣本量很大，且一致性較高時，即使計算結果有統計學意義，其實際意義也不大。

1.2權重Kappa統計值

1.2.1

衡量2種預報方法的一致性。由于理論上的一些原因，Fleiss建議為每對比較選項按照以下的公式賦以權重[15]：

wij=1-（i-j）2（k-1）2

（1）

這也是被廣泛采用的賦權重方法之一，式中，i表示行數，j表示列數，k表示選項個數。表面一致性通過以下公式計算：

po（w）=1N∑ki=1 ∑kj=1wijSij

（2）

式中，N表示樣本總數，wij表示所賦權重值，Sij表示預報結果分組匯總的二維分布。 由偶然性導致的一致性計算公式如下：

pe（w）=1N2∑ki=1 ∑kj=1wijSiSj

（3）

式中，N表示樣本總數，wij表示所賦權重值，Si表示分組中一種預報方法的i分類之和，Sj表示分組中另一預報方法的j分類之和。 則權重Kappa值為：

k（w）=po（w）-pe（w）1-pe（w）

（4）

對Kappa統計值的解釋一直是研究人員關心的熱點問題。就Kappa值的意義而言，它的變化范圍是-1～1。在小于0的情況下，表明結果是由于偶然性造成的，等于1則表示“完美的一致性”。對Kappa統計值進行解釋的常用指導性標準如表1所示[11-12]。

表1對Kappa統計值進行解釋的指導性標準

Kappa統計值并不是由于偶然性造成的一致性的支持強度

<0很差

0～0.20微弱的

0.21～0.40清楚的

0.41～0.60中等的

0.61～0.80本質的

0.81～1.00幾乎完美的

1.2.2

衡量多種預報方法的一致性。當涉及到多個預報方法、多個預報結果時，最常見的做法是分別求取所有兩兩不同預報方法組合的Kappa統計值，然后取所有Kappa統計值的平均值。用公式表示則是：

kave（w）=1Q∑Qq=1kq（w）

（5）

Fleiss建立了另外一種一次性計算該種情況下的Kappa統計值的模型[15]，但并沒有得到廣泛的應用。其最大的問題在于對結果的解釋上，因為不一致性會隨著預報等級的增多以及評價樣本數的增多而減小，按照這種方法計算出來的Kappa值相對比較小，不太適合去與一般性意義下的Kappa統計值的指導標準（表1）進行比較。這也是前面提到的樣本量不要求很大的主要原因。

1.3案例背景

目前應用于我國氣象部門天氣預報業務的預報方法主要有數值模式預報、統計預報和綜合經驗預報（天氣圖分析法）3種。筆者選取了2005年7月8日～2006年7月10日期間由徐州市氣象臺利用這3種暴雨預報方法制作的暴雨預報結果（表2）。

表23種預報方法的預報結果示例

序號日期數值模式統計預報綜合經驗序號日期數值模式統計預報綜合經驗

12005-07-08ⅡⅡⅠ112005-08-29ⅠⅠⅠ

22005-07-10ⅡⅠⅡ122005-09-21ⅠⅡⅠ

32005-07-15ⅠⅡⅠ132005-09-30ⅡⅠⅡ

42005-07-16ⅠⅡⅠ142005-11-05ⅠⅠⅠ

52005-07-17ⅠⅠⅠ152006-05-05ⅠⅠⅡ

62005-07-23ⅡⅡⅡ162006-06-14ⅡⅠⅡ

72005-07-24ⅠⅠⅠ172006-06-22ⅡⅠⅠ

82005-07-31ⅡⅢⅡ182006-06-29ⅡⅠⅡ

92005-08-02ⅠⅠⅠ192006-07-03ⅢⅡⅢ

102005-08-03ⅠⅡⅠ202006-07-10ⅠⅡⅠ

注：Ⅰ為大雨；Ⅱ為暴雨；Ⅲ為大暴雨；Ⅳ為特大暴雨。其中，數值模式是采用美國NCEP本地化制作預報，統計預報是采用回歸相關法制作預報，綜合經驗是利用業務人員長期經驗總結作出預報。

2結果與分析

2.1權重的賦值

按照公式（1）對不同對比選項組賦以的權重如表3所示。

表3權重Kappa統計值中賦的權重

量級ⅠⅡⅢⅣ

Ⅰ1.0000.8890.5560

Ⅱ0.8891.0000.8890.556

Ⅲ0.5560.8891.0000.889

Ⅳ00.5560.8891.000

注：Ⅰ為大雨；Ⅱ為暴雨；Ⅲ為大暴雨；Ⅳ為特大暴雨。

2.2權重Kappa統計值的計算

根據表2中3種預報方法的預報結果進行匯總統計（圖1）。根據表3中wij的權重值和圖1中的Sij、Si、Sj的統計值，按照公式（2）、（3）和（4），3種預報方法之間的表面一致性、由于偶然性造成的一致性、Kappa統計值的計算如表4所示。從表4可以看出，數值模式預報和統計預報的表面一致性高達0.933，而剔除偶然性造成的一致性后，Kappa統計值僅表示“微弱的一致性”。同理，數值模式預報和綜合經驗預報為“本質的一致性”，說明其預報結果的一致性并不是由于偶然性造成的。統計預報和綜合經驗預報之間也僅是“微弱的一致性”。

注： Ⅰ為大雨；Ⅱ為暴雨；Ⅲ為大暴雨；Ⅳ為特大暴雨。

圖13種預報方法的預報結果匯總

3 結論

針對現有研究的不足，筆者基于權重Kappa統計值的方法，在剔除了由于偶然性和隨機性造成的一致性的基礎上，對3種常用暴雨預報方法的預報結果的一致性進行了衡量。結果表明，數值模式預報和統計預報的表面一致性高達0.933，而剔除偶然性造成的一致性后，Kappa統計值僅表示“微弱的一致性”；同理，數值模式預報和綜合經驗預報為“本質的一致性”，說明其預報結果的一致性并不是由于偶然性造成的；統計預報和綜合經驗預報之間也僅是“微弱的一致性”。可見，這種統計學方法可同時排除偶然一致性和系統

性誤差的干擾，比一般的相關系數更好[17]。采用基于權重

表43種預報方法之間的一致性衡量計算結果

統計項數值模式預報和統計預報數值模式預報和綜合經驗預報統計預報和綜合經驗預報

表面一致性0.9330.9830.928

偶然一致性0.9220.9220.922

Kappa統計值0.1490.7860.071

（含義）（微弱的一致性）（本質的一致性）（微弱的一致性）

Kappa統計值的方法來衡量這3種預報方法的結果是清晰的，內部一致性的信度評價是可靠的，避免了來自主觀評價的差異，從而有利于提高對不同預報方法預報結果的差異性的認識，對進一步提高暴雨預報的準確度有重要意義。

參考文獻

[1]

王洋，高廣青，王鵬，等.長江中下游暴雨短期集合預報試驗[J].科學與財富，2011（1）：1-2.

[2] 陳靜，薛紀善，顏宏，等.一種新型的中尺度暴雨集合預報初值擾動方法研究[J].大氣科學，2005，29（5）：717-726.

[3] 陳靜，李川，馮漢中，等.青藏高原東側“2003.8.28”暴雨的集合預報試驗[J].高原氣象，2004，23（S1）：6-14.

[4] 牛震宇，張立鳳.基于集合預報思想對一次暴雨過程的數值模擬[J].解放軍理工大學學報：自然科學版，2006，7（1）：73-79.

[5] 郭裕福，趙彥.1998年長江流域洪水與海溫異常關系的數值模擬研究[J].大氣科學進展（英文版），2002（3）：391-404.

[6] 周廣強，趙春生，秦瑜，等.云滴譜的不確定性對中尺度降水的影響[J].熱帶氣象學報，2005，21（6）：605-614.

[7] 李躍清.1998年青藏高原東側邊界層風場與長江暴雨洪水的關系[J].大氣科學，2000，24（5）：641-648.

[8] 薛紀善.和預報員談數值預報[J].氣象，2007，33（8）：3-11.

[9] 張國材.預報員在未來天氣預報中的作用探討[J].氣象，2004，30（7）：8-11.

[10] VIERA A J，GARRETT J M.Understanding interobserver agreement：The kappa statistic [J].Family Medicine，2005，37（5）：360-363.

[11] VRIES H D，ELLIOTT M N，KANOUSE D E，et al.Using pooled kappa to summarize interrater agreement across many items [J].Field Methods，2008，20（3）：272-282.

[12] GAMBATESE J A，BEHM M，RAJENDRAN S.Designs role in construction accident causality and prevention：Perspectives from an expert panel [J].Safety Science，2008，46：675-691.

[13] 吳偉巍.施工現場安全危險源實時監控與安全風險預測方法研究[D].南京：東南大學，2009.

[14] KUNDEL H L，POLANSKY M.Measurement of observer agreement [J].Radiology，2003，228：303-308.

[15] FlEISS J L，LEVIN B，PAIK M C.Statistical methods for rates and proportions （Third Edition） [M].3rd ed.Hoboken，NJ，USA：John Wiley & Sons，Inc.，2003.

[16] FEINSTEIN A，CICCHETTI D.High agreement but low kappa.I.The problem of two paradoxes[J].J Clin Epidemiol，1990，43：543-549.

[17] 吳毅，胡永善，范文可，等.功能評定量表信度和效度的研究[J].中國康復醫學雜志，2004，19（3）：230-231.