數據誤差處理方法在洪水預報中的應用

丁海蛟，車文剛

(昆明理工大學信息工程與自動化學院，云南昆明 650500)

?

數據誤差處理方法在洪水預報中的應用

丁海蛟，車文剛

(昆明理工大學信息工程與自動化學院，云南昆明 650500)

摘要洪水災害會對我國的正常農業生產造成非常嚴重的影響，因此提出一種基于數據誤差處理的洪水預報方法有重要意義。結合四川省自貢市某水文站實測的流量數據，應用LS-SVM智能算法建立了單輸入單輸出(流量—流量)洪水預報模型，并應用數據誤差處理方法中改進的拉依達準則法(3σ)和肖維勒準則法(Chauvenet)來處理樣本數據里存在的一些誤差數據。實驗結果表明，應用以上2種數據誤差處理方法處理過后的LS-SVM預測模型可以滿足洪水預報精度的要求。

關鍵詞流量；LS-SVM；洪水預報；數據誤差處理

到目前為止，洪水災害是全世界范圍內最具毀滅性的自然災害，對正常的農業生產造成了十分嚴重的影響[1]。為了保障正常的農業生產、保持經濟的平穩健康發展，防洪減災工作是非常必要的。洪水預報在預防洪水和防洪預案的制定工作中一直發揮著非常重要的作用。筆者研究將數據誤差處理方法結合LS-SVM智能算法[2]應用到河道的流量預報之中。

1洪水預報研究概況

洪水預報的方法有很多，比較著名的馬斯金根洪水演算法就是McCarthy等于1938年對位于美國境內的馬斯金根河進行了綜合分析以及研究后提出的[3-4]，此方法提出之后就迅速地在全世界范圍內獲得了非常廣泛的應用。在此時期內提出的許多模型至今仍然被各個國家的學者廣泛應用，此后的科學研究者們還在已有的洪水預報模型基礎上提出了很多的改進方法[5]。

我國在洪水預報領域的研究起步比較晚，一直以來采用的是超滲產流的概念[6]，此概念是美國學者霍爾頓在20世紀30年代提出來的。我國學者趙人俊在20世紀60年代初期提出了蓄滿產流的概念，這個概念是趙人俊在研究了南方流域特性的基礎上得到的[7]。目前，國內還沒有建立一個可以較好地解決一些普遍性問題的洪水預報系統。我國洪水預報系統的開發，一般都是針對特定的對象、特定的問題或者特定的需求，缺乏通用性。所以，我國目前對洪水預報的研究仍然處于發展的時期，在一些實際的洪水預報作業工作中仍存在很多亟待解決的問題。

2數據誤差處理方法

2.1數據誤差處理的必要性由于該研究中使用的流量數據是源于天然河道的流量數據采集，通過對所研究區域的所有水文站點進行調查，發現這些原始的流量數據嚴格意義上說很難準確地反映出所研究流量的客觀存在，因為一些人為因素產生的影響，所有的經過測量得到的流量數據都會有誤差，而這種有誤差的原始流量樣本數據一定會影響到LS-SVM所建立預測模型的預測效果，因此要得到比較準確的預測效果，就要剔除這些藏在原始流量數據中的誤差數據。該研究應用2種數據誤差處理方法進行處理。

2.2改進的拉依達準則法(3σ)拉依達準則法又可以叫做3σ準則法，根據高斯誤差理論：當誤差服從正態分布之時，它落在[-3σ，3σ]內的概率為99.7%，即異常的數據就是誤差的絕對值大于3σ的數據，異常的數據應該被剔除。應用3σ準則法剔除異常數據的步驟如下：

(1)

②計算各個測量值的殘差Ui，以及數據列的標準偏差σ，公式分別如下：

(2)

(3)

③各個測量值殘差Ui的絕對值和3σ的比較。經過對此方法進行變形改進，可以得到更加簡便的方法。根據平均值的定義，可以得到：

(4)

一般情況下，選取的X0應該盡可能地與該測量序列Xi的平均值相接近，并且令Ωi=Xi-X0。

根據變化的貝塞爾公式[8]，可以得到：

(5)

這里需要說明的是：因為總體的方差是σ2，而σ2是未知的，樣本方差是S2，它是σ2的一個估計值，所以，一般在實際應用時會用3S來代替3σ。

(6)

則將Xi剔除，否則就保留。其中，Kn是與樣本容量n有關的系數，可以查表1得到。

表1　肖維勒準則Kn數據

3 基于數據誤差處理方法的LS-SVM預測實驗

該研究的整體結構和樣本數據誤差處理流程如圖1所示。

圖1　整體結構以及樣本數據誤差處理流程Fig.1　Processing flow of sample data error and overall structure

3.1數據誤差剔除算例取2012年7月10日一天的25個流量數據如表2所示。接下來應用2種方法來剔除這組數據中的異常值。

表2　流量數據

3.1.1改進的拉依達準則法。取X0=61.32，因為Ωi=Χi-Χ0，所以，Ωi的值如表3所示。

表3　Ωi數據

由于：

(7)

(8)

因為以上的這2個極值是正常值，所以這2個極值之間的其他數值肯定也是正常值，也就可以判定目前該組數據中不存在異常值。

經過驗證，所剩余其他數據都是正常值，均保留。因為通過改進的拉依達準則法和肖維勒準則法判斷所剩余的數據均不存在異常值，所以可以斷定經過異常值剔除后的數據中不存在誤差數據。

以上2種異常值剔除算法，所剔除的異常值都是最大值和最小值，分析該誤差的來源可能是人為因素所造成的粗大誤差。因為在此作為算例來進行單組數據的計算是比較簡單的，但是該研究中所用到的原始樣本數據很多，所以，該研究是借助MATLAB的數據處理功能來進行處理的。

3.2模型預測結果的評定標準為了驗證LS-SVM預測模型結果的可行性及其有效性，該研究在此給出預測結果的評定準則。在該研究中所應用的精度評定準則來自于中華人民共和國水利部《水文情報預報規范》(SL250—2000)[9]。接下來給出一些重要參數的取值范圍：

①結合現場的實際情況以及中華人民共和國水利部《水文情報預報規范》設置流量的許可誤差為：0.9m3/s。

②合格率：

(9)

式中，n是合格預報次數，m是預報總次數；其中,QR≥85.0%時，為甲級精度；70.0%≤QR<85.0%時，為乙級精度；60.0%≤QR<70.0%時，為丙級精度。

③確定性系數：

(10)

④絕對誤差：

AE=yc(i)-y0(i)

(11)

式中，y0(i)為實測值，yc(i)為預報值。

⑤相對誤差：

(12)

式中，y0(i)為實測值，yc(i)為預報值。

⑥作業預報精度GI為預報誤差和許可誤差之比。GI≤25.0%，為優秀；25.0%100.0%，為不合格。

⑦洪水預報方案的精度等級達到甲級或者乙級，可以用于發布正式的預報；洪水預報方案的精度達到丙級，可以用于參考性預報；洪水預報方案的精度為丙級以下，只能用于參考性估報。

3.3單輸入單輸出流量預測模型(流量—流量)該研究中采用網格搜索法[10]尋找最優參數，最終確定模型參數γ=0.5，σ2=1.414 2。該研究建立的單輸入單輸出流量—流量預測模型輸入輸出示意圖如圖2所示。

圖2　單輸入單輸出(流量—流量)預測模型輸入輸出示意Fig.2　Prediction model of single input and single output(flow-flow)

利用2008年7月到2013年7月的數據對模型進行訓練后，對2014年7月一共31 d測試集的數據進行預測，預測結果如圖3所示。對預測模型輸出結果的分析如表4所示。

圖3　單輸入單輸出LS-SVM流量預測Fig.3　LS-SVM flow prediction of single input and single output

驗證數據Validationdatam3/sLS-SVM預測數據LS-SVMpredictiondata∥m3/sLS-SVM絕對誤差LS-SVMabsoluteerror∥m3/sLS-SVM相對誤差LS-SVMrelativeerror%預報是否合格Qualifiedforecastornot107.00106.950.05-0.047合格 91.9092.120.220.24合格 93.8094.060.260.28合格 87.9088.590.690.79合格 61.3064.823.525.74不合格68.3069.040.741.08合格 78.5083.865.366.83不合格101.00100.390.61-0.60合格 151.00150.620.38-0.25合格 104.00104.050.050.05合格 84.7088.193.494.12不合格106.00105.340.66-0.62合格 174.00171.382.62-1.51不合格115.00114.710.29-0.25合格 97.8097.900.100.10合格 94.8095.620.820.86合格

接下表

3.4結果分析經過計算，LS-SVM單輸入單輸出流量預測模型的QR為77.4%(精度等級為乙)；DC=0.899 7(精度等級為乙)；GI=98.81%(合格)；絕對誤差值為0.889 3；相對誤差均值為0.733 0%。

根據以上模型精度數據，并依據《水文情報預報規范》(SL250—2000)[9]的相關規定，能夠得出：數據誤差處理方法結合LS-SVM智能算法所建立的預測模型預測的效果比較好，其精度等級達到了乙級，可以用于發布正式的洪水預報。

4結論

該研究應用數據誤差處理的2種方法結合LS-SVM智能算法建立了河道流量預測模型，通過對實例的分析表明：所建立的河道流量預測模型是合理可行的，模型的精度等級達到了乙級，能夠用于發布正式的洪水預報，可以為農業生產中防洪方案的制定工作提供十分有效的參考。

參考文獻

[1] 徐霞，王靜愛，王文宇.自然災害案例數據庫的建立與應用：以中國1998年洪水災害案例數據庫為例[J].北京師范大學學報(自然科學版)，2004，36(2)：274-280.

[2] 王哲，楊學軍，柳林.基于混合智能算法優化LS-SVM的需水預測模型研究[C]//鄧堅.中國水文科技新發展：2012中國水文學術討論會論文集.南京：河海大學出版社，2012.

[3] 孫茂相，孫金根.多水庫系統最優控制新算法[J].中國電機工程學報，1990(S1):41-48.

[4] HINO M.On-line prediction of hydrologic system[C]//Proc 15th Cong Int Assoc Hydraul Res.Istanbul，Turkey，1973：121-129.

[5] ABBOTT M B，BATHURST J C，CUNGE J A，et al.An introduction to the European hydrological system-Systeme Hydrologique Europeen，“SHE”，2：Structure of a physically-based，distributed modelling system[J].Journal of hydrology，1986，87(1)：61-77.

[6] 高軍俠.黃土高原坡耕地超滲產流及作用研究[D].楊凌：西北農林科技大學，2002.

[7] 趙人俊.流域匯流的計算方法[J].水利學報，1963(3)：109.

[8] 魏彥玉，王文祥，李宏福.兩類含兩個變態貝塞爾函數積的積分公式[J].電子科技大學學報，1999，28(1)：66-69.

[9] 中華人民共和國水利部.水文情報預報規范：SL250—2000[S].北京：中國水利水電出版社，2000.

[10] 邸欣，崔升佐，孫毓慶.用網格搜索尋優法選擇分離6種青霉素類藥物的薄層色譜溶劑系統[J].色譜，1996(3)：211-213.

Application of the Data Error Processing Method in Flood Prediction

DING Hai-jiao, CHE Wen-gang

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming, Yunnan 650500)

AbstractSince the flood disaster causes very serious impacts on normal agricultural production in China, it was of great significance to put forward the flood prediction method based on data error processing. Combining with the flow data measured by a given hydrological station in Zigong City of Sichuan Province, LS-SVM intelligence algorithm was used to establish a single input single output (flow-flow) prediction model. Two kinds of the data error processing method: the improved 3σ method and the chauvenet method to deal with some error data which were hiding in the sample data. The experimental results showed that the application of the above two kinds of data error treatment method used in the LS-SVM prediction model could meet the requirements of flood prediction accuracy.

Key wordsFlow; LS-SVM; Flood prediction; Data error processing

作者簡介丁海蛟(1989- )，男，遼寧朝陽人，碩士研究生，研究方向：智能控制。

收稿日期2016-03-16

中圖分類號S 422

文獻標識碼A

文章編號0517-6611(2016)10-257-04