基于互信息的改進RBF神經網絡預測模型及其應用

劉蕊鑫，紀昌明，馬 源(華北電力大學可再生能源學院，北京102206)

徑流作為重要的水文要素之一，受氣候、地理、環境、人類活動等多方面因素的影響，表現出很強的隨機性、模糊性、灰色性、非線性等特性[1]。徑流預測精度的提高一直是國內外學者關注的熱點問題[2]。徑流預測精度的提高在于對歷史徑流序列的充分挖掘，找出徑流變化的規律[3]。常用的預測方法有多元回歸模型[4]、模糊模式識別[5]、人工神經網絡[6]等方法。

RBF神經網絡相比于多層前饋網絡(MFN)具有良好的泛化能力，網絡結構簡單，可以避免不必要的和冗長的計算[7]。RBF神經網絡能在一個緊湊集合任意精度下，逼近任何非線性函數[8]。目前在很多領域都有廣泛的應用[9-11]。RBF神經網絡應用的關鍵問題之一是神經網絡結構設計和網絡參數調整的問題，2004年伍長榮[12]提出一種改進的RBF神經網絡算法，該算法可以在沒有提前獲知神經網絡結構的前提下，訓練出最優結構的RBF神經網絡及網絡參數。該算法被廣泛應用于各個領域[13,14]，取得了良好的效果。但該算法存在不足之處，在前期未考慮輸入變量(影響因子)選擇的問題，神經網絡的輸入變量過多，會導致網絡結構過于復雜，預報誤差的增加；輸入變量輸入過少，又無法很好地解釋輸出變量的變化機理。在水文預報影響因子選擇的問題上，還存在與輸出變量在時間上的滯后問題，這使得影響因子的選擇更為復雜[15]。針對該問題，本文提出了一種基于互信息的改進RBF神經網絡預測模型。采用互信息理論，對神經網絡的輸入變量進行篩選，選出合理的輸入變量，再以網絡擬合誤差為指標，利用改進的最鄰近聚類法確定出神經網絡的結構和網絡參數。本文以雅礱江流域滬寧水文站為例，將基于互信息的改進RBF神經網絡應用到滬寧站日徑流預測中。結果表明，改進后的徑流預測方法能夠很好地改善改進的RBF神經網絡算法的缺陷，預測精度較高，是一種有效的短期徑流預測方法。

1 互信息理論

目前篩選神經網絡輸入變量常用的方法有主成分分析法[16]、因果關系分析法[17]、正交最小二乘法[18]等。但皆存在不足之處，主成分分析法雖然操作簡單，但水文序列之間一般都存在著復雜的非線性關系，該種方法無法反映出這種非線性關系。因果關系分析法只能給出變量間相關關系的定性描述，無法進行定量的分析。正交最小二乘法能夠計算出每個輸入變量對輸出變量的單獨貢獻，但計算過程比較復雜。

互信息(mutual information，MI)是用于表征變量相關性的一種方法?；バ畔⒌拇笮〈碜兞块g相關信息的多少，變量耦合越強，互信息越大[19]?；バ畔⒓饶苊枋鲎兞块g的線性相關關系，也能描述變量間的非線性相關關系，且計算量小，因此在變量選擇中得到了廣泛的應用[20,21]。

當隨機變量X，Y相互獨立時，其聯合分布密度等于二者邊緣分布密度乘積，即：

PX,Y(x,y)=PX(x)PY(y)

(1)

對于離散型隨機變量的N個觀察值，變量X,Y之間的互信息表達式為：

(2)

2 改進的RBF神經網絡算法

RBF神經網絡的隱含層個數及網絡參數的選擇對神經網絡的性能有著重要的影響，伍長榮[12]將改進的最鄰近聚類法應用于神經網絡的結構設計和參數修正中。改進的最鄰近聚類法是一種在線自適應動態聚類學習算法，構造神經網絡的過程中不必提前獲知神經網絡隱含層節點的個數，聚類完畢后得到的RBF神經網絡結構最佳，并具有學習時間短、計算量小等特點[22]。該算法解決了最鄰近聚類算法中未將輸出信息考慮入聚類標準、聚類半徑固定不變及形成每個聚類后，聚類中心未隨樣本后期的變化而作出調整的缺點。具體改進方法見本文第3節步驟(4)-(7)，這里不在贅述。改進的RBF神經網絡預測模型在各領域中的應用均取得了良好的預測效果，是一種有效的預報模型，但該算法并未考慮神經網絡輸入變量的選擇問題，如果考慮變量的選擇問題，篩選出合理的輸入變量，預測精度有進一步提升的可能性?；诖?，本文將互信息應用于該預測模型中，提出了一種基于互信息的改進RBF神經網絡預測模型，并以雅礱江流域滬寧水文站日徑流預報為例，驗證了這種預測模型的可行性。

3 基于互信息的改進RBF神經網絡預測模型

針對改進的RBF神經網絡算法存在的問題，本文提出了一種基于互信息的改進RBF神經網絡算法。找出所有對輸出變量可能有影響的影響因子，利用互信息理論選擇出與輸出變量互信息較大的輸入變量；在輸入變量選擇的基礎上，利用改進的最鄰近聚類法進行神經網絡結構的設計和參數調整，從而改進網絡的預測性能。算法步驟如下：

(3)

i,j=1,2,…,N

(4)

(2)變量選擇。利用公式(2)計算出每個輸入變量與輸出變量之間的互信息MI大小，選擇滿足MI(Xi;Y)>δiMI(Y;Y)的變量，δi∈(0,1)代表相關閾值。確定神經網絡輸入層節點數和對應的輸入變量。

(3)確定神經網絡輸入層后，為消除各變量的數量級間的差異對神經網絡的影響，需要先對所有變量進行歸一化處理。

(4)計算篩選后的所有樣本之間的距離及平均值：

(6)

i,j=1,2,…,N

選出最靠近樣本xi的q個樣本，間距分別為di1,di2,…,diq，則平均值為：

(7)

(5)從數據對(x1,y1)開始，將x1作為第1個聚類中心，令A(1)=y1,B(1)=1，并設定一個合理的聚類半徑r。

(7)令：

(8)

若：

(9)

則將樣本(xk,yk)劃入聚類u中，且有：

A(u)=A(u)+yk

(10)

B(u)=B(u)+1

(11)

cutmp=cutmp+xk

(12)

式中：cutmp代表聚類u中全部樣本的輸入之和。

否則，將(xk,yk)創建為一個新聚類，并且：

A(l+1)=yk

(13)

B(l+1)=1

(14)

ci+1=xk

(15)

(16)

式中：fj代表輸入xj時神經網絡的輸出。

(9)若神經網絡擬合誤差E滿足目標精度要求，則計算結束，當前網絡結構和網絡參數是該精度下的最優結果。否則利用公式(13)根據精度要求按照梯度下降法調整網絡參數r，并返回第(7)步重新計算，直至滿足要求為止。

(17)

式中：η∈(0,1)為學習速率。

4 實例應用

滬寧水文站位于雅礱江干流，也是錦屏二級水電站的入庫水文站，該站的徑流變化對于水電站水庫調度、發電及農業灌溉等有重要影響。本文選取滬寧水文站1994-2011年共17 a汛期(5-10月)的天然日徑流、降雨量和上游水文站日徑流作為分析對象。

采用1994-2010年共16 a汛期(5-10月)的實測徑流資料作為訓練樣本，共3 128組數據。選取可能影響滬寧站日徑流的影響因子：選擇滬寧站預測日前1日至前5日日流量、滬寧站預測日當日降雨量、預測日前1日至前5日降雨量、三灘站預測日前1日至前5日日徑流和烏拉溪站預測日前1日至前5日日徑流作為影響因子(三灘和烏拉溪站位于滬寧站上游)，共21個影響因子。

計算各影響因子與滬寧站預測日日徑流的互信息結果見表1～4。

表1 滬寧站預測日日徑流與滬寧站前期日徑流之間的互信息Tab.1 Mutual information between Huning forecasting day daily runoff and earlier stage daily runoff

表2 滬寧站預測日日徑流與滬寧站前期日降雨量之間的互信息Tab.2 Mutual information between Huning foresting day daily runoff and earlier stage daily rainfall

表3 滬寧站預測日日徑流與三灘站前期日徑流之間的互信息Tab.3 Mutual information between Huning forecasting day daily runoff and Santan earlier stage daily runoff

表4 滬寧站預測日日徑流與烏拉溪站前期日徑流之間的互信息Tab.4 Mutual information between Huning forecasting daily runoff and Wu La-xi earlier stage daily runoff

滬寧站預測日日徑流的自信息MI=21.138 3，本文取δ1=0.155，δ2=0.064。從表1和表2可得出，輸入變量選擇滬寧站預測日前1日、前2日、前3日日徑流，滬寧站預測日前2日、前3日、前4日、前5日降雨量作為神經網絡輸入變量。這里要特別說明的是，從表3和表4可以看出，三灘水文站出流經過1日傳播至滬寧站，烏拉溪水文站出流經過2日傳播至滬寧站，故三灘和烏拉溪站日徑流影響因子只選擇這2個便可。

采用2011年汛期實測徑流資料作為預測對照數據。RBF神經網絡采用3層網絡結構，輸入層包括前滬寧站預測日前1日至前3日日徑流、前2日至前5日降雨量、三灘站預測日前1日日徑流、烏拉溪站預測日前2日日徑流。對數據進行歸一化處理，采用改進的最鄰近聚類法對神經網絡進行訓練并作出預測，對最終所得數據實行反歸一化處理，并同實際徑流資料進行比較分析。

網絡訓練擬合誤差目標越小，擬合精度越高，樣本中心寬度也隨之減小，但為防止發生過度擬合現象，訓練誤差目標不宜設定得過低。訓練誤差目標取E=0.5，經訓練得出的神經網絡中心寬度為0.095。利用訓練完成后得到的神經網絡進行2011年汛期日徑流的預測，采用確定性系數DC、流量過程相對誤差EQ和預報合格率QR3個指標來檢驗算法對日徑流的預測效果進行評定。

DC、EQ和QR的計算方法如下：

(20)

表5顯示了基于互信息的改進RBF神經網絡預測效果指標與單一RBF神經網絡及改進的RBF神經網絡預測效果指標的對比，圖1顯示了3種預報模型預測值和實際值的對比，圖2顯示了3種預測模型對2011年汛期連續184 d的預報相對誤差的絕對值。

表5 預測效果指標對比Tab.5 Comparison of prediction effectiveness index

圖1 2011年5-10月日徑流預測結果比較Fig.1 Comparison of daily runoff prediction result during May to October, 2011

圖2 3種模型預測2011年汛期日徑流相對誤差絕對值Fig.2 Daily runoff relative error absolute value of three prediction model during flood season in 2011

從表5、圖1和圖2可以看出基于互信息的改進RBF神經網絡預測模型能更好地預測出水文站日徑流，相對于單一RBF神經網絡和改進的RBF神經網絡算法預測結果確定性系數有所提高，流量過程相對誤差降低。在2011年汛期連續184 d的變化中，預測相對誤差在±20%以內的合格率達到96.20%，平均相對誤差2.86%，相對于原算法預測效果有明顯提升。但從圖2中可以看出基于互信息的改進RBF方法的預測結果中依然有誤差較大的點產生(相對誤差絕對值>20%)，這是因為這些點在神經網絡訓練過程中從未出現過，神經網絡的精度很大程度上取決于訓練樣本的代表性和精確度，所以在實際應用中應盡量使用數據容量較大的樣本，以獲得更準確的預測結果。

5 結 論

針對改進RBF神經網絡算法輸入變量未經過篩選的缺點，本文提出了一種基于互信息的改進RBF神經網絡預測模型，并將其應用于雅礱江滬寧水文站日徑流預測中，并與原預測模型進行對比，通過滬寧站2011年汛期日徑流預測結果可以發現：

(1)基于互信息的改進RBF神經網絡預測模型能有效地選擇影響輸出變量的影響因子，去除冗余輸入變量，對于簡化神經網絡結構，提高預測效果都有很好的效果。該模型應用于日徑流預測，能夠有效地改善改進的RBF神經網絡預測模型的缺陷，模型學習速度較快，預測精度較高，預測結果精度和合格率皆優于原預測模型。

(2)基于互信息的改進RBF神經網絡具有較強的逼近非線性函數的特性，可以對任意非線性函數進行任意精度的逼近。能夠很好的擬合水文系統中徑流這種復雜的非線性輸入、輸出間的映射關系。但在訓練過程中為防止過擬合現象而導致預測精度降低現象的產生，應合理選擇訓練擬合誤差目標。

基于互信息的改進RBF神經網絡預測模型的預測誤差隨機性較強，若加強對預報誤差的研究，挖掘預報誤差的潛在規律，進行預報誤差實時校正，有進一步提高預報精度的可能性，也是作者今后的研究方向。

□

[1] 周 婭，郭 萍，古今今.基于 BP 神經網絡的概率徑流預測模型[J].水力發電學報，2014,33(2)：45-49.

[2] 白繼中，師 彪，馮民權，等.自我調節蟻群——RBF 神經網絡模型在短期徑流預測中的應用[J].水力發電學報，2011,30(3)：50-56.

[3] 張曉偉，沈 冰，黃領梅.基于BP 神經網絡的灰色自記憶徑流預測模型[J].水力發電學報，2009,28(1):68-71.

[4] 龐 瓊，陳 鳴，王士軍，等.基于回歸分析的龍門灘水庫設計洪水計算[J].人民黃河，2013,35(12)：37-40.

[5] 陳守煜.模糊水文學與水資源系統模糊優化原理[M]．大連:大連理工大學出版社，1990.

[6] 劉 佳，魯 帆，蔣云鐘，等.RBF神經網絡在徑流時間序列預測中的應用[J].人民黃河，2011，33(8):52-54.

[7] 劉金琨.RBF神經網絡自適應控制MATLAB仿真[M].北京：清華大學出版社,2014:2-3.

[8] Hartman E J，Keeler J D，Kowalski J M. Layered neural networks with Gaussian hidden units as universal approximations [J]. Neural Computation, 1990,2(2):210-215.

[9] 張 毅，姜思博，李 錚.改進的遺傳灰色RBF模型的短期電力負荷預測[J].電測與儀表，2014,51(5):1-4.

[10] 孫雯雯.基于DRKM-RBF神經網絡預測算法模型[D].吉林:吉林大學,2011:20-23.

[11] 祝 煜，梁雪春，肖 迪.基于動態聚類RBF 網絡的小企業信貸預測研究[J].計算機應用與軟件，2010,27(4):102-105.

[12] 伍長榮.基于RBF神經網絡的多因素時間序列預測模型研究[D].合肥：合肥工業大學,2004:16-20.

[13] 馬鵬飛.基于最鄰近聚類法的RBF神經網絡的商業銀行分支機構績效評價研究[D].重慶:重慶工商大學，2010:33-34.

[14] 李治友，陳 才，曹長修.一種基于改進的RBF 神經網絡的鐵水脫硫預報模型[J].重慶大學學報，2003,26(9):119-121.

[15] 趙銅鐵鋼，楊大文.神經網絡徑流預報模型中基于互信息的預報因子選擇方法[J].水力發電學報，2011,30(1):25-30.

[16] 馬國建.混沌優化神經網絡在渤海灣富營養化模型中的應用研究[D].天津:天津大學,2009:47-50.

[17] Barrett A B, Barnett L, Seth A K. Multivariate granger causality and generalized variance [J]. Physical Review, 2010,81(4): 384-395.

[18] 高 山，單淵達.神經網絡短期負荷預測輸入變量選擇新方法[J].電力系統自動化，2001,(11):41-44.

[19] 唐勇波，桂衛華，彭 濤，等.基于互信息變量選擇的變壓器油中溶解氣體濃度預測[J].儀器儀表學報，2013,3(47):1 492-1 497.

[20] 郭 偉.基于互信息的RBF神經網絡結構優化設計[J].計算機科學，2013,40(6)：252-255.

[21] 韓 敏，劉曉欣.基于互信息的分步式輸入變量選擇多元序列預測研究[J].自動化學報，2012,38(6):999-1 005.

[22] 朱明星,張德龍.RBF網絡基函數中心選取算法的研究[J].安徽大學學報(自然科學版),2000,24(1):72-78.

[23] 張玉敏.基于不同核函數的概率密度函數估計比較研究[D].河北:河北大學,2010:7-9.