基于遲滯ELM模型的短期風速預測

余 敖，陳 亮，彭敬濤

(東華大學 信息科學與技術學院,上海 201620)

基于遲滯ELM模型的短期風速預測

余 敖，陳 亮，彭敬濤

(東華大學 信息科學與技術學院,上海 201620)

為了應對能源危機，許多國家開始大力發展最有發展前景之一的風能，而風速預測是進行風電場出力預測的前提條件。目前常用的風速預測方法沒有得到很高的預測精度以及預測時間。為了改善風速時間序列的預測精度和預測時間，提出了一種基于遲滯極速學習機(Extreme Learning Machine)模型的風速預測方法。ELM算法是一種新型神經網絡，計算效率高，性能優越，能避免局部最小化。通過改變神經元激勵函數的方式將遲滯特性引入神經網絡中，以增強歷史輸入對當前響應的影響，從而提高有用信息的利用率，提高風速時間序列的預測性能。仿真結果表明，與ELM模型等方法相比，遲滯ELM模型能夠有效減小風速時間序列的預測誤差，提高了預測精度以及減少了預測時間。

極速學習機；遲滯；風速預測；機器學習

1 概 述

隨著世界經濟的快速發展和人口的快速增長，世界各國對能源的需求量也日益增大，而傳統的不可再生能源將逐漸枯竭，這可能導致全球能源危機。為了應對能源危機，世界各國對風能源產生了濃厚的興趣。風能是一種清潔的可再生能源，風能利用的主要形式是風力發電，也是目前可再生能源中技術最成熟、最具規模化開發條件和商業化發展前景的發電方式之一[1]。

風速的隨機性很強，而這種隨機性給電力系統帶來很大的沖擊，對電能質量、系統穩定性、電力調度等有較大的影響。對風力發電的出力進行預測可以在很大程度上降低風力發電的缺點對電網帶來的不利影響，而風速預測是進行風電場出力預測的前提條件[2]。

風速時間序列的預測研究在風電并網、氣象監測等許多領域具有廣泛的應用前景，是當前研究的熱點問題之一[3]。目前，常用的風速時間序列預測分析方法有神經網絡法、持續法、時間序列法、模糊邏輯法、卡爾曼濾波法、混沌時間序列預測分析法等[4-8]。這些預測方法運用不同的理論對風速序列展開預測研究，從不同的角度對風速序列的預測性能起到改善作用，同時也證實了風速序列預測的可行性。在這些方法中，由于本身的自適應學習能力和靈活性，神經網絡已經越來越多地應用于風速預測[9]。神經網絡方法在黑箱系統建模方面擁有很大的優勢，因此在時間序列預測分析中具有良好的預測性能。

極速學習機(Extreme Learning Machine，ELM)是一種新型的單隱層前饋神經網絡，ELM算法提供了一個結合支持向量機(SVM)、徑向基函數(RBF)以及標準的前饋神經網絡優勢的統一學習平臺。在計算方面，ELM算法克服了昂貴的學習代價，比如反向傳播[10]。因為這些優勢，ELM算法或者基于ELM的改進算法廣泛應用于時間序列預測方面。Ronay A K等[11]利用ELM算法和最近鄰算法進行短期風速預測。王智慧[12]利用移動加權ELM算法進行股票預測以及帶有遺忘機制的在線序列ELM算法進行股票預測。李彬等[13]利用ELM算法進行混沌時間序列預測等。和傳統的學習算法相比，ELM算法不需要同時訓練隱含層的參數以及輸出權值，只是隨機給定隱含層參數，因此節省了大量的計算時間。由于ELM的快速學習和不嚴格遵守優化原則，使得ELM的隨機分配更像生物神經網絡的學習機制。同時，ELM算法的訓練過程是一個能夠直接得到輸出矩陣的廣義逆的線性的最小二乘法計算過程。

正是因為以上不同點，使得ELM算法的計算復雜度遠低于傳統算法。

但是，隨機給定隱含層的參數，或多或少降低ELM算法的學習性能。除此之外，對隱含層節點的數量，并沒有準確估計的方法，這是值得研究的一個點。在實際應用中，可以由交叉驗證，但由于技術花費代價大，導致不能在線使用。

ELM神經網絡的記憶能力和泛化性能主要取決于網絡的連接權值，ELM神經網絡根據當前輸入得到未來的輸出，而對于訓練數據中所蘊含的歷史變化趨勢等信息利用不夠充分，而在生物神經網絡中普遍存在遲滯特性，這些遲滯特性可以提高神經元對歷史變化信息的利用率[14]，從而改善ELM神經網絡的性能。

使用遲滯激勵函數的神經元的輸出不僅取決于它的輸入，還取決于輸入的導數信息。最重要的是它為神經元提供記憶的信息。除此之外，當輸入卡住在傳統的Sigmoid激勵函數的飽和區域，遲滯函數可以在兩個遲滯Sigmoid激勵函數之間進行自由切換，從而避免神經元陷入局部最小值以及使得整個神經網絡獲得更快的學習速度。

因此，提出了一種基于遲滯ELM模型的算法來預測短期風速序列。利用遲滯ELM神經網絡進行短期風速預測，不僅可以使用當前數據信息，而且還可以使用歷史數據信息，因此大大地提高了風速預測的性能。

2 ELM算法

ELM算法是新加坡南陽理工大學的Huang教授等在2004年提出的一種神經網絡模型[10,15]。前饋神經網絡通常用于解決回歸問題和分類問題[16]。接下來，從回歸的角度來介紹其數學模型。

(1)

其中，ωi=[ωi1,ωi2,…,ωin]T為第i個隱含層節點的輸入權值；αi∈R為第i個隱含層節點的閾值；βi∈Rm為第i個隱含層節點的輸出權值；ωi·xj為ωi和xj的內積；激勵函數g(x)通常選取Sigmoid函數。

式(1)的簡潔表達式如下：

Hβ=Y

(2)

其中

其中，H為隱含層輸出矩陣。

選取均方值誤差E(W)作為評價標準。在SLFN模型中，問題是找到最優參數ω,α,β使得目標函數E(W)最小。具體的數學表達式如下所示:

(3)

(4)

其中，εj=[εj1,εj2,…,εjm]為第j個誤差。

Huang[17]已經證明：如果(ω,α)是隨機選定，那么隱含層輸出矩陣H也會確定。然后，式(3)的問題是一個標準的最小二乘法問題，其解決方案如下：

β*=H+Y

(5)

其中，H+是H的Moore-Penrose廣義逆。

Huang[17]把這種算法稱為ELM。

ELM算法表現出一些不同于傳統學習模式(比如誤差反向傳播算法)的地方：

(1)傳統的訓練過程是一個復雜的非線性優化問題，然而ELM算法的訓練過程是一個能夠直接得到輸出矩陣的廣義逆的線性的最小二乘法計算過程。

(2)不像傳統的學習算法需要同時訓練隱含層的參數(ω,α)以及輸出權值β，ELM算法只是隨機給定隱含層參數，因此節省了大量的計算時間。

這種隨機分配也更像生物神經網絡的學習機制。正是這些不同點使得ELM算法的計算復雜度遠低于傳統算法。

由于ELM的快速學習和不嚴格遵守優化原則，使得ELM的隨機分配更像生物神經網絡的學習機制。但是，在這樣重要復雜的推導中，特別是隨機給定隱含層的參數，或多或少降低了ELM算法的學習性能。除此之外，對隱含層節點的數量，也沒有準確估計的方法，只是手動嘗試。在實際應用程序中，可以由交叉驗證，但技術花費代價大，不能在線使用。

3 遲滯ELM模型

3.1 遲滯函數

遲滯在自然界中是隨處可見的一種非線性現象。滯后的定義是一個滯后效應由于力量作用于自身的變化。許多工程系統具有遲滯現象，例如機械結構和鐵磁材料。滯后型非線性的識別也已經研究了很多年[18]。遲滯特性分為離散遲滯和連續遲滯。對于離散遲滯神經元模型來說：

(1)如果一個神經元的輸入低于某個閾值(低于跳變點)，神經元的輸出是零。

(2)如果一個神經元的輸入超過一個閾值(高于跳變點)，就會使得神經元的輸出為一個定值。

(3)如果一個神經元的輸入在這兩個閾值之間，神經元的輸出等于它的前一個值。

圖1(a)展示了離散遲滯。因為輸出只有兩種狀態，也叫二進制離散遲滯。離散遲滯應用在Hopfield神經網絡中比較多，可以求解組合優化的問題(如N皇后問題[19]、旅行商問題[20]以及交叉開關分組交換問題[21]等等)，同時離散遲滯也會引起系統的同步[22]。目前已有研究，并且已應用于圖像著色的問題[23]。

對于連續遲滯神經元模型來說：

(1)如果一個神經元的輸入低于某個閾值(低于跳變點)，神經元的輸出是零。

(2)如果一個神經元的輸入超過一個閾值(高于跳變點)，就會使得神經元的輸出為一個定值。

(3)如果一個神經元的輸入在這兩個閾值之間，神經元的輸出通過激勵函數的計算公式得到。

圖1(b)展示了連續遲滯。連續遲滯和離散遲滯相比，就是第三種情況不太一樣。連續遲滯用在Hopfield神經網絡上也很廣泛。Bharitkar等[24]在2000年提出了連續遲滯Hopfield神經網絡。該神經網絡的激勵函數由兩個加了遲滯參數的Sigmoid函數組成(見圖1(b))。與普通的Sigmoid激勵函數相比，神經元的輸出不僅依賴于輸入，而且也依賴于其輸入的導數。最重要的是它為神經元提供記憶的信息。除此之外，在神經網絡的訓練中，遲滯特性還可以抑制故障飽和現象。連續遲滯Hopfield神經網絡也已經應用于解決N皇后問題[24-25]、時分多址廣播調度問題[26]、風速預測問題[27]、控制與優化問題[28]等等。

圖1 遲滯函數

從上述內容可以看到，遲滯主要是從Hopfield神經網絡以及典型的動力系統中引入的。

由于短期風速預測適合連續的遲滯函數，所以只介紹連續的遲滯函數。遲滯神經元的激勵函數數學描述如下所示：

(6)

(7)

其中，x(t)為神經元的輸入。

激勵函數由兩個加了遲滯參數的Sigmoid函數組成，a和b是最主要的參數，ca和cb都是正斜率參數。當a=b=0和ca=cb=1時，該遲滯Sigmoid激勵函數就變成了普通的Sigmoid激勵函數。由圖1(b)可以看到，這種神經元的輸出不僅取決于它的輸入，還取決于輸入的導數信息。最重要的是它為神經元提供記憶的信息。除此之外，當輸入卡住在傳統的Sigmoid激勵函數的飽和區域時，遲滯函數可以從兩個遲滯Sigmoid激勵函數之間切換，從而避免神經元陷入局部最小值以及使得整個神經網絡獲得更快的學習速度。此外，要注意到遲滯神經元的激勵函數有四個遲滯參數，即a，b，ca，cb。所以與普通的神經元相比，遲滯神經元提供了更大的靈活性。

3.2 遲滯ELM神經網絡模型

提出了一種改進的遲滯ELM神經網絡模型，通過采用遲滯激勵函數來提高泛化能力和聯想記憶功能，在某種程度上考慮到準確率和效率，隨機給定隱含層節點的參數。

xaj=[xaj1,xaj2,…,xajn]T,xbj=[xbj1,xbj2,…,xbjn]T

yaj=[yaj1,yaj2,…,yajn]T,ybj=[ybj1,ybj2,…,ybjn]T

具體處理方法參考3.4節。

首先，隨機給定遲滯參數a，b，ca，cb。對于xaj=[xaj1,xaj2,…,xajn]T,yaj=[yaj1,yaj2,…,yajn]T來說，一個具有N個隱含層節點的單隱層前饋神經網絡模型(SLFN)的具體描述如下：

(8)

其中，ωi=[ωi1,ωi2,…,ωin]T為第i個隱含層節點的輸入連接權值；αi∈R為第i個隱含層節點的閾值；βi∈Rm為第i個隱含層節點的輸出權值；ωi·xaj為ωi和xaj的內積;激勵函數g(x)選取帶有遲滯特性的Sigmoid函數。

式(4)簡化為：

Hαβα=Yα

(9)

其中

H=

其中，Hα為隱含層輸出矩陣。

(10)

(11)

其中，εj=[εj1,εj2,…,εjm]為第j個誤差。

然后，式(9)的問題是一個標準的最小二乘法問題，其解決方案如下所示：

β*=H+Y

(12)

其中，H+是H的Moore-Penrose廣義逆。

根據該公式可以得到βα，同理得到βb。

最后，將βα和βb相加得到β。

β=βα+βb

(13)

3.3 遲滯參數調整

遲滯神經元的激活函數有四個相關聯的遲滯參數，即a，b，ca，cb，這些參數為神經網絡提供了一個高度的靈活性。使用梯度下降法來優化遲滯參數。對于第i個樣本來說，當第i個隱含層神經元處在上升分支的激勵響應時，遲滯參數的人工智能訓練如下：

(14)

(15)

其中，t為第i次迭代；η為學習速率；E(W)和ε(j)同式(10)和式(11)。

對于第i個隱含層節點神經元有：

neti=ωi·xj+αi

(16)

同樣地，當第i個隱含層神經元處在下降分支的激勵響應時，遲滯參數的人工智能訓練如下：

(17)

(18)

(19)

(20)

遲滯網絡參數的優化訓練提高了神經網絡適應歷史輸入信息的能力，使網絡可以充分利用訓練樣本中包含的有用信息，并能有效地改善泛化能力和聯想記憶能力。此外，有別于傳統的Sigmoid激勵函數，在輸入飽和區域卡住，遲滯函數可以從兩個遲滯Sigmoid激勵函數之間切換，從而避免神經元陷入局部最小值以及使得整個神經網絡獲得更快的學習速度。

3.4 遲滯ELM算法的實現

與傳統ELM神經網絡相比，遲滯ELM網絡的每個神經元的激勵函數都具有遲滯參數。為了使網絡具有良好的泛化性能，遲滯神經網絡在訓練過程中除了要進行權值的訓練，還要對遲滯參數進行訓練，這增加了神經網絡訓練的復雜性。

為此，提出一種網絡參數的混合訓練方法，即先采用最小二乘法訓練ELM神經網絡的連接權值，后采用梯度下降法獲取最優的遲滯參數。整體思路：先確定輸出權值，再確定遲滯參數，再訓練好的參數進行短期風速預測。

令xaj1=xj1,xbj1=0,yaj1=yj1,ybj1=0，然后再將xj2與xj1進行對比，如果xj2大于或者等于xj1，那么令xaj2=xj2,xbj2=0,yaj2=yj2,ybj2=0。否則令xaj2=0,xbj2=xj2,yaj2=0,ybj2=yj2，一直循環到最后一個xjn，如果xjn大于或者等于xj(n-1)，那么令xajn=xjn,xbjn=0,yajn=yj2,ybjn=0，否則令xajn=0,xbjn=xjn,yajn=0,ybjn=yjn。

整個遲滯ELM算法的具體實施步驟如圖2所示。

圖2 實施步驟

4 短期風速預測應用

風速時間序列具有很強的波動性和隨機性，傳統的神經網絡由于神經元響應機制單一，很難適應風速的劇烈波動，因此預測結果并不理想。采用上述遲滯ELM神經網絡開展風速時間序列預測分析，與ELM模型的預測結果進行對比。

采取加拿大的ACADIA VALLEY地區的每小時的平均風速數據，時間跨度是從2015年1到7月的風速數據，利用1至6月的數據來預測7月風速數據，總共650組樣本數據。所有實驗都是在同一臺標準PC上，該PC使用的是2.60-GHz Intel Pentium(R) Dual-Core CPU 和2 G的運行內存，MATLAB版本是R2013a。遲滯ELM網絡采用3層結構，輸入層神經元數量m=6，隱含層神經元數量分別為5，10，20，50，100(在經過預測結果對比之后采用10個神經元)，輸出層神經元數量為1。在實驗過程中，分別從隱含層節點數和訓練樣本數進行實驗，評價標準是均方誤差、最大誤差、平均誤差、訓練時間、測試時間，其中均方誤差最重要。

實驗結果如下：

(1)用第1組至第600組數據作為訓練樣本，第601組至第650組作為測試樣本，求取50次的平均值作為計算結果，根據手動實驗對比，發現隱含層節數點為10時，實驗結果較好。隱含層節點數為10時的實驗結果如圖3和圖4所示。

圖3 ELM

圖4 遲滯ELM

通過對表1中的數據進行對比分析，可以得到：對于遲滯ELM算法來說，均方誤差、平均誤差和最大誤差均要比ELM算法好。它的訓練時間和測試時間要比ELM算法稍微長點，是因為在訓練階段引入梯度下降法來優化遲滯函數的參數和在測試階段隨機給定隱含層神經元連接參數。無論如何，遲滯ELM所耗費的時間是可以承受的，均方誤差和泛化能力卻得到顯著提高。

表1 不同算法的性能比較

(2)用第1組至第300組數據作為訓練樣本，第601組至第650組作為測試樣本，求取50次的平均值作為計算結果作為比較的第一組；用第300組至第600組數據作為訓練樣本，第601組至第650組作為測試樣本，求取5次的平均值作為計算結果作為比較的第二組；兩組對比實驗結果如表2所示。

表2 不同算法以及不同樣本數據的比較

通過對表2中的數據進行對比分析，可以得到：不同的訓練樣本對預測結果是有影響的，但是，對于同一樣本來說，遲滯ELM的預測均方誤差還是要小于ELM。

5 結束語

為了應對由于世界經濟的高速發展帶來的能源危機，世界各國大力發展清潔的可再生的風能。風能的發展與風電場的出力息息相關，風速預測又是進行風電場出力預測的前提條件。目前常用的風速預測方法預測精度不高、預測時間較短。為了改善風速時間序列的預測精度和預測時間，提出了一種基于遲滯ELM模型的風速預測方法，并且進行了對比實驗。實驗結果表明，與利用ELM模型進行短期風速預測的結果相比，利用遲滯ELM模型進行短期風速預測的預測精度更高，預測時間更短。因此，遲滯ELM模型能夠有效減小風速時間序列的預測誤差，提高預測精度以及減少預測時間，從效率上來說學習系統具有更好的誤差和泛化能力。

[1] 邵 璠.風電場短期風速預測研究[D].烏魯木齊:新疆大學,2008.

[2] 韓 爽,楊勇平,劉永前.三種方法在風速預測中的應用研究[J].華北電力大學學報,2008,35(3):57-61.

[3] 陳丹丹,李永光,張 瑩,等.風電場風速預測的研究方法[J].上海電力學院學報,2011，27(3)：247-251.

[4] 蔣金良,林廣明.基于ARIMA模型的自動站風速預測[J].控制理論與應用,2008,25(2):374-376.

[5] 黃小華,李德源,呂文閣,等.基于人工神經網絡模型的風速預測[J].太陽能學報,2011,32(2):193-197.

[6] 呂 濤,唐 巍,所 麗.基于混沌相空間重構理論的風電場短期風速預測[J].電力系統保護與控制,2010,38(21):113-117.

[7] 谷興凱,范高鋒,王曉蓉,等.風電功率預測技術綜述[J].電網技術,2007,31(S2):335-338.

[8] 黃文杰,傅 礫,肖 盛.采用改進模糊層次分析法的風速預測模型[J].電網技術,2010,34(7):164-168.

[9] Wang X,Guo P,Huang X.A review of wind power forecasting models[J].Energy Procedia，2011，12(39):770-778.

[10] Huang G B,Zhou H,Ding X,et al.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society,2012,42(2):513-529.

[11] Ronay A K,Fink O.Two machine learning approaches for short-term wind speed time-series prediction[J].IEEE Transactions on Neural Networks & Learning Systems,2015,27(8):1734-1747.

[12] 王智慧.BP神經網絡和ELM算法研究[D].杭州：中國計量學院，2012.

[13] 李 彬，李貽斌.基于ELM學習算法的混沌時間序列預測[J].天津大學學報，2011,44(8):701-704.

[14] Wang X,Qiao Q,Wang Z.Solving optimization problems based on neural network with hysteretic activation function[C]//International symposium on advances in neural networks.[s.l.]:[s.n.],2005:745-749.

[15] Huang Guangbin.Extreme learning machine:a new learning scheme of feedforward neural networks[C]//IEEE international joint conference on neural networks.[s.l.]:IEEE,2004:985-990.

[16] Luzanin O,Plancak M.Hand gesture recognition using low-budget data glove and cluster-trained probabilistic neural network[J].Assembly Automation,2014,34(1):94-105.

[17] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:theory and applications[J].Neurocomputing，2006,70(1):489-501.

[18] Xie S L,Zhang Y H，Chen C H，et al.Identification of nonlinear hysteretic systems by artificial neural network[J].Mechanical Systems and Signal Processing,2013,34(1-2):76-87.

[19] Nakaguchi T,Jin No K,Tanaka M.Hysteresis neural networks for N-queens problems[J].IEICE Transactions on Fundamentals of Electronics Communications & Computerences，1999,82(9):1851-1859.

[20] Nakaguchi T,Jin’No K,Tanaka M.Hysteresis neural networks for solving traveling salesperson problems[C]//IEEE interna-tional symposium on circuits and systems.[s.l.]:IEEE,2000:153-156.

[21] Xia G P,Tang Z,Li Y,et al.A binary Hopfield neural network with hysteresis for large crossbar packet-switches[J].Neurocomputing,2005,67(1):417-425.

[22] Chen L,Lian D H,Wang T.Synchronization stability of a distributed hysteresis controlled system[C]//Industrial electronics and applications.[s.l.]:[s.n.],2012:1616-1620.

[23] Jin N K.Dynamical hysteresis neural networks for graph coloring problem[C]//Applications of nonlinear dynamics.[s.l.]:[s.n.],2009:331-340.

[24] Bharitkar S,Mendel J M.The hysteretic Hopfield neural network[J].IEEE Transactions on Neural Networks，2000,11(4)：879-887.

[25] Thangavel P,Gladis D.Hysteretic Hopfield network with dynamic tunneling for crossbar switch and N-queens problem[J].Neurocomputing,2007,70:2544-2551.

[26] Sun M,Xu Y Q,Dai X F,et al.Noise-tuning-based hysteretic noisy chaotic neural network for broadcast scheduling problem in wireless multihop networks[J].IEEE Transactions on Neural Networks and Learning Systems，2012,23(12):1905-1918.

[27] Wang Hongfei,Xiu Chunbo.Hysteretic neural network and its application in the prediction of the wind speed series[C]//26th Chinese control and decision conference.[s.l.]:[s.n.],2014:985-990.

[28] 修春波，劉 暢,郭富慧,等.遲滯混沌神經元/網絡的控制策略及應用研究[J].物理學報,2014,64(6):060504.

Short-term Wind Speed Forecasting by Using Hysteretic ELM Model

YU Ao,CHEN Liang,PENG Jing-tao

(College of Information Science and Technology,Donghua University,Shanghai 201620,China)

The wind,as one of the most promising energy,has been developed by many countries in response to the energy crisis,and the wind speed prediction is the premise of wind farm output prediction.Many wind speed prediction methods are adopted to get high prediction accuracy and prediction of time presently.In order to improve the prediction accuracy and time of wind speed time series,a wind speed prediction method based on hysteresis ELM algorithm has been proposed.ELM algorithm is a new type of neural network,and it has high computational efficiency and superior performance,which can avoid local minimum.Hysteresis characteristics have been introduced in neural network via changing neuronal excitation function to enhance influence of the response history to the current input and thus to improve the utilization rate of useful information and to promote the wind speed time series prediction performance.The simulation results show that compared with the ELM model,the hysteresis ELM model can reduce prediction error of wind speed time series effectively for improvement of prediction accuracy and decreasing of prediction time.

ELM；hysteresis；wind speed prediction；machine learning

2016-06-21

2016-09-22 網絡出版時間：2017-03-13

上海市自然科學基金資助項目(14ZR1400700)

余 敖(1990-)，男，碩士研究生，研究方向為機器學習、圖像處理；陳 亮，副教授，研究方向為機器學習、圖像處理。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170313.1547.104.html

TP391

A

1673-629X(2017)06-0130-06

10.3969/j.issn.1673-629X.2017.06.027