基于Bi-LSTM和支持向量機的風(fēng)機葉片短期覆冰狀態(tài)預(yù)測模型

熊昌全，何澤其，張宇寧，黃 勝

(1.國家電投集團(tuán)四川電力有限公司，四川 成都 610065;2.國家電投集團(tuán)四川電力有限公司涼山分公司，四川 西昌 615000)

0 引 言

隨著化石能源短缺以及環(huán)境污染等問題的出現(xiàn)，風(fēng)力資源作為綠色可再生能源受到科學(xué)與工業(yè)界的高度重視[1]。為充分有效地利用風(fēng)力資源，風(fēng)電場一般建于高海拔山區(qū)或沿海區(qū)域，這些地區(qū)往往具有晝夜溫差大、濕度大、風(fēng)力強等特點。在低溫季節(jié)，長期處于潮濕寒冷環(huán)境下的風(fēng)電場面臨嚴(yán)重的風(fēng)機葉片覆冰問題。風(fēng)機葉片覆冰將加劇葉片的疲勞載荷以及影響風(fēng)機產(chǎn)能，嚴(yán)重時會導(dǎo)致設(shè)備故障和風(fēng)機壽命縮短。極端情況下，過度積冰甚至可能發(fā)生風(fēng)機塔筒坍塌[2-3]，嚴(yán)重影響風(fēng)電場安全經(jīng)濟(jì)運行。因此亟需開展對風(fēng)機葉片覆冰狀態(tài)預(yù)測研究，提前采取防范措施以預(yù)防可能發(fā)生的覆冰危害，確保風(fēng)電場安全高效運行。

針對風(fēng)機葉片覆冰狀況研究，文獻(xiàn)[4]利用天氣數(shù)據(jù)進(jìn)行預(yù)測研究，將預(yù)測結(jié)果輸入基于物理機理的iceBlade模型中，實現(xiàn)對風(fēng)機葉片的覆冰監(jiān)測。文獻(xiàn)[5]基于壓電陶瓷應(yīng)力波測量，提出了風(fēng)機葉片覆冰主動監(jiān)測方法，結(jié)果表明，壓電陶瓷電壓測量信號與覆冰厚度存在顯著的相關(guān)性，方法偏向?qū)嶒灧治觥Ｒ陨细脖鶛z測研究以覆冰產(chǎn)生機理和過程數(shù)值作為重點研究對象，缺少對風(fēng)機自身運行數(shù)據(jù)的考量。文獻(xiàn)[6]基于數(shù)據(jù)分析的風(fēng)機狀態(tài)監(jiān)測方法，提出一種基于數(shù)據(jù)采集與監(jiān)控系統(tǒng)(supervisory control and data acquisition, SCADA)數(shù)據(jù)變量相關(guān)性的監(jiān)測方法，實現(xiàn)在不同工況下對風(fēng)機健康狀況的定量評估。文獻(xiàn)[7]基于SCADA數(shù)據(jù)，提出了一種主動診斷式的覆冰監(jiān)測方法，分別從機組整體性能、葉槳吸能效率、機組塔架振動對風(fēng)機覆冰開展精細(xì)化研究，并進(jìn)行了相互驗證，但忽略了指標(biāo)整體關(guān)聯(lián)性。文獻(xiàn)[8]通過SCADA系統(tǒng)收集的基礎(chǔ)數(shù)據(jù)作為模型輸入，提出了一種基于長短期記憶網(wǎng)絡(luò)的葉片覆冰故障檢測模型，但LSTM模型存在精確性不足等問題。文獻(xiàn)[9]提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的風(fēng)機葉片故障預(yù)測方法，先根據(jù)行業(yè)經(jīng)驗，從SCADA監(jiān)測數(shù)據(jù)集選出與風(fēng)力發(fā)電機葉片結(jié)冰關(guān)聯(lián)度高的數(shù)據(jù)，通過多源融合的方法利用BP神經(jīng)網(wǎng)絡(luò)自聚類算法進(jìn)行葉片結(jié)冰故障預(yù)測，但對數(shù)據(jù)選擇和處理較為粗糙，導(dǎo)致預(yù)測精度欠缺，且BP自聚類算法存在分類數(shù)據(jù)需求大的問題。支持向量機(support vector machine，SVM)在學(xué)習(xí)樣本數(shù)較少的情況下比人工智能方法有更強的適應(yīng)性、更好的分類能力[10]。

綜上所述，傳統(tǒng)的覆冰狀態(tài)監(jiān)測方法不能精確判斷風(fēng)機葉片覆冰狀態(tài)，且風(fēng)機覆冰狀態(tài)監(jiān)測數(shù)據(jù)冗余，處理較為困難。針對這個問題，提出一種基于雙向傳播長短期記憶網(wǎng)絡(luò)(bidirectional long short-term memory, Bi-LSTM)和SVM的風(fēng)機葉片覆冰狀態(tài)預(yù)測模型。首先，基于主成分分析法對SCADA數(shù)據(jù)進(jìn)行降維處理，得到與風(fēng)力發(fā)電機葉片覆冰關(guān)聯(lián)度較高的數(shù)據(jù)特征；其次，對篩選的數(shù)據(jù)特征歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)分析與預(yù)處理，并作為訓(xùn)練集輸入Bi-LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，Bi-LSTM可以有效解決傳統(tǒng)LSTM網(wǎng)絡(luò)對長關(guān)聯(lián)數(shù)據(jù)點信息識別能力較差的問題，經(jīng)過測試表明預(yù)測模型精確度良好；最后，基于大量歷史數(shù)據(jù)集訓(xùn)練好的SVM模型，對Bi-LSTM數(shù)據(jù)特征輸出的預(yù)測數(shù)據(jù)進(jìn)行覆冰狀態(tài)判別，最終確定風(fēng)機葉片是否會出現(xiàn)覆冰故障。

1 SCADA數(shù)據(jù)特征處理

1.1 主成分分析法

基于SCADA監(jiān)測系統(tǒng)得到的數(shù)據(jù)指標(biāo)集維數(shù)較多，在此情況下，往往會使得計算量增大引發(fā)維數(shù)災(zāi)難，因此需要對數(shù)據(jù)指標(biāo)集進(jìn)行降維。主成分分析法[11](principal component analysis，PCA)是一種廣泛使用的數(shù)據(jù)指標(biāo)降維方法，其目的是對能反映風(fēng)機葉片覆冰狀態(tài)特性的數(shù)據(jù)特征進(jìn)行降維，同時對具有較高的原始變量信息量的數(shù)據(jù)特征進(jìn)行排序，因此可利用該方法篩選影響風(fēng)機葉片覆冰的關(guān)鍵指標(biāo)。其步驟如下：

1)對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理

2)計算標(biāo)準(zhǔn)化矩陣的相關(guān)系數(shù)矩陣

R=(Sij)p×p，i,j=1,2,…p

(1)

式中：R為協(xié)方差矩陣；Sij為協(xié)方差矩陣中第i行和第j列所對應(yīng)的數(shù)。

3)計算相關(guān)系數(shù)矩陣的特征值和相應(yīng)的特征向量

4)選擇主成分

每個特征根對應(yīng)的特征向量為a1,a2…,ap，通過特征向量將標(biāo)準(zhǔn)化的數(shù)據(jù)指標(biāo)轉(zhuǎn)化為主成分

yi=a′iβ

(2)

式中：yi為主成分；β為預(yù)處理后的原變量值。

主成分的信息量大小由方差貢獻(xiàn)率決定，其表達(dá)式為

(3)

式中：αi為方差貢獻(xiàn)率；λi為特征值；m為選取協(xié)方差矩陣特征值的個數(shù)。

累積方差貢獻(xiàn)率表達(dá)式為

(4)

式中：G(m)為累積方差貢獻(xiàn)率；λk為第k個主成分的特征值。

5)計算主成分載荷

主成分載荷的表達(dá)式為

(5)

式中：lij為主成分載荷；aij為各變量間的相關(guān)系數(shù)矩陣。

6)主成分得分表達(dá)式

Gi=α1y1+α2y2+…+αpyp

(6)

式中，Gi為最終所提取的主成分得分。

最后，將原始數(shù)據(jù)集帶入主成分表達(dá)式中即可計算出主成分得分，通過篩選主成分得分高的構(gòu)成新的數(shù)據(jù)特征集，通常當(dāng)累計方差貢獻(xiàn)率大于85%時，所確定的主成分可以反映相關(guān)變量特性。

1.2 數(shù)據(jù)預(yù)處理

為使數(shù)據(jù)特征形式符合Bi-LSTM風(fēng)機葉片覆冰預(yù)測模型的輸入規(guī)范，采用歸一化和標(biāo)準(zhǔn)化對數(shù)據(jù)進(jìn)行預(yù)處理[12]。針對范圍有限的數(shù)據(jù)特征，采用歸一化統(tǒng)一不同數(shù)據(jù)特征的取值范圍，即將數(shù)據(jù)特征的上限設(shè)為1，下限設(shè)為0，其表達(dá)式為

(7)

式中：X′為預(yù)處理后的數(shù)據(jù)特征；X為原始數(shù)據(jù)；Xmax、Xmin分別為數(shù)據(jù)特征中的最大值和最小值。

對于范圍不確定的數(shù)據(jù)，采用標(biāo)準(zhǔn)化降低異常數(shù)據(jù)帶來的影響，即將數(shù)據(jù)特征的均值轉(zhuǎn)化為0，方差轉(zhuǎn)化為1，其表達(dá)式為

(8)

式中，δ、ζ分別為數(shù)據(jù)特征的均值和標(biāo)準(zhǔn)差。

2 Bi-LSTM神經(jīng)網(wǎng)絡(luò)

為解決一般的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)存在的無法記憶長時間段信息和對內(nèi)存與計算時間要求高的局限性，LSTM作為一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)被設(shè)計提出[13-14]。且雙向機制可以提供給輸出層輸入序列中每一個點完整的過去和未來的上下文信息，進(jìn)一步提高網(wǎng)絡(luò)對長關(guān)聯(lián)信息的識別能力[15]。

LSTM單元包含3個門控：輸入門、遺忘門和輸出門。此外，每個序列索引位置t有向前傳播的隱藏狀態(tài)h(t)，同時還有一個用于描述前后時間耦合的細(xì)胞狀態(tài)，記為C(t)。具體模型結(jié)構(gòu)如圖1所示。

圖1 LSTM內(nèi)部結(jié)構(gòu)

LSTM的3個門控具體運作流程如下所述：

1)遺忘門

遺忘門決定前一個時間步內(nèi)部狀態(tài)對當(dāng)前時間步內(nèi)部狀態(tài)的更新。首先，在遺忘門輸入端輸入上一序列的隱藏狀態(tài)ht-1和本序列數(shù)據(jù)Xt；其次，通過激活函數(shù)σ，得到遺忘門的輸出pt；最后，輸出值pt賦值給對應(yīng)細(xì)胞狀態(tài)變量Ct-1，表達(dá)式為

pt=σ(Wpht-1+UpXt+bp)

(9)

式中：Wp、Up為線性關(guān)系的系數(shù)；bp為t-1時刻到達(dá)t時刻的神經(jīng)元所對應(yīng)輸入門的偏置；σ、pt分別為sigmoid的激活函數(shù)和輸出結(jié)果，其中pt∈(0,1)。

2)輸入門

輸入門決定當(dāng)前時間步的輸入和前一個時間步的系統(tǒng)狀態(tài)對內(nèi)部狀態(tài)的更新。具體為將過去的記憶與現(xiàn)在的記憶合并：首先，由sigmoid激活函數(shù)得到it；其次，由tanh激活函數(shù)得到at；然后，將it與at進(jìn)行相乘；最后，用所乘結(jié)果對細(xì)胞狀態(tài)進(jìn)行更新，其表達(dá)式為

(10)

式中，Wi、bi分別為t-1時刻到達(dá)t時刻的神經(jīng)元所對應(yīng)的輸入門的權(quán)重函數(shù)和偏置；Wa、ba分別為t-1時刻到達(dá)t時刻的神經(jīng)元所對應(yīng)的輸入數(shù)據(jù)的權(quán)重函數(shù)和偏置；Ui、Ua為輸入門線性關(guān)系的系數(shù)。

細(xì)胞狀態(tài)更新過程由Ct-1與遺忘門輸出pt的乘積和輸入門it與at的乘積構(gòu)成。此過程表達(dá)式為

Ct=Ct-1⊙pt+it⊙at

(11)

式中：Ct為新細(xì)胞狀態(tài)；⊙為哈達(dá)瑪積。

3)輸出門

輸出門決定內(nèi)部狀態(tài)對系統(tǒng)狀態(tài)的更新。輸出基于細(xì)胞狀態(tài)，但最終輸出結(jié)果會被過濾。首先，運行一個sigmoid層來確定細(xì)胞狀態(tài)的輸出部分；其次，把細(xì)胞狀態(tài)通過tanh進(jìn)行處理(得到一個在-1～1之間的值)并將它和sigmoid門的輸出相乘，最終輸出結(jié)果。

ot=σ[Wo(ht-1,xt)+bo]

(12)

ht=ottanh(Ct)

(13)

式中：ot為輸出門系數(shù)；Wo和bo分別為t-1時刻到達(dá)t時刻的神經(jīng)元所對應(yīng)的輸出門的權(quán)重函數(shù)和偏置。

Bi-LSTM網(wǎng)絡(luò)的基本思想是對于一個訓(xùn)練序列進(jìn)行向前和向后兩次LSTM訓(xùn)練，并連接著同一個輸出層，從而提供給輸出層輸入序列中每一個點完整的過去和未來的上下文信息，如圖2所示。其公式為：

圖2 Bi-LSTM

1)正向計算LSTM隱藏層狀態(tài)

st=f(U·xt+W·st-1)

(14)

2)反向計算LSTM隱藏層狀態(tài)

(15)

3)最終輸出取決于s和s′

(16)

式中：U、V、W為各個權(quán)重矩陣；f、g為LSTM激活函數(shù)。

Bi-LSTM網(wǎng)絡(luò)擁有的特殊門結(jié)構(gòu)和記憶功能，具有良好的時序數(shù)據(jù)處理能力。風(fēng)機覆冰預(yù)測所需基礎(chǔ)數(shù)據(jù)冗雜且都與時間序有關(guān)，所以Bi-LSTM網(wǎng)絡(luò)適用于所提的風(fēng)機葉片覆冰狀態(tài)預(yù)測。

3 SVM模型

支持向量機是由Vapnik等人提出[10]。SVM可用于高維模式的識別，即分類問題研究。其基本思想是，基于在數(shù)據(jù)集里找到支持向量，在特征空間上找到最佳分離超平面使得訓(xùn)練集上的不同樣本間隔最大。

腕表搭載的機心Movement RR-01在時間指示上僅為簡單的小三針，但是十分有心地加入了停秒機制和秒針歸零機制，方便腕表精準(zhǔn)調(diào)校（大部分的腕表在調(diào)整時間時秒針會繼續(xù)走）。這款機心還仿制了舊式懷表的上鏈機制，令表主在上發(fā)條時能夠聽到非常復(fù)古的機械聲。這些細(xì)節(jié)處的用心，大概就是這匹黑馬得以登頂?shù)脑颉C心提供100小時動力儲存，時分秒顯示。

對于二分類問題，最優(yōu)分類超平面的表達(dá)式可設(shè)為

wφ(x)+b=0

(17)

式中，w、b分別為權(quán)重和閾值偏差。

進(jìn)一步地，原樣本空間的二分類問題可表示為

yi(wφ(x)+b)≥1

(18)

式中，yi∈[-1,1]，為輸出狀態(tài)類別。

同時引入松弛變量εi、懲罰因子C以及Lagrange乘子αi應(yīng)對可能產(chǎn)生的樣本分錯問題，將原問題轉(zhuǎn)換為對偶問題，即

(19)

根據(jù)Kuhn-Tucker條件，αi須滿足

(20)

求解上述問題，可得到最優(yōu)分類函數(shù)

(21)

式中：sgn(u)為符號函數(shù)，若u>0，則sgn(u)=1,u<0，則sgn(u)=-1；xi為是樣本變量數(shù)據(jù)；yi為樣本類標(biāo)；x為待分類樣本；m為支持向量個數(shù)；K(x,xi)為核函數(shù)。

根據(jù)專家的先驗知識預(yù)先選用核函數(shù)為

K(x,xi)=exp(-γ|u-v|2)

(22)

式中，u、v為數(shù)據(jù)集的樣本。

4 模型求解

采用MATLAB軟件平臺，對所建立的基于Bi-LSTM和SVM的風(fēng)機葉片覆冰狀態(tài)預(yù)測模型進(jìn)行求解。系統(tǒng)硬件環(huán)境為Intel Core I5 CPU，3.30 GHz，8 GB內(nèi)存，操作系統(tǒng)為Win10 64 bit。求解流程如圖3所示，具體步驟如下：

圖3 模型求解流程

1)采用PCA對原始指標(biāo)數(shù)據(jù)集進(jìn)行降維處理，降維得到與覆冰關(guān)聯(lián)度貢獻(xiàn)最大的特征指標(biāo)。

2)基于降維得到的特征指標(biāo)選擇所對應(yīng)的歷史數(shù)據(jù)，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化預(yù)處理，用于Bi-LSTM預(yù)測模型的訓(xùn)練及測試評估。

3)選擇降維得到特征指標(biāo)對應(yīng)的覆冰及未覆冰狀態(tài)的歷史數(shù)據(jù)，對SVM分類進(jìn)行訓(xùn)練。

4)將實際數(shù)據(jù)輸入Bi-LSTM預(yù)測模型，輸出得到特征指標(biāo)預(yù)測數(shù)據(jù)，再輸入SVM分類模型對風(fēng)機葉片覆冰狀態(tài)進(jìn)行判斷。

5 算例分析

5.1 PCA特征指標(biāo)降維

基于PCA對SCADA特征指標(biāo)集降維得到13個特征指標(biāo)。根據(jù)主成分得分對葉片覆冰影響的重要程度由大到小的排序如表1所示。由于主成分艙內(nèi)溫度、環(huán)境溫度及偏航位置的累積方差貢獻(xiàn)率達(dá)到了85%以上，具有較高的原始變量信息量，可以反映葉片覆冰狀態(tài)之間的相關(guān)性，因此選擇上述3個特征指標(biāo)作為所提模型的輸入量。

表1 13個數(shù)據(jù)特征排序

5.2 Bi-LSTM預(yù)測模型分析

對覆冰和正常狀態(tài)的數(shù)據(jù)集添加標(biāo)記以區(qū)分，總共采集2000組數(shù)據(jù)，其中后400組數(shù)據(jù)為覆冰狀態(tài)數(shù)據(jù)。根據(jù)模型經(jīng)驗[16]，并對比在不同訓(xùn)練樣本和測試樣本下的預(yù)測精度，如圖4所示，可知訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的數(shù)量之比為1600∶400時能收獲較好的預(yù)測精度，且再增加訓(xùn)練樣本時，模型的預(yù)測精度基本保持不變。因此選用1600組數(shù)據(jù)用于模型訓(xùn)練，400組數(shù)據(jù)用于模型測試。通過多次試驗，Bi-LSTM預(yù)測模型的參數(shù)為：2層隱藏層，每層神經(jīng)元數(shù)依次為64、128個；訓(xùn)練1000輪；激活函數(shù)為adma；批大小為32。

圖4 不同訓(xùn)練樣本/測試樣本比例下模型預(yù)測效果對比

選取主成分得分前三的數(shù)據(jù)特征的艙內(nèi)溫度、環(huán)境溫度及偏航位置3組指標(biāo)，通過可視化視圖顯示Bi-LSTM訓(xùn)練集數(shù)據(jù)的預(yù)測結(jié)果。圖5、圖6和圖7分別展示了預(yù)處理后的機艙溫度、環(huán)境溫度及偏航位置預(yù)測值和實際值走勢。從圖中可看出，預(yù)測值和實際值具有較高的重合度，說明所提方法Bi-LSTM預(yù)測模型有效性。

圖5 艙內(nèi)溫度真實值與預(yù)測值對比

圖6 環(huán)境溫度真實值與預(yù)測值對比

圖7 偏航位置真實值與預(yù)測值對比

為進(jìn)一步說明采用Bi-LSTM預(yù)測模型的準(zhǔn)確性，采用表2中的3種誤差函數(shù)作為模型評價指標(biāo)[17]。

表2 誤差函數(shù)

誤差函數(shù)的公式如下：

1)平均絕對誤差(mean absolute error， MAE)

(23)

2)平均絕對百分比誤差(mean absolute percentage error,MAPE)

(24)

3)均方根誤差(root mean square error,RMSE)

(25)

通過測試集數(shù)據(jù)預(yù)測結(jié)果，選取艙內(nèi)溫度為例，對比Bi-LSTM與其他3種預(yù)測模型的MAE、MAPE和RMSE評價指標(biāo)，如表3所示。所采用的Bi-LSTM模型評價指標(biāo)均優(yōu)于其他兩種模型，由此可見Bi-LSTM預(yù)測準(zhǔn)確性更好。

表3 4種預(yù)測模型的性能指標(biāo)結(jié)果

5.3 風(fēng)機覆冰狀態(tài)預(yù)測分析

基于Bi-LSTM和SVM的風(fēng)機葉片短期覆冰狀態(tài)預(yù)測模型，自動判斷未來一段時間內(nèi)是否會出現(xiàn)風(fēng)機葉片覆冰故障。首先，分別從2000組正常工況和覆冰工況預(yù)測數(shù)據(jù)集中各挑選300組標(biāo)簽數(shù)據(jù)，將標(biāo)簽數(shù)據(jù)輸入SVM模型進(jìn)行深度訓(xùn)練，將覆冰工況下每組數(shù)據(jù)的訓(xùn)練值標(biāo)記為1，正常工況下每組數(shù)據(jù)的訓(xùn)練值標(biāo)記為0。當(dāng)SVM模型訓(xùn)練完成后，通過將真實數(shù)據(jù)輸入Bi-LSTM預(yù)測模型，再將預(yù)測輸出值輸入SVM模型，對應(yīng)可得到一個在0.5左右的聚類輸出值，若輸出值大于0.5，則判斷1，狀態(tài)為覆冰；若輸出值小于0.5，則判斷為0，狀態(tài)為正常。

從實際數(shù)據(jù)集中各挑選40組正常和覆冰工況下的數(shù)據(jù)輸入Bi-LSTM狀態(tài)預(yù)測模型，得到艙內(nèi)溫度、環(huán)境溫度及偏航位置的預(yù)測值，將其輸入SVM分類模型，最后根據(jù)預(yù)測輸出值判斷風(fēng)機葉片覆冰狀態(tài)，基于Bi-LSTM和SVM狀態(tài)預(yù)測模型輸出結(jié)果最終只有4組數(shù)據(jù)發(fā)生誤判，76組預(yù)測輸出為正確。通過此實驗可以得出，所提的預(yù)測方法準(zhǔn)確率為95.0%。

6 結(jié) 語

以某風(fēng)電場風(fēng)電機組SCADA數(shù)據(jù)為基礎(chǔ)，提出了一種基于Bi-LSTM和SVM的風(fēng)機葉片覆冰狀態(tài)預(yù)測模型，通過大量歷史數(shù)據(jù)對Bi-LSTM預(yù)測模型及SVM模型進(jìn)行訓(xùn)練，Bi-LSTM預(yù)測可以得到更好的預(yù)測效果。此外，結(jié)合實際數(shù)據(jù)，對風(fēng)機葉片未來一段時間是否會出現(xiàn)覆冰故障進(jìn)行預(yù)測，預(yù)測結(jié)果表明所提的方法正確率可以達(dá)到95.0%，在準(zhǔn)確性和時效性上要強于其他傳統(tǒng)方法。進(jìn)一步地，當(dāng)獲得新的實際數(shù)據(jù)后，預(yù)測模型可以繼續(xù)對訓(xùn)練集進(jìn)行擴(kuò)展，進(jìn)而提高預(yù)測準(zhǔn)確率。同時可以為風(fēng)機葉片覆冰狀態(tài)預(yù)測提供可靠的決策依據(jù)，確保風(fēng)電場在嚴(yán)寒季節(jié)能安全經(jīng)濟(jì)運行。