基于注意力機制和CNN-GRU組合網絡的海底電纜運行狀態預測方法

楊威, 黃博, 李茜, 張安安, 李佳星, 劉金和

(西南石油大學電氣信息學院, 成都 610065)

隨著全球海洋戰略思想的進一步強化,人類對海洋資源的開發和利用正處于飛速上升階段,其帶動了海上風電場、海上油氣平臺等海洋工程的高速發展。海底電纜作為海上平臺的能源與通信通道,不僅是海上平臺與陸地的大動脈,更是海上平臺與設備、水下生產系統之間電力和通訊的生命線[1-2],2020年內中國海底電纜市場需求已達2 000 km/a且處于高速增長階段[3]。海底電纜的穩定運行不僅事關海上平臺的正常工作運轉,也是海洋工程有效推進的重要保障。充分利用各類監測信息,運用大數據分析等技術實時掌握海底電纜的運行情況[4],對海底電纜運行狀態進行預測,可發現并及時處理潛在問題,針對性地進行預防性維護,進而提高海底電纜運行的可靠性,降低海洋工程的運轉風險。

由于海底電纜所處環境的特殊性,難以對其進行常規的人為巡檢或無人機巡檢。近年來得益于光纖傳感技術的飛速發展與應用,可實時獲取海底電纜相關的運行參數[5-6],如海底電纜溫度、擾動、應變等信息,并通過對所獲數據進行分析處理[7],以此實現海底電纜運行狀態評估,這對掌握海底電纜的健康狀態、合理運用其輸送能力以及有效應對各類風險都具有重要意義。在海底電纜狀態監測及評估方面,文獻[8]提出了一種針對500 kV海底充油電纜護套絕緣在線監測方法,通過護套絕緣電流泄露比和接地回路環流感應系數的變換為判斷依據來判斷護套的絕緣狀況[9]。文獻[10]對海底電纜綜合監測技術進行全面闡述。文獻[11]建立了基于布里淵光時域分析技術的溫度監測系統,驗證了基于光纖技術的海底電纜溫度監測系統的準確性。文獻[12]提出了一種融合在線監測數據的海底電纜綜合狀態評估方法,彌補了海底電纜健康狀態評估指標體系的空缺,但無法預測其運行狀態的演變趨勢,進而采取針對性的檢修方案和應對策略。

隨著人工智能技術的飛速發展,CNN、LSTM、GRU等智能算法在電力信息及電氣設備狀態預測方面被廣泛應用,如電力負荷預測、變壓器狀態預測、電池壽命預測等。文獻[13-14]對大數據在電力設備狀態監測中的應用和發展進行了闡述。文獻[15]基于CNN-GRU對電力負荷進行預測,結合不同神經網絡特征,提高了預測準確度。文獻[16-18]采用組合神經網絡模型對鋰離子電池壽命、配電網日線損率等進行預測,且效果良好。但海底電纜作為特殊電氣設備,對其進行狀態評估及預測相關領域的研究還較少。

鑒于此,現提出一種基于注意力機制和CNN-GRU海底電纜運行狀態預測方法。首先,在充分考慮海底電纜結構特性、運行歷程、檢修及故障數據的基礎上,結合相關導則并融入在線監測信息構建海底電纜狀態評估指標體系;其次,基于改進層次分析法(analytic hierarchy process, AHP)與多層次變權評估思想實現海底電纜綜合健康狀態的量化評估;然后,建立基于注意力機制和CNN-GRU組合神經網絡模型;在此基礎上,將歷史運行參數及評估量化結果作為輸入特征參量,設定評估量化結果為輸出特征量,實現海底電纜運行狀態預測。最后以渤海地區某油氣平臺海底電纜為例,用以驗證所提方法的可行性與有效性。

1 基于改進AHP的多層次變權海底電纜運行狀態評估模型

1.1 海底電纜運行狀態評估指標體系

海底電纜運行狀態的影響因素眾多,在充分考慮海底電纜結構特性、運行歷程、檢修及故障數據的基礎上,結合國家能源局發布的《海底電力電纜運行規程(DL/T1278—2013)》,本文研究從在線監測、巡檢指標及靜態試驗三方面構建了海底電纜運行狀態評估指標體系。評估指標體系由目標層、項目層和指標層組成,其中指標層包括21個基層指標,如圖1所示。

圖1 海底電纜運行狀態評估指標體系Fig.1 Evaluation index system of submarine cable operation state

1.2 基于改進AHP的指標層權重確定方法

AHP是目前狀態評估研究領域中最常用的權重確定方法,具備較高的實用性與簡潔性,其本質是通過兩兩對比,得出其重要性標度C(C=1,2,…,9)以備后續計算,但由于C的取值相對固定,會導致其結果與人們理想的期望值有所偏差,進而對權重計算造成一定的誤差,且由于分散對比導致的模糊性,需要進行一致性檢驗[19]。鑒于此,本文研究提出一種改進AHP用以確定指標層權重,其過程如下。

(1)確定基層指標重要度。采用分值法取代傳統AHP使用的1-9標度法:首先綜合考慮行業準則,得到各基層指標的重要度分值S,然后通過各指標重要度分值對比得到相應的判斷矩陣,其所包含的對比因子數值更為精確,且由于重要度分值的確定性,所提方法無需再進行一致性檢驗。

(2)構建判斷矩陣?；谏弦徊降玫降母骰鶎又笜酥匾确种?將其量化為對比因子cij(i,j=1,2,…,n),構建判斷矩陣C1即

(1)

cij的數學表達式為

(2)

式(2)中:cij為構建判斷矩陣第i行j列的值;S為重要度分值。

(3)確定指標層權重。根據所構造的判斷矩陣,進行列歸一化后求得的行均值即為所求權重w,其數學表達式為

(3)

(4)

1.3 項目層動態自適應權重確定方法

針對現有電纜評估體系中項目層權重系數相對固定的問題,綜合考慮海底電纜運行環境復雜、巡檢和試驗的難度高且時間跨度大、靜態試驗與巡檢參數在相當長的時間內處于相對穩定狀態,針對此類重要數據停滯所導致的預測不準確情況,本文研究采用動態自適應機制確定項目層權重:當海底電纜處于巡檢及靜態試驗階段,基于導則與改進AHP確定項目層中在線監測、巡檢指標、靜態試驗的權重;當巡檢指標與靜態試驗處于真空期或平穩期時,基于專家評估結果動態更新各項目層指標權重,進而更為準確地掌握海底電纜實時運行狀態。以海底電纜運行的某時期為例,專家充分考慮歷史狀態并依據海底電纜所處運行時期等因素確定各項目層重要度評分k(k=0,1,…,5),累加得到項目層重要度分值,其數學表達式為

(5)

式(5)中:Ki為第i個項目層專家評分之和;n為參與評分的專家人數。某時刻各項目層重要度分值所求結果如表1所示。

表1 某時刻各項目層重要度專家打分表Table 1 Expert scoring table of project-level importance at a certain time

依據所得項目層重要度分值Ki,采取改進AHP計算求得各項目層指標權重,構造矩陣及所求權重結果如表2所示,計算過程涉及數學表達式為

(6)

表2 項目層權重計算矩陣Table 2 Project layer weight calculation matrix

(7)

1.4 海底電纜運行狀態評估

綜合考慮行業準則,并結合海底電纜自身特性,其最終健康分值M的數學表達式[20]為

M=mKT

(8)

式(8)中:KT為壽命系數;m為海底電纜的各項評估分值之和。

(9)

(10)

式中:n為項目層數量;λ為運行年數;wi為各項目層權重系數;mi為該項目層指標的評估分值。

(11)

式(11)中:wij為指標權重;Kij為家族缺陷系數,存在家族缺陷為0.95,不存在則為1;gij為單項指標的評估分值。

(12)

式(12)中:ywr、ymo、yst分別為指標的注意數值、監測數值與標準數值。

將海底電纜綜合健康分值M作為狀態預測的輸出標簽,用以標定海底電纜運行狀態。另外,基于健康分值M的海底電纜運行狀態確定方式為

(13)

2 基于注意力機制和CNN-GRU預測模型

2.1 深度學習原理

2.1.1 卷積神經網絡

CNN為前饋型神經網絡,其優勢在于挖掘數據中潛在的關聯及局部特征,從而提高訓練的效率,可做到CNN將卷積核與輸入數據進行卷積運算用以提取數提升準度的同時擁有更高的容錯性。在其核心的卷積層中,據的潛在特征,大小固定的卷積核會如人眼一樣去掃描數據域,多個不同的卷積核再進行卷積運算,從而評估和提取數據不同方面的各項特征,其數學表達式為

xji=f(xj-1*wji+bji)

(14)

式(14)中:xji為第j層輸出的第i個特征;xj-1為第j-1層輸出;wji為第j層第i個卷積核的權重矩陣;bji為偏置項;*為卷積運算符。

本文搭建的神經網絡模型均采用relu激活函數,其數學表達式為

(15)

CNN工作及結構示意圖2所示[21]。

圖2 CNN結構示意圖Fig.2 Structure diagram of CNN

2.1.2 GRU神經網絡

LSTM是處理長時間序列最常用的神經網絡模型之一,其能夠通過獨特的門控單元來實現長期記憶,從而有效解決傳統循環神經網絡存在的梯度問題。GRU則是LSTM的一種變體,具備更優的預測效果和更少的訓練參數,其僅僅具備兩個門控單元:更新門、重置門,前者用于控制前一時刻的狀態信息并保留到當前狀態中的程度,取值越大,信息留存度越高。后者用于確定融合先前信息到當前狀態的程度,重置門的值越小說明忽略的信息越多。

zt=(σWzxt+Uzht-1)

(16)

rt=σ(Wrxt+Urht-1)

(17)

ht2=tanh[Wxt+U(rt*ht-1)]

(18)

ht1=(1-zt)*ht-1+zt*ht2

(19)

式中:zt和rt分別為更新門和重置門;ht2為輸入xt與上一隱藏層輸出結果ht-1的匯總;σ為Sigmoid函數;tanh為雙曲正切函數;Wz、Wr、Uz、Ur、U、W為訓練參數矩陣;*表示矩陣的乘積;1在單通道時為數字1,多通道時表示全為1的列向量。

GRU結構如圖3[22]所示。

圖3 GRU結構示意圖Fig.3 Structure diagram of GRU

2.1.3 注意力機制

注意力機制(attention mechanism, AM)的本質是給予關鍵特征更高的權重,其他部分相應降低權重,進而從待處理的特征數據中提取到關鍵信息[23]。本文研究將CNN-GRU組合神經網絡模型中提取的特征用注意力機制進行融合處理:將CNN用于提取數據的靜態特征,記為C;GRU用于提取數據的時序特征,記為G,其融合式為式(20)。用點積運算衡量數據特征與第i個歷史特征Fi的相關性,得到注意力值A,如式(21)所示,根據注意力值計算歷史特征的加權和即為最終的數據特征FA[24]。通過CNN-GRU組合神經網絡進行特征提取并利用注意力機制進行融合后,模型可以較為充分地提取數據的靜態及時序特征,并根據不同特征的重要程度對其進行動態調整,從而得到更優的結果。

F=tanh(GWaCT+ba)

(20)

(21)

(22)

式中:Wa為根據訓練維數生成注意力矩陣;ba為訓練得到的偏置項;Fi為各單元提取特征;F為融合特征;FA為根據注意力值計算歷史特征加權和得到的最終特征。

2.2 基于注意力機制和CNN-GUR組合神經網絡模型

與傳統的神經網絡相比,CNN可以更加高效及準確地提取數據集的內在特征,但是不能有效利用數據集中存在的時序特征;單一的GRU神經網絡雖然可以有效提取和利用數據集中存在的時序特征,但是對于數據集中存在的關聯性特征利用較為低效。采用簡單的CNN[25]和GRU神經網絡去處理長時間序列或面對多維輸入數據時,會面臨序列特征丟失、數據間結構紊亂、多維特征挖掘不夠充分等問題[26-28],因此,本文研究將二者優勢進行互補,并利用注意力機制在特征融合方面的優勢提升模型預測精度,構建了基于注意力機制[29]和CNN-GRU組合神經網絡模型,用以處理包含評估量化結果及海底電纜歷史運行參數的多維長序列數據。以評估體系中所含指標結合評估量化分值作為模型輸入特征參量,設定評估量化分值為輸出特征值,整體流程如圖4所示。

圖4 基于注意力機制和CNN-GRU海底電纜運行狀態預測模Fig.4 CNN-GRU submarine cable operation state prediction model fused with attention mechanism

2.3 預測流程

2.3.1 數據處理

為解決數據集中存在異常數據從而導致結果誤差較大的問題,采取均方值法對數據集進行處理,其數學表達式為

(23)

式(23)中:N為選取的數據個數;xi為第i次評估的數據數值。若|xi-u|>3δ,則判斷xi為異常點,剔除該點。

為解決輸入數據的量綱不同與數據差異較大的問題,在進行模型訓練前將數據集中各類數據的最大值及最小值作為基準進行數據集歸一化處理,其數學表達式為

(24)

式(24)中:Dn為歸一化處理后所得的數據;D為處理前的數據;Dmin、Dmax分別為該類數據的最小值和最大值。

2.3.2 預測評價指標

選取預測誤差最大百分比σE-max、均方根誤差RMSE、平均百分數誤差MAPE對模型算法的預測精度進行評估,為保證模型訓練和預測過程評價指標的科學性和統一性,所選評價指標均采用測試集數據計算所獲的平均值,其數學表達式為

(25)

(26)

(27)

式中:yi為第i個樣本點的真實值;ypi為第i個樣本點的預測值;N為樣本點個數。

2.3.3 模型訓練

采用控制變量法對模型進行調優。以渤海區域某海上油氣平臺的HYJQF41-F 35 kV三芯海纜作為研究對象,每隔12 h采集一次數據,選取2021—2022年255 d中510組評估體系所包含的運行及巡檢數據,結合其評估所得量化分值一同作為模型的輸入特征集,并選取評估量化分值為輸出特征參量,按照88%劃定訓練集,其余數據作為測試集。鑒于GRU網絡層數對最終預測結果有較大的影響,將其設置為模型唯一變量,通過不斷增加GRU網絡的層數來測試GRU網絡層數的最優設定值。試驗結果表明,當模型采用的GRU網絡層數為2時,各項評價指標均達到最優值,而后誤差率開始上升,表示模型過度學習,因此本文研究中采用2層GRU網絡結構,其具體測試結果如表3所示。

表3 模型網絡層數調優試驗結果Table 3 Experimental results of model network layer optimization

CNN神經網絡卷積核數目設置為10,設定卷積核大小為2,步長為1,卷積方式選取same卷積,連續卷積后進行Valid最大池化。GRU采用滑窗式數據讀取模式,時間步長設定10,批量大小設置48[30]。采用Adam算法迭代更新權重,從而通過動量及自適應學習率不斷更新各神經元的權重和偏差,進而使損失函數的輸出值達到最優。針對可能出現的過擬合問題,采用Dropout法在訓練的過程中按照一定的概率隨機的將網絡節點暫時從網絡中丟棄,在CNN與GRU訓練中融合注意力機制用以提高模型準確度,模型的損失函數的數學表達式為

(28)

式(28)中:Floss、λact(t)、λpred(t)、n分別為模型的損失函數、t時刻的實際健康分數與預測健康分數、訓練樣本個數。

3 算例分析

3.1 數據選擇

算例分析所選數據集與模型輸入輸出特征集等均與2.2.3節中所述一致。

3.2 綜合狀態評估分析

以本文所選數據集中某一組數據為例,將各指標的標準數值、注意數值、監測數值代入式(12)得出單項指標評估分數,然后將其代入式(11)得到單項加權分值,最終累加算出在線監測模塊的綜合健康分值為93.70,其運行狀態為正常,跟現場實際情況相符,具體如表4所示。

表4 項目層權重計算矩陣Table 4 Project layer weight calculation matrix

3.3 狀態預測分析

3.3.1 預測結果

將選用數據集采用本文所提出的健康狀態評估模型進行評估量化后,連同海底電纜歷史運行參數構成輸入特征集導入組合神經網絡模型,實現海底電纜的運行狀態預測,其結果如圖5所示,AM代表該模型添加了注意力機制,所得結果的三項評價指標:預測誤差最大百分比σE-max、均方根誤差RMSE、平均百分數誤差MAPE分別達到了2.74%、1.09%、1.04%。從圖5可以看出,該時間段內海底電纜的總體健康分值位于80～90,由于各類因素影響出現了一定范圍內的波動,但總體穩定并呈現一定的下降趨勢。通過對比真實數據可得:預測所得結果的趨勢一致性較好,符合海底電纜健康指數變化趨勢,且具備不錯的精度,可以為海底電纜的運行決策提供有效支撐。

圖5 預測結果Fig.5 Prediction results

3.3.2 對比分析

為了驗證本文所提模型的有效性與優越性,將同一數據集輸入全連接、CNN、LSTM、CNN-LSTM等神經網絡模型,記錄各模型訓練的單輪與單步所需時間用以驗證不同模型的運行速率,最終結果如表5所示。

表5 項目層權重計算矩陣Table 5 Project layer weight calculation matrix

從表5可知,各神經網絡模型在相互組合或添加注意力機制后訓練所需時間均有所延長,其中CNN具備最快的訓練速率,LSTM由于其較為繁瑣的門結構,所需時間最長,GRU及其組合神經網絡模型相較而言在速率方面均具備一定優勢。為驗證模型的有效性,對上述所提預測模型,分別計算其結果對應的預測誤差最大百分比σE-max、平均百分數誤差MAPE、均方根誤差RMSE,各項指標對比結果如表6所示。

表6 項目層權重計算矩陣Table 6 Project layer weight calculation matrix

由表6可知,本文提出的基于注意力機制和CNN-GRU組合神經網絡模型在誤差最大百分比σE-max、平均百分數誤差MAPE、均方根誤差RMSE三項評價指標上均為最優,達到了2.74%、1.04%、1.09%,其相較于未融合注意力機制的原模型,各項評價指標分別提高了1.21%、0.34%、0.24%,其他模型在融合注意力機制后各類評價指標也均有相應的提升,驗證了注意力機制在處理時序數列時的有效性。對比不同類型的神經網絡模型,本文所述模型相較于其他神經網絡模型各評價指標最高分別提升了3.85%、1.98%、1.82%。將各模型預測結果依照不同變量情況繪制預測曲線對比圖,如圖6～圖8所示。

圖6 無注意力機制模型對比Fig.6 Comparison of attentionless mechanism

圖7 有注意力機制模型對比Fig.7 Comparison of models with attention

圖8 各神經網絡模型有無注意力機制對比圖Fig.8 Comparison diagram of attention mechanism of eachneural network model

由圖6～圖8可知,全連接神經網絡在關聯特征與時序特征提取方面均無突出優勢,預測效果不理想;CNN預測結果波動性不大,較為穩健,保證了一定的精度,但由于無法有效提取到時序特征,預測的趨勢一致性一般;LSTM對時序性數據具備較佳學習效率,但由于健康分值是由狀態評估結果量化而來,時序性不夠突出,故而相較于其他神經網絡模型,LSTM的精度與趨勢性都較為一般;CNN-LSTM在總體吻合度方面表現優于前面所述模型,保持較小波動的同時,在預測峰值均有較為吻合的趨勢;CNN-GRU網絡波動及趨勢性與CNN-LSTM網絡較為相似,均有一定的優越性,在所有神經網絡模型中表現最優。橫向對比同一網絡可以發現,加入注意力機制后,各神經網絡模型的精度指標及預測曲線均得到了不同程度的優化,說明了注意力機制在利用神經網絡模型進行序列數據預測中的有效性。綜上所述,算例仿真驗證了本文所述模型的優越性,在其評價指標均優于其他神經網絡模型的情況下,速率也具備一定優勢,可以較為有效及準確地預測海底電纜運行狀態,從而為海洋工程的運維決策提供有效支撐。

4 結論

提出了一種基于注意力機制和CNN-GRU海底電纜運行狀態預測方法,首先,在充分考慮海底電纜結構特性、運行歷程、檢修及故障數據的基礎上,結合導則并融入在線監測信息構建海底電纜運行狀態評估指標體系;其次,基于改進AHP與多層次變權評估思想實現海底電纜綜合健康狀態的量化評估;然后,建立基于注意力機制和CNN-GRU組合神經網絡模型;在此基礎上,將歷史運行參數及狀態量化結果作為輸入特征參量,實現海底電纜運行狀態預測,得到海底電纜未來的運行狀態趨勢圖。通過算例仿真進行驗證,最終得到以下結論。

(1)在充分考慮海底電纜結構特性、運行歷程、檢修及故障數據的基礎上,結合導則并融入在線監測指標搭建了海底電纜狀態評估指標體系,從而更準確、全面地評估海底電纜的運行狀態。

(2)基于改進AHP的多層次變權海底電纜狀態評估方法可以有效針對海底電纜不同運行時期自適應改變評估權重,得到更為貼切的海底電纜運行狀態。

(3)采用量化的健康指數作為預測狀態參量,能直觀反映海底電纜的整體運行狀態,可為預防性維修提供有效支撐。

(4)CNN神經網絡可以充分地挖掘各特征參量之間的聯系,而GRU神經網絡具備更好的時序性,二者結合后利用注意力機制對提取到的不同特征進行融合,在應對多維狀態量的長序列海底電纜運維數據時具備較優的速率及更好的處理效果。