基于深度學習的SF6氣體壓力時序數據預測

徐友剛，曹基南，孫 進，陳亞杰

(國網上海青浦供電公司，上海 201701)

六氟化硫(SF6)氣體憑借其優異的絕緣和滅弧性能被廣泛應用于電力系統[1-2]，SF6在常態下為無毒的惰性氣體，其相對分子質量遠高于大氣，在密閉的GIS(gas insulated substation)室中，泄露的SF6沉積在底部，在高壓電弧的作用下分解出有毒物質，嚴重威脅GIS室內操作人員的生命安全[3-4]，因此，對SF6氣體壓力數據的預測對于電力系統的安全運行具有重要意義[5-6]。圍繞電力系統中的時序數據的研究工作已經進行了幾十年，然而大部分研究都集中在電力系統短時負荷、電壓變化、電價變化[7]等方面，關于SF6氣體壓力數據預測的文獻報道較少。時序數據預測是電力交易、電網運營的關鍵技術，不少學者為此進行了大量研究。

朱凌建等[8]提出一種卷積神經網絡與雙向長短期記憶網絡相結合的深度學習方法，利用多維電力負荷數據建立組合模型以提高短期電力負荷預測的精度。葛夫勇等[9]提出一種利用卷積神經網絡提取電力負荷特征，并利用門控循環單元預期短期電力負荷的方法，相比傳統自回歸綜合移動平均模型方法，該方法展現出更優的性能。張宇涵等[10]提出一種基于人工神經網絡的深度學習算法，并將歸一化處理的數據輸入神經網絡進行基于船舶電網的短時負荷預測，與單隱層前饋神經網絡、動態遞歸神經網絡等傳統學習算法相比，所提方法提高了預測精度。王瑞等[11]采用相似日法與徑向基函數神經網絡相結合的學習算法，通過相似日法分析負荷影響因素，再將分析結果輸入帶有徑向基函數的神經網絡輸出短時負荷預測結果，與傳統徑向基函數神經網絡相比，該學習算法取得了更優的效果。張晉軒等[12]采用改進傳統BP(back propagation)神經網絡，同時采用分層選樣法進行數據清洗，在網絡模型中加入激活函數，短時負荷預測準確率達90%，超越了傳統的BP神經網絡。然而，上述工作中使用的數據集長度有限，對于中長時負荷，需要使用更加完備的數據集來評估其算法的性能。

本文以SF6氣體壓力預測為背景，提出一種基于長短期記憶(long short-term memory,LSTM)網絡[13-15]的深度學習算法，據此進行SF6氣體壓力的在線預測。具體而言，該算法通過對SF6氣體壓力歷史數據進行歸一化處理，利用長短期記憶網絡層對氣體壓力變化趨勢進行訓練與建模，并通過全連接層輸出預測評估。與以往研究相比，本文提出的算法無需海量數據進行訓練，驗證的數據集長度超過72 h，并在3個月中進行交叉驗證，研究結果具有一定說服力。

1 深度學習算法概述

1.1 循環神經網絡

循環神經網絡(recurrent neural network,RNN)起源于1982年Saratha提出的霍普菲爾德網絡，是一種基于記憶的網絡結構，通過記憶單元存儲之前的特征，進而推斷之后的結果，其在自然語言處理、機器翻譯、語音識別等領域得到廣泛運用。RNN與多元線性回歸、深度神經網絡具有相同功能，可以用來做回歸和預測，其基本結構如圖1所示。RNN 能夠將之前網絡的輸出保存在一個記憶單元中，之后將記憶單元內容與下一次的輸入一起輸入下一個神經網絡中。然而，RNN在面對長序列信息預測的情景下存在“短時依賴”問題，為解決這一問題，LSTM網絡被提出。

圖1 循環神經網絡結構圖Fig.1 Recurrent neural network structure diagram

1.2 長短期記憶網絡

RNN與傳統BP神經網絡存在本質上的不同，RNN是基于序列的模型，能夠在過去信息與當前狀態間建立時序相關性，此特性使得RNN適用于周期性時序數據的預測問題。RNN使用反向傳播方法進行訓練，其在學習長時間依賴的數據分布時會遭遇梯度消失、梯度爆炸的問題，這些問題限制了RNN學習長時間相關性的能力。為解決這些問題，Hochreiter等[16]首次引入了LSTM網絡架構，后續研究[14]中為LSTM添加遺忘門。LSTM是時下最成功的RNN架構之一。

LSTM網絡的整體結構如圖2所示，定義{X1,X2,…,XT}為網絡的輸入序列，其中Xt∈Rk代表t時刻的k維輸入向量，一個LSTM單元的內部結構由輸入節點gt、輸入門it、遺忘門ft以及輸出門ot共4部分組成，其中輸入門與遺忘門的作用是相同的，只是兩者在網絡結構中的位置不同，其作用是將前一時刻t-1的網絡輸出ht-1和當前時刻t的網絡輸入Xt結合起來，作線性變化再經過Sigmoid函數映射到0～1，得到記憶衰減參數ft、it，如式(1)和(2)所示。

圖2 長短期記憶網絡結構圖Fig.2 Long short-term memory network structure diagram

ft=σ(WfxXt+Wfhht-1+bf)

(1)

it=σ(WixXt+Wihht-1+bi)

(2)

式中：Wfx、Wfh、Wix、Wih為權重；bf、bi為偏置。輸入節點gt也被稱作當前狀態學習到的記憶，通過前一時刻t-1的網絡輸出ht-1和當前時刻t的網絡輸入Xt作線性變換后，再經tanh函數激活得到，計算過程如式(3)所示。

gt=φ(WgxXt+Wghht-1+bg)

(3)

式中：Wgx、Wgh為權重；bg為偏置。輸出門ot的功能與遺忘門、輸入門相同，計算過程如式(4)所示。

ot=σ(WoxXt+Wohht-1+bo)

(4)

式中：Wox、Woh為權重；bo為偏置。記憶狀態st由當前狀態學習到的記憶gt與輸入門it作逐元素乘法再加上前一時刻的記憶狀態st-1與ft作逐元素乘法后的結果計算得到，計算過程如式(5)所示。

st=gt⊙it+st-1⊙ft

(5)

網絡的輸出則由式(6)計算得到。

ht=φ(st)⊙ot

(6)

2 基于LSTM的時序數據預測模型

2.1 LSTM網絡訓練

圖3 LSTM預測框架Fig.3 LSTM prediction framework

(7)

本試驗采用Adam優化器更新網絡參數，包括Wfx、Wfh、Wix、Wih、Wgx、Wgh、Wox、Woh、bf、bi、bg、bo。

訓練完成后采用平均絕對誤差(mean absolute error,MAE)衡量生成預測數據的性能，其表達式如式(8)所示。

(8)

3 性能評估與仿真試驗

3.1 數據集與環境建立

本試驗數據集選取某變電站建設完成后加裝SF6氣體泄漏在線監測裝置，該裝置收集了2020年的SF6氣體實時壓力數據，這些豐富的數據是預測SF6氣體壓力變化的關鍵。仿真算法由Facebook人工智能研究院(FAIR)在Python上開發的框架Pytorch上搭建，算法硬件平臺為部署了一個3.60 GHz的Intel i7-9700KF型處理器和一張RTX-2060 S型Nvidia顯卡的臺式主機，訓練時間為120 s，訓練結束后生成數據與真實數據進行比較評估。

數據預處理：由于數據量龐大，SF6氣體壓力數據存在季節性因素等原因，本試驗選取2020年5月1日至7月31日為期3個月的時間段，時間跨度為92 d，為進行交叉驗證，將每月數據分成3個部分，即訓練集(每月1日到24日)、驗證集(每月25日到27日)和測試集(每月28日到30日)。

3.2 模型性能評估

本文采用滑動窗口法對數據進行劃分，在訓練過程中使用前48個時刻(每0.5 h為一個時刻)的SF6氣體壓力數據作為輸入，輸出后24個時刻的負荷數據，將輸出數據與實際數據作差值運算，求出損失函數，經過多次迭代，使用優化器不斷減小損失函數，提高預測性能，在訓練結束后，輸出144個時刻的預測結果。

為了驗證提出模型的有效性，基于2020年5、6、7月SF6氣體壓力數據，采用相同參數設置進行試驗，預測數據與實際氣體壓力數據的對比如圖4所示。

圖4 模型在5、6、7月SF6氣體壓力數據上的預測圖Fig.4 The forecast results of the model on SF6 gas pressure data in May,June and July

由圖4可知，本文提出的模型能夠跟蹤SF6氣體壓力數據的變化趨勢。該模型在呈現出較強周期性特點的6、7月中的表現效果好，在6、7月MAE值分別達2.94、2.26 Pa；在周期性特點相對較弱的5月表現得稍弱，但5月的MAE值仍達到了3.98 Pa。

一般而言，超參數調優是深度學習算法中必須涉及的補充試驗，這里采用一些超參數調節的經驗方法，主要調節學習率、隱藏層神經元個數、迭代次數等。在其他參數不變條件下，針對不同月份SF6氣體壓力數據，通過調節隱藏層LSTM神經元個數對性能指標MAE的影響，結果如表1所示。由表1可知：LSTM神經元數量越多，MAE值越小，預測得越精準；但是LSTM神經元超過64個時，預測精準度的提升效果趨于平緩。

表1 不同月份不同神經元數量下的SF6 氣體壓力預測數據的平均絕對誤差Table 1 Mean absolute error of SF6 gas pressure prediction data with different number of neurons in different months

4 結 語

本文構建了一種基于LSTM的SF6氣體壓力預測模型，使用歸一化方法進行數據預處理，再利用LSTM層進行模型訓練，學習SF6氣體壓力數據的時序特征，最后通過全連接層輸出預測結果，并以某變電站GIS室2020年SF6氣體壓力數據作為實際算例，得到如下結果：

(1)在復雜電網環境中SF6氣體壓力變化具有很強的隨機性，難以使用精確數學模型進行描述，利用深度學習網絡對非線性數據的強大學習能力，通過對歷史數據的學習找到SF6氣體壓力的變化規律。

(2)相較于傳統學習算法，選用的LSTM網絡模型能夠充分利用SF6氣體壓力數據的時序特征，達到較高的預測精度。

(3)本文提出算法在實測數據中進行交叉驗證，達到了較好的預測精度，同時研究了超參數對預測結果的影響。