基于LSTM-BP神經網絡的變壓器氣體故障診斷方法

譚曜堃，丁 旭，黃 孔，馬騰飛，康志遠

（1.五凌電力有限公司五強溪水電廠，湖南 沅陵 419600；2.湖南省水電智慧化工程技術研究中心，湖南 長沙 410004）

1 引言

作為我國龐大電網中進行能量轉換的重要設備之一，變壓器是保障電網運行安全的重點關注設備[1，2]。特別是我國運行年限超過15年的存量變壓器遍布電網各個節點，已經逼近設備自身設計年限，不可避免的出現一些類似于零部件老化等各種設備隱患[3]，導致安全事故發生的可能性持續增長。假若電網關鍵節點處的變壓器出現安全事故，不僅有可能導致工作現場人員傷亡與財產損失，甚至存在引起電網大面積停電、癱瘓的可能性，這勢必對我國蓬勃發展的經濟造成嚴重而惡劣的影響[3-5]。所以變壓器的故障診斷有著不可忽略的必要性，以預防的手段降低其發生設備故障的概率，保障電網的安全運行。

國際電工委員會(International Electrotec-hnical Commission)建議將油中溶解氣體分析(Dissolved Gas Analysis，DGA)作為評估變壓器健康狀態的一種手段[6]；而在國內自主制定并發布的《電力設備預防性試驗規程》中，同樣將DGA作為電力設備檢修試驗標準流程中必不可少的一步。有充分的實際運行證據、大量的實際檢測結果證明了[2-8]，DGA 技術能有效地在較早階段發現油浸電力變壓器內部的潛伏期故障，是現今對油浸電力變壓器進行故障分析應用較為可靠的方法之一。

當前計算機運算能力隨著摩爾定律高速增長，人工智能相關技術在越來越多的領域中驗證了自己的實際應用能力，人工神經網絡[9-11]以及支持向量機(Support Vector Machine，SVM)[12-15]等方法為機械、石油、電力等傳統行業的故障分析問題提供了新思路。而在變壓器故障診斷這一具體問題上，反向傳播神經網絡(Back Propagation Neur-al Network,BPNN)所具備的自我學習、自我成長能力以及較為理想的泛化能力，對于油中溶解氣體分析等復雜非線性問題有著較為突出的良好表現。長短期記憶(Long Short-Term Memory, LSTM)網絡所具備的較長時間跨度的短期記憶能力，在處理變壓器氣體分布與故障之間的關系時同樣有著較為明顯的優勢。

本文結合LSTM-BPNN神經網絡，基于大量油中溶解氣體分析技術對變壓器故障進行診斷。利用交叉驗證(Cross Validation,CV)方法提升了變壓器氣體故障診斷模型的泛化性能，并在收集到的故障診斷實例中得到了驗證。和IEC 三比值法、BP神經網絡以及SVM 等其他變壓器氣體故障診斷方法相比，本模型獲得了較為理想的設計預期正確率。

2 神經網絡理論基礎

2.1 神經元

作為人工神經網絡中最基本的組成結構，神經元是Mc-Culloch和Pitts[16]受生物神經系統的啟發，將生物神經系統中的神經元抽象而成的數學模型。神經元的基本工作流程如圖1所示，通過其它神經元輸入xi后，增加權重系數wi，對所有加權后的輸入xi進行求和，與偏置量b做差值計算，最終通過激活函數f得到此神經元的輸出結果y。此神經元內部的整個正向傳播計算過程抽象為如下公式：

圖1 神經元模型

2.2 BP神經網絡

神經網絡則同樣是受生物學中神經系統的啟發，通過逐層組織，以一種非循環方式連接而成的結構。在整個神經網絡中，某些神經元的輸出同樣可以作為其他神經元的輸入，所有神經元以層劃分功能——輸入層、隱藏層和輸出層，層與層間以全連接的形式進行組織，并保證層內所有神經元互不連接，如圖2 所示。

圖2 具有一個隱藏層的BP神經網絡

Rumelhart[17]等人在1984年基于神經元的定義提出了一種神經網絡模型，即誤差反向傳播神經網絡。此模型基本結構可以定義為以誤差逆向傳播算法訓練的多層前饋網絡，模型在每輪迭代中會對權重系數wi和偏置量b進行更新，在眾多分類問題中表現優秀，但是在記憶能力這一領域存在欠缺。

2.3 LSTM神經網絡

在認識到BP神經網絡在信息保存方面的欠缺后，如何找出一個適合于分析時間序列數據并保持數據間的依賴關系的網絡模型就成為當時學界關注的重點。在這種背景下，循環神經網絡(Recurre-nt Neural Network, RNN)的出現讓研究者們十分驚喜。這種網絡模型最大的特點就是神經元在某時間單位的輸出可以作為輸入再次輸入到神經元，這種串聯的網絡結構非常適合于時間序列數據，并且具有一定記憶能力[18]。但大量研究實踐表明，RNN在處理時間跨度較長的數據時，要保持數據間的依賴信息是十分困難的，Bengio[19]等認為之所以出現這樣的情況是因為RNN會在不斷迭代的過程中出現梯度消失和爆炸的問題，這也造成了其在實際應用中不能達到理想的設計性能。

為解決迭代過程中出現的問題，在RNN的基礎上，Hochreiter等研究者[20]提出了長短期記憶網絡(Long Short-Term MemoryNeural Network, LSTM)，之后Graves和Schmidhuber[21]在此基礎上對網絡結構進行了優化，最終變成了如今被廣泛使用的原型。如圖3 所示， LSTM單元（Ct）在每個時間序列單位的輸入不僅包含了當前時間單位獲取到的特征向量，還包括了前一時間單位LSTM單元（Ct-1）整個特征向量矩陣、隱向量矩陣。整個正向傳播過程如下：

圖3 LSTM神經網絡基本結構

根據上一時刻的輸出狀態ht-1和當前時間單位輸入xt，經過遺忘門遺忘掉一些隨機或是預設的信息，抽象為公式：

輸入門緊隨其后完成一些信息的添加，不僅要保留過去的信息，還需要添加一些當前的信息，抽象為公式：

那么新信息表示為：

記憶單元根據上一時間單位狀態和產生的新信息對狀態進行更新，表示為：

這樣就完成了記憶單元的更新。

經過輸入門后，信息已經可以進行輸出，那么此時就需要將當前記憶單元記憶的信息與上一時間單位的隱向量矩陣進行合并計算，對當前隱向量矩陣進行更新，表示為：

那么當前最終記憶單元的輸出表示為：

這樣就完成了隱狀態的更新，結束整個正向傳播過程。

通過以上過程，LSTM擁有了較之RNN時間跨度更長的短期記憶能力，從而并避免了RNN在迭代過程中出現的梯度消失和爆炸問題。

3 數據預處理

電廠監控系統采集的原始數據中通常因為不可避免的傳輸中斷問題使得數據中會含有程序產生的補值和插值，這些異常數據不能精確反映當時的設備情況，會導致模型在訓練過程中產生較大的誤差并致使最后的判斷結果不夠準確。因此合理的數據預處理操作對于神經網絡模型或是其他機器學習模型的建立與訓練是不可或缺的。合理而優秀的數據預處理不僅能夠提升模型的可靠性、泛化能力、計算速度等各項指標，在訓練過程中還可以減輕計算機的非必要負載，加快模型的迭代速度。本文對原始DGA數據進行了清洗、補全和歸一化等操作，在保證數據真實有效的基礎上建立了用于訓練驗證和測試模型的高質量數據集。

3.1 數據清洗

為了保障電廠平穩運行，從整體上來說故障數據樣本容量較小，本文所使用的數據由收集到的雜志、論文、公開報告中所展示的數據綜合而成，利用Python專精于數據處理的第三方庫——Pandas對其進行了異常值刪除、數據補全、隨機混淆等操作。基于三比值法對所有數據進行專家診斷并添加標簽，最終建立可用于訓練的變壓器氣體故障診斷樣本數據集。

3.2 數據規范化處理

作為一種常用的數據預處理過程，數據規范化目的是使存在規模和量綱差異的數據集，能夠變幻至同一可用的數據區間內，從而減少奇異值和冗余樣本對模型的訓練造成不必要的影響。常用的數據規范化方法有小數定標規范化、Max-Min和Z-Score等，考慮到變壓器氣體中各類烷烯烴含量等參數不符合正態分布，因此不符合Z-Score規范化的使用要求，所以本文采取Max-Min方法對清洗后的變壓器氣體故障診斷樣本數據集進行歸一化處理。Max-Min方法的計算公式如下：

其中，Xi為原始數據集中第i個變量，為數據集中第i個變量采用Max-Min方法進行歸一化后的結果。

4 模型評價指標與診斷模型搭建

4.1 模型評價指標

在機器學習這一領域中，對模型的表現性能的測量與評估同樣是至關重要且不可或缺的一個環節，只有找到了與問題有著良好相關性并且行之有效的評估方法，才能迅速而精準的定位在模型構建與訓練過程中出現的問題，從而對模型進行快速迭代提升其泛化能力。本文所研究的變壓器氣體故障診斷屬于分類問題，常用的評價指標有分類錯誤率(Classification Error)、均方誤差(Mean Squared Error, MSE)以及交叉熵損失函數(Cross Entropy Loss Function，CELF)。

分類錯誤率(CE)為最直接的損失函數，其計算公式為：

均方誤差損失是一種被廣泛使用的損失函數，其計算公式為：

交叉熵函數更多的出現在分類問題中，在二分類的情況下，模型最后需要預測的結果只有兩種情況，對于每個類別預測得到的概率為p，和1-p，其計算公式為：

其中：

yi——表示樣本i的label，正反饋為1，負反饋為0。

pi—— 表示樣本i預測為正反饋的概率。

而在多分類的情況下，對二分類公式進行推廣從而得到：

其中：

M——類別的數量

yic——符號函數（0或1），如果樣本i的真實類別等于c取1，否則取0；

pic——觀測樣本i屬于類別c的預測概率。

由此可見，錯誤率在復雜分類問題下想要找出適合的訓練模型是十分困難的。另外，在分類問題中，使用sigmoid/softmx得到概率，配合MSE損失函數，采用梯度下降法進行模型訓練時，會在前期訓練階段出現所耗費時間十分不理想的情況[22]。所以本文將選擇交叉熵函數作為本文的損失函數。

4.2 診斷模型搭建

變壓器中的氣體含量增長過程屬于時序性過程，故采用LSTM神經網絡來尋求氣體濃度數據中可能存在的序列性關系，以此為基礎，利用BP神經網絡探明各氣體濃度與故障類型之間的非線性關系。所以，LSTM-BP串聯神經網絡模型結構如圖4 所示。

圖4 LSTM-BP 網絡結構模型（T為輸入步長，x為不同的輸入特征）

本文原始數據集中包含了在不同地域使用的、由不同廠家設計生產的、規格各不相同的、現地投產使用中的DGA數據。在經過前面數據預處理過程后，最終形成的數據集包含了626 組DGA數據，有H2、CH4、C2H6、C2H4、C2H25種氣體含量和變壓器在實際運行過程中會出現的5種狀態：中低溫過熱(thermal faultof low and medium temperature，LM-T)、高溫過熱(thermal fault of high temperature，HT)、低能放電(low-energy discharge，LE-D)、高能放電(highenergydischarge，HE-D)以及正常狀態(N)。本文將按照3:1的比例劃分數據集，75%樣本容量的數據將作為模型的訓練樣本，25%樣本容量的數據將作為模型的測試樣本，變壓器故障樣本統計如表1所示。

表1 變壓器故障診斷樣本統計

模型的優化器將采用Adam算法，與傳統梯度下降算法相比，Adam吸收了Adagrad（自適應學習率的梯度下降算法）和動量梯度下降算法的優點，既能適應稀疏梯度（即自然語言和計算機視覺問題），又能緩解梯度震蕩的問題[23]。模型為了提升泛化能力并應對過擬合的問題，將采用dropout方法使隱藏層神經元以一定概率隨機失活。前期的預訓練過程中發現，在30次獨立的預訓練過程后，dropout參數設為0.2，構建的模型能夠達到比較理想的設計預期。另在本文中，模型的BP神經網絡部分隱藏層的層數參數設為2，并且此部分的神經網絡激活函數選擇分別為Relu和Tangent-Sigmoid。在確定隱藏層的神經元個數時，本文采用Levenberg-Marquardt 優化確定了模型的目標誤差，并在50 次獨立的預訓練過程后確定模型的BP神經網絡部分隱藏層的神經元個數分別設為20 和4。

為便于比較，本文將基于相同的訓練和測試樣本，分別采用本文提出的方法、IEC 三比值法、單純的BP神經網絡以及支持向量機(Support Vector Machine, SVM)進行變壓器的故障診斷。BP神經網絡將同樣采用雙隱藏層的網絡結構，隱藏層神經元個數分別為24 和4，激活函數全部采用Relu。

在SVM的核函數選擇上，選擇了Gauss 徑向基核函數(GRBF)，同樣在50次獨立的預訓練過程后確定了核參數和懲罰參數分別為：σ2=0.09，C=20。

表2比較了上述不同方法在測試集中的診斷準確率，表3則是隨機選擇了數據集中10例具體故障診斷實例，更為詳細的展示了預測結果。從表2可以看出，采用最為傳統的IEC三比值法得到的診斷準確率最低，訓練和測試準確率分別為50.476 8%和52%。原因在于IEC三比值法在實際應用中，在IEC 推薦編碼中沒有的故障仍然是有一定概率出現的，如實例1和9。此外，變壓器故障類型的分類邊界在IEC編碼中仍然是存在模糊性的，所以在此類模糊區間內發生的故障被誤判的可能性超出一般預期，如實例2和5。單純只采用了BP神經網絡的故障診斷方法表現也不是十分理想，訓練和測試準確率徘徊在60%附近，這是由于神經網絡的特性所決定的，所提供的樣本容量越大，經過訓練的模型才能獲得越為理想的診斷準確率。支持向量機的訓練和測試準確率分別為73.647 4%和78%，象征著該方法的診斷準確率已經在一個可以接受的范疇內。由表2和表3可知，與傳統方法相比，本文提出的基于LSTM-BP的變壓器氣體故障診斷方法的診斷準確率更高。

表2 變壓器故障診斷準確率

表3 變壓器故障診斷實例

5 結論

（1）分析了DGA數據與變壓器故障類型之間存在較為明顯的非線性關系，并在此基礎上構建了LSTM-BP神經網絡模型。模型通過LSTM神經網絡部分獲取到了DGA數據中關鍵的序列性特征信息。并通過模型的BP神經網絡部分來探尋DGA數據與變壓器故障類型之間的非線性映射關系。

（2）將構建的LSTM-BP模型與傳統IEC三比值法、BP神經網絡模型和SVM模型進行對比，變壓器故障診斷實例分析結果佐證了本文構建出來的LSTM-BP神經網絡模型在變壓器氣體故障診斷問題上最終預測結果準確性比較理想，存在實際應用和推廣的可能性。