基于Focal損失SSDAE的變壓器故障診斷方法

武天府，劉征，王志強，李勁松，李國鋒

(大連理工大學電氣工程學院,遼寧 大連 116024)

0 引言

電力變壓器是電力系統運行的核心設備，準確診斷變壓器內部潛伏性故障對于電網安全運行具有重要意義[1]。油中溶解氣體分析(dissolved gas analysis，DGA)是診斷和檢測變壓器內部潛伏性故障的有效方法[2—3]，并在此基礎上形成了三比值法、改良三比值法等變壓器故障診斷方法[4—5]。此方法的基本原理是在變壓器發生故障時，根據從變壓器油中提取的特征氣體含量算出相應的三對比值并賦予相應的編碼，再由編碼規則得到一組編碼表，然后根據表中提供的診斷標準找到相應的故障類型。但上述方法在實踐過程中逐漸顯露出編碼不全、判斷標準過于絕對等缺點[6]。為了克服上述弊端，國內外學者展開了深入研究，部分學者提出了基于人工智能算法的變壓器故障診斷方法，如專家系統[7]、支持向量機(support vector machine,SVM)法[8]、模糊理論法[9—10]、人工神經網絡(artificial neural network，ANN)法[11]等。專家系統需要大量正確的專家經驗，實際應用較困難[12]；SVM法本質上是二分類算法，變壓器故障診斷為多分類問題，面對多分類問題，參數設置及構造分類器過程均較為繁瑣[13]；模糊理論法需要人為設置初始聚類中心，診斷效果受初始聚類中心限制較大[10]；ANN法存在收斂速度慢，易陷入局部最優解的缺陷[11]。

上述變壓器故障診斷方法均屬于淺層機器學習方法，面對變壓器故障診斷，存在學習能力不足、深層特征挖掘困難等缺點，進而影響變壓器故障診斷效果[14]。相比于淺層學習方法，深度學習的本質是通過構造多隱藏層的神經網絡，將數據進行非線性映射，可以實現對原始特征的深層挖掘及分析[15]。自編碼器(auto-encoder，AE)是深度學習的重要組成部分，在無監督學習及非線性特征提取過程中扮演著重要角色[16]。通過堆疊多個AE形成棧式AE，能夠提取原始數據中更深層次的信息[17]。

然而在針對分類問題的常見深度學習方法中，損失函數一般使用交叉熵損失，并未考慮樣本不平衡對診斷結果的影響，而變壓器運行及監測過程中較難獲得完備樣本。為此，文中提出一種基于Focal損失棧式稀疏降噪自編碼器(stack sparse denoising auto-encoder，SSDAE)的變壓器故障診斷方法。通過Focal損失來削弱因樣本不平衡帶來的不利影響。基于具體的算例進行了驗證，結果表明文中方法具有良好的診斷性能。

1 SSDAE模型

1.1 AE

AE是一種經典的無監督網絡，是實現無監督數據特征提取的一種方法。AE輸出層與輸入層神經元個數相等，輸入層到隱藏層的部分為編碼器，而隱藏層到輸出層的部分為解碼器[18],結構如圖1所示。

圖1 AE結構Fig.1 AE structure

編碼和解碼的過程可分別由式(1)、式(2)表示，即：

h=f(W1x+b1)

(1)

(2)

式中：W1∈Rn×m為編碼權重矩陣；b1∈Rm為編碼偏置向量；W2∈Rm×n為解碼權重矩陣；b2∈Rn為解碼偏置向量；f(·)，g(·)分別為編碼、解碼過程非線性激活函數，一般采用Relu函數。

1.2 棧式稀疏自編碼器(SSAE)

當AE中隱藏層節點數大于輸入層節點數時，應對隱藏層施加一定約束。文中選擇在損失函數中增加懲罰因子項，對AE進行稀疏性限制，進而構成稀疏自編碼器(sparse auto-encoder，SAE)，SAE的代價函數為[18]：

(3)

(4)

(5)

SAE仍為淺層學習模型，為了實現特征深度提取，可按照棧式結構對SAE進行堆疊，且前一層網絡的輸出作為后一層網絡的輸入，進而構建棧式稀疏自編碼器(stack sparse auto-encoder，SSAE)。

1.3 SSDAE

SSDAE是在SSAE的基礎上，對原始的輸入數據加入噪聲，將變化后的數據輸入SSAE模型中，令其盡可能重構一個與原始數據相同的輸出。對原始輸入數據增加噪聲通常有2種方式。一種是增加一個較小的隨機擾動，通常為高斯白噪聲，如式(6)所示。

(6)

另一種是隨機把輸入向量中的一部分分量按概率賦值為0。文中選用第一種增加噪聲方式，通過增加噪聲，SSDAE迫使編碼器學習提取重要的特征并學習輸入數據中更加魯棒的表征，同時增加模型的泛化能力。

SSDAE神經網絡分為無監督預訓練和有監督微調2個階段。

(1)無監督預訓練階段。該階段基于無標簽樣本數據，利用式(3)所示的損失函數，采用逐層貪婪訓練策略，利用反向傳播算法，依次實現SSDAE各層網絡參數的訓練。

(2)有監督微調階段。該階段去掉SSDAE的解碼層，并加入Softmax分類層，基于交叉熵損失函數，利用反向傳播算法對各層網絡參數進行優化。其中交叉熵損失函數可由式(7)表示。

(7)

1.4 Focal損失函數

對于分類任務，通常采用交叉熵損失函數[19]。文中使用的變壓器故障數據樣本中，正常樣本所占比例大且故障類樣本之間存在著不平衡，使用交叉熵損失函數會使訓練后的模型向樣本多的類別偏移。Focal損失函數可以有效地解決上述問題，其公式為：

(8)

通過增加訓練樣本少的類別學習強度，減少訓練樣本多的類別學習強度，來消除類別樣本不平衡對結果的影響。文中采用文獻[20]的方法，具體而言，任意2個類別權重之比等于這2個類別樣本數量的反比。設數據類別總數為N，則第i類的參數αi等于類別權重值，如式(9)所示。聚焦參數γ設置為2[21]。

(9)

式中：ni為第i類樣本總數；αi為第i類樣本的平衡參數；M為類別總數。

文中使用Focal損失函數來代替式(7)，減小樣本數多的類別所對應的損失權重，增大樣本數少的類別所對應的損失權重，使得模型更多地關注樣本數少的類別，從而提高模型對變壓器故障診斷的準確率。

2 基于Focal損失SSDAE的變壓器故障診斷

2.1 輸入量的確定

油浸式變壓器內的油/紙絕緣材料在熱和電場的作用下會逐漸老化和分解，產生少量的各種低分子烴類及二氧化碳、一氧化碳等氣體。若有放電和過熱故障時，油中溶解氣體組分和含量會隨之改變，因此，一般選取氫氣(H2)、甲烷(CH4)、乙炔(C2H2)、乙烯(C2H4)、乙烷(C2H6)這5種氣體作為特種氣體來判斷變壓器的故障類型。由于這5種氣體含量值差異較大，為了使SSDAE網絡有良好的收斂性，將輸入數據進行歸一化處理，將各種溶解氣體含量換算為[0,1]范圍內的相對含量，如式(10)所示。

(10)

式中：x′i為歸一化后的數據；xi為第i種氣體的原始濃度數據；ximin，ximax分別為第i種氣體濃度的最小值和最大值。

2.2 輸出量的確定

參照IEC 60599規定，變壓器故障類型包括局部放電、低能放電、高能放電、低溫過熱、中溫過熱及高溫過熱。可對變壓器故障狀態進行ont_hot編碼，如表1所示。

表1 變壓器運行狀態編碼Table 1 Transformer operation status code

2.3 變壓器故障診斷模型

變壓器診斷模型輸入為H2、CH4、C2H2、C2H4、C2H6這5種氣體含量經過歸一化后的值，首先加入解碼層，以輸出等于輸入預訓練網絡參數；然后去除解碼層，加入Softmax分類層，模型的輸出為7個概率值，對應變壓器的7個運行狀態，取概率最大的標簽所對應的故障類型為模型診斷結果。基本結構如圖2所示。

圖2 變壓器故障診斷模型基本結構Fig.2 The basic structure of transformer fault diagnosis model

建立SSDAE的變壓器故障診斷模型需要經過1.2節所述2個訓練階段以得到最終的訓練模型。為了加快訓練速度，采用自適應學習率，學習率調整系數設置為0.5，最大迭代次數為1 000次。

2.4 變壓器故障診斷流程

基于Focal損失SSDAE的變壓器故障診斷包括數據預處理、模型參數設置、無監督預訓練、有監督微調和輸出分類結果5個過程，其診斷流程如圖3所示。

圖3 變壓器故障診斷流程Fig.3 Transformer fault diagnosis process

3 案例分析

為了驗證基于Focal損失SSDAE的變壓器故障診斷效果，選取某供電公司提供的變壓器DGA故障數據，共1 518組。變壓器的故障數據中存在人為或傳感器等因素造成的重復或異常數據。重復數據會使模型更偏向于重復樣本的類別，因此需進行數據去重。異常數據會使模型的準確率降低，因此使用Tukey′s test法對異常值進行檢測，執行過程如式(11)和式(12)所示[22]。

UL=Q3+1.5IQR

(11)

DL=Q1-1.5IQR

(12)

式中：UL為上邊界；DL為下邊界；Q1為下四分位數，即25%分位數；Q3為上四分位數，即75%分位數；IQR為上、下四分位數差，即分位距。

異常數據的判斷標準為大于上邊界或小于下邊界。檢測到的異常數據被刪除并視為缺失值。根據原始樣本的7個狀態，采用隨機森林法對缺失值進行數據填充。

經過上述數據清洗，剩余892組非重復數據將用于后續模型的訓練及結果預測。取各類樣本的80%組成訓練樣本集，各類樣本的20%組成測試樣本集。各運行狀態下訓練樣本及測試樣本組成如表2所示。

表2 故障樣本統計Table 2 Fault sample statistics

為了使SSDAE模型有較好的效果，需先明確隱藏層及神經元理想數值。文獻[22]指出，當隱藏層數超過3層時，很難優化權重，因此文中設置隱藏層的層數為3。隱藏層神經元的數目根據經驗可由式(13)得出，對于所有的隱藏層使用相同數量的神經元個數。

(13)

式中：Nh為隱藏層神經元的數目；Ns為訓練集樣本數；Ni為輸入神經元的數目；No為輸出神經元的數目；α為任意取值變量，通常取1～5。由此可得到隱藏層的神經元個數分別為58，29，19，14，11，進而得出網絡的最佳性能，如圖4所示。

圖4 隱藏層神經元數目對網絡性能的影響Fig.4 Influence of the number of hidden layer neurons on network performance

由圖4可知，當隱藏層設置為3層，且隱藏層神經元的個數為58時，模型的準確率最高。據此，文中所提的SSDAE網絡的結構為：5(輸入層)—58(第一隱藏層)—58(第二隱藏層)—58(第三隱藏層)—7(輸出層)。

為了確定式(6)中系數μ的值，分別選取了0.001～0.01之間的10個值進行計算，并與未加入高斯白噪聲的模型進行對比，得到結果如圖5所示。在加入0.001倍的高斯白噪聲后，模型的準確率得到提升。但是，隨著加入高斯白噪聲的增加，模型的準確率呈現下降趨勢。為了使模型達到最好的效果，文中μ取0.001。

圖5 高斯白噪聲對模型準確率的影響Fig.5 Influence of Gaussian white noise on model accuracy

為明確SSDAE網絡模型的性能，分別采用三比值法、SVM、決策樹、隨機森林、反向傳播神經網絡(back propagation neural network,BPNN)、SSAE+交叉熵損失函數和SSDAE+交叉熵損失函數對相同的數據集進行訓練和故障診斷。SVM采用徑向基函數(radial basis function,RBF)作為核函數，核函數參數設置為0.5，規則化稀疏設置為500；隨機森林和決策樹設置為默認值；BPNN輸入層為5個神經元，隱藏層為58個神經元，輸出層為7個神經元，輸出層加Softmax分類器；SSAE+交叉熵損失和SSDAE+加交叉熵損失模型參數設置與文中方法一致。測試樣本為179個，各故障診斷結果如表3所示，混淆矩陣的結果如圖6所示,其中各個子圖分別為各模型在變壓器數據集上的混淆矩陣結果，圖中色塊顏色深淺僅代表數值大小。

表3 不同方法診斷結果Table 3 Diagnostic results of different methods

由表3和圖6結果可知：

圖6 各模型在變壓器數據集上的混淆矩陣Fig.6 Confusion matrix of each model on transformer data set

(1)三比值法故障編碼少，部分故障用三比值法難于診斷，且三比值法的判斷標準過于絕對,導致三比值法的準確率偏低。

(2)對于深層特征的提取能力，文中方法優于傳統的SVM、決策樹、隨機森林和BPNN等淺層模型，其準確率也高于傳統方法。

(3)在SSAE的輸入向量中加入高斯白噪聲，可以避免模型的過擬合，增加了模型的泛化能力。因此SSDAE模型的準確率高于SSAE的準確率。

(4)訓練樣本不平衡易造成模型產生偏向性，進而影響模型對故障的診斷效果。而在變壓器的故障診斷中，樣本不平衡無法避免，文中采用Focal損失函數可進一步降低樣本不平衡的影響。

4 結論

文中分析了SSDAE的結構和原理，提出一種基于Focal損失SSDAE，利用變壓器中的5種特征氣體含量作為模型的輸入量，7類運作狀態作為輸出量，經過訓練得到了變壓器故障診斷方法。有如下結論：

(1)SSDAE能有效地提取數據的深層特征，且加入高斯白噪聲能提升模型的泛化能力，從而提高模型的分類準確率。

(2)在實際運行中，較難獲得變壓器的完備樣本，主要表現為正常樣本遠多于故障樣本且各故障類樣本也存在不平衡，導致模型準確率偏低。基于Focal損失SSDAE能有效解決樣本不平衡帶來的準確率偏低的問題。

(3)與傳統的機器學習方法，如SVM、決策樹、隨機森林和BPNN相比，基于Focal損失SSDAE的故障診斷方法具有更高的診斷準確率。

診斷模型的評價指標除準確性外，還有模型的穩定性。對于所提變壓器故障診斷模型的穩定性文中并未涉及，有待后續研究。

本文得到中央高校基本科研業務費(DUT20RC(3)018)資助，謹此致謝！