不平衡樣本下基于變分自編碼器預處理深度學習和DGA的變壓器故障診斷方法

2021-04-24 10:44:50張弛吳東王偉劉力卿謝軍

南方電網技術 2021年3期

張弛，吳東，王偉，劉力卿，謝軍

(1.國網天津市電力公司電力科學研究院，天津100084； 2. 國網天津市電力公司設備管理部，天津100084；3.華北電力大學電力工程系，河北保定071003)

0 引言

電力變壓器是電力系統的關鍵設備。然而，受設計、制造及運行狀態等影響，變壓器異常或故障狀態時有發生，影響電力系統安全穩定運行。對變壓器運行狀態進行準確監測，并實現變壓器故障高效診斷，對提高電力系統運行可靠性具有重要意義。

油中溶解氣體分析(dissolved gas-in-oil analysis, DGA)是實現變壓器故障診斷的可靠方法之一[1]。以DGA為基礎，形成了比值法[2 - 3]、人工智能和機器學習法等多種變壓器故障診斷方法。比值法通過分析特征氣體比值關系實現變壓器故障診斷，其代表方法包括三比值法、改良三比值法等。比值法操作簡單，但存在著編碼不全及邊界過于絕對等缺點，影響了故障診斷效果。為此，人工智能及機器學習技術在變壓器故障診斷中得到了普遍應用。目前常用方法主要包括專家系統法[4]、模糊理論法[5]、人工神經網絡(artificial neural network，ANN)法[6 - 7]、支持向量機(support vector machine, SVM)法[8]等。然而，專家系統法受先驗知識的影響較大；模糊理論法的特征學習能力有限，且針對不同故障類型的適用能力差別較大；ANN方法易陷入局部最優，且模型泛化能力較差，難以滿足實際變壓器故障診斷復雜需求。SVM方法需多個分類器，參數設置過于復雜，且經核函數變化后，故障特征空間仍存在混雜可能。

傳統基于人工智能及機器學習的變壓器故障診斷方法本質上仍為淺層學習，特征挖掘能力有限。此外，DGA特征與變壓器運行狀態間存在復雜的非線性映射關系，僅通過淺層學習方法難以描述復雜關聯模型，影響了變壓器故障診斷效果[9]。相比于淺層學習方法，深度學習方法通過多隱層形式構建深層網絡，具有較強的特征挖掘及分析能力[10 - 11]。目前，深度學習已較多應用于特征識別、分類評估、智能決策等領域，并取得了較好效果[12]。

深度學習是典型的數據驅動型模型。為實現深度學習故障診斷，需較多已知故障案例樣本，且各類故障狀態訓練樣本數目應基本均衡[13]。然而，由于設備及運行環境等限制，變壓器在運行過程中較難獲得完備樣本信息，突出表現為正常樣本較多，故障樣本偏少，進而產生訓練樣本不平衡。訓練樣本不平衡嚴重限制深度學習特征提取能力，并影響深度學習故障診斷效果。欠采樣法[14]、過采樣法[15]及代價敏感法[16]目前被主要用于緩解訓練樣本不平衡的不利影響。欠采樣法通過人為減少多數類樣本數目達到樣本均衡，但易造成關鍵信息丟失，影響故障診斷效果；過采樣法通過隨機復制及添加樣本的方式實現少數類樣本數目擴充，但易使某些樣本特征被過度強化，并造成診斷模型過擬合。代價敏感法通過增大少數類樣本診斷錯誤的損失代價，強化少數類樣本學習效果，提高樣本不平衡條件下的故障診斷效果，然而該方法需預先人為設置代價敏感矩陣，代價敏感矩陣若設置不合適將對故障診斷效果產生較大影響。

為此，本文提出一種基于變分自編碼器預處理深度學習和DGA的變壓器故障診斷方法，該方法以DGA特征量為基礎，基于變分自編碼器對少數類訓練樣本進行預處理，通過學習得到少數類樣本分布特征實現樣本自動擴充，進而提高訓練樣本均衡性，同時基于堆棧稀疏自編碼深度學習模型實現變壓器故障診斷。實驗結果表明，該方法有效改善了不平衡訓練樣本下變壓器故障診斷效果。

1 基于堆棧稀疏自編碼的深度學習模型

1.1 稀疏自編碼器基本原理

自編碼器(auto-encoderes，AE)由輸入層、隱含層及輸出層構成，且輸入層及輸出層神經元數目一致[17]。AE基本結構如圖1所示，其中輸入層到隱含層為編碼環節，隱含層到輸出層為解碼環節。

圖1 自編碼器基本結構Fig.1 Basic structure of AE

h=f(Wx+b)

(1)

(2)

式中：W、b分別為編碼權重矩陣及偏差向量；W′、b′分別為解碼權重系數及偏差向量；f(·)及g(·)均為非線性激活函數，一般可采用Sigmoid函數。

AE以輸入、輸出誤差最小為原則，通過編、解碼實現原始輸入高效重構，基于編碼過程可以實現輸入數據的隱含層表述，進而實現特征提取。為提高收斂速度，并獲得特征空間更優表達，可對隱層神經元稀疏化，進而構成稀疏自編碼器(sparse auto-encoder，SAE)。SAE代價函數可表示為：

(3)

1.2 稀疏堆棧自編碼深度學習模型

為實現特征深度提取，可將多個SAE堆疊起來，且本級SAE隱含層均為下級SAE輸入層，進而構建堆棧稀疏自編碼(stack sparse auto-encoder，SSAE)深度學習模型[18]。同時，為實現基于SSAE深度學習模型變壓器故障診斷，可去除輸出層，并加入Softmax層，其基本結構如圖2所示。

圖2 堆棧稀疏自編碼基本結構Fig.2 Basic structure of SSAE

SSAE深度學習模型網絡參數訓練主要包括預訓練及微調過程。

1)預訓練過程。預訓練為無監督訓練模型，且采用逐層貪婪訓練方法。進行預訓練時，各級SAE可加入輸出層，并基于式(3)所示損失函數，實現各級SAE網絡參數的優化，同時基于梯度下降法實現下級SAE網絡參數更新。

2)微調過程。微調過程為有監督學習過程，進行參數微調時，可加入Softmax層，同時基于分類誤差損失函數梯度值實現SSAE反向更新。采用Softmax分類層時，可采用交叉熵損失函數，即：

(4)

2 基于變分自編碼器的不平衡樣本預處理

圖3 變分自編碼基本結構Fig.3 Basic structure of VAE

DKL(pθ(Z|X)|qφ(Z|X))=logpθ(X)-L(θ,φ,X)

(5)

由于KL散度具有非負性，故最小化KL散度可轉化為最大化L(θ,φ,X)，L(θ,φ,X)為對數似然函數logpθ(X)的變分下界，并有：

L(θ,φ,X)=Eqφ(Z|X)logpθ(Z|X)-
DKL(qφ(Z|X)|pθ(Z))

(6)

VAE參數訓練時，經編碼過程，可得到X概率分布對應均值μ及方差σ。由于傳統采樣過程對均值及方差均不可導，難以基于梯度下降實現網絡參數更新。故可引入重參數范圍方法，且基于高斯標準正態分布隨機采樣得到隱變量Z，即：

Z=μ+ε·σ

(7)

式中ε為符合標準正態分布的隨機數。

綜上，VAE通過引入變分下界，簡化了邊緣似然概率密度的計算，同時引入了重參數方法，簡化了采樣過程。基于VAE可實現原始數據分布的預測，并實現數據生成及擴充的目標。

基于VAE可實現不平衡樣本預處理，其基本過程為：

1)以少數類樣本作為VAE輸入，并基于VAE編碼過程計算其概率分布的μ及σ；

2)從標準正態分布N(0,1)中隨機采樣，并基于式(7)計算隱變量Z；

3)以隱變量為VAE解碼過程輸入，基于式(6)實現VAE網絡參數的更新；

4)重復上述過程，基于VAE生成若干擴充樣本，并將其與原始不平衡樣本合并，進而實現原始不平衡樣本的預處理，得到相對平衡的樣本。

3 基于變分自編碼器預處理深度學習和DGA的變壓器故障診斷模型建立方法

3.1 輸入特征量及狀態編碼原則

大型電力變壓器一般為油浸式，其油中溶解氣體組分及含量隨變壓器運行狀態及故障與否發生改變，一般可選擇H2、CH4、C2H6、C2H4、C2H2作為特征氣體，并以各氣體體積分數(μL/L)為輸入[17]。故變壓器故障診斷SSAE深度學習模型其輸入層可含5個神經元。

變壓器常見故障主要有低溫過熱、中溫過熱、高溫過熱、低能放電、高能放電、放電兼過熱等。可對變壓器故障狀態進行編碼，如表1所示。基于該編碼方式，變壓器故障診斷SSAE深度學習模型其Softmax輸出層共含7個神經元，且各神經元數值可表示診斷為該故障狀態的概率。

表1 故障代碼及其輸出向量Tab.1 Fault codes and their output vector

3.2 不平衡樣本下變壓器故障診斷方法基本步驟

綜上，本文所提不平衡樣本下基于變分自編碼器預處理深度學習和DGA的變壓器故障診斷方法的基本步驟如下，即：

1)獲取原始訓練樣本，初始化變壓器SSAE深度學習故障診斷模型網絡參數；

2)分析各類型故障下訓練樣本組成，設置VAE最大迭代次數，基于VAE擴充少數類訓練樣本；

3)基于少數類擴充樣本及原始訓練樣本構建平衡訓練樣本集；

4)采用構建的平衡訓練樣本集，基于預訓練及微調過程構建變壓器SSAE深度學習故障診斷模型；

5)對于待診斷樣本，以H2、CH4、C2H6、C2H4、C2H2等DGA特征氣體體積分數為輸入，基于SSAE深度學習診斷模型Softmax輸出層實現故障診斷。

圖4為本文所提方法故障診斷流程示意圖。

圖4 本文所提方法故障診斷流程示意圖Fig.4 Fault diagnosis sketch diagram of the method proposed in this paper

4 實例分析

4.1 樣本數據及初始參數設置

本文從實際運行的變壓器油色譜數據中提取1 593組案例數據，各狀態案例數據數目如表2所示。各狀態中，隨機抽取若干案例作為測試樣本，其余案例置于訓練樣本庫待選。

表2 樣本組成Tab.2 Sample composition

對于VAE樣本擴充模型，采用交叉熵作為損失函數，其最大迭代次數設置為1 000。對于SSAE變壓器故障診斷模型，為加快訓練速度，采用文獻[21]所述自適應學習率，學習率調整系數設置為0.5，最大迭代次數為1 000；綜合診斷效果及診斷效率，變壓器SSAE深度學習故障診斷模型可采用3隱層結構，各隱層與下級隱層神經元數目之比為2:1，且各隱層神經元數目不低于10，首個隱層神經元數目為60[20]。綜上，本文所述變壓器SSAE深度學習故障診斷模型其網絡結構為：5(輸入層)—60(隱層1)—30(隱層2)—15(隱層3)—7(輸出層)。

4.2 實例結果分析

本文從訓練樣本庫中隨機抽取若干樣本以組成不同訓練集。各訓練集下樣本組成如表3所示。

表3 不同訓練集下樣本組成Tab.3 Samples composition under different training sets

基于各訓練集，采用本文方法對測試集進行故障診斷。同時，為對比說明本文方法效果，一并采用傳統SSAE深度學習、ANN、SVM及三比值變壓器故障診斷方法對測試集進行測試。其中，SSAE深度學習其參數設置與本文一致；SVM法采用RBF核函數，核函數參數為0.5，規則化系數為500。ANN法輸入層及輸出層分別含5個及7個神經元，學習率系數設置為0.01，最大迭代次數為1 000。不同訓練集下，不同方法診斷結果準確率如表4所示。

表4 不同方法診斷結果準確率Tab.4 Diagnostic accuracies of each method

由表4結果可知：三比值法無需基于訓練基于訓練樣本實現故障診斷，不同訓練集下其診斷結果保持穩定，但準確率僅在75%左右，難以滿足工程需求；深度學習具有深層特征提取及分析能力，采用本文方法及常規SSAE深度學習方法對測試集進行故障診斷，其效果明顯優于ANN及SVM等淺層學習方法。

進一步分析表4結果可知：訓練集2、訓練集3及訓練集4下，訓練樣本不平衡度逐漸增大，雖然訓練樣本總數增多，但SSAE深度學習、ANN、SVM的變壓器故障診斷結果的準確率卻呈下降趨勢。本文方法采用VAE實現了少數類樣本的擴充，進而降低了訓練樣本的不平衡度。對比本文方法及傳統SSAE深度學習變壓器故障診斷方法可知，訓練集2、訓練集3及訓練集4下，本文方法效果明顯優于基于SSAE深度學習的變壓器故障診斷方法，且訓練樣本不平衡對診斷結果無明顯影響，整體診斷結果準確率保持在91%以上。

為進一步分析各方法診斷效果，可對各訓練集下，診斷結果漏報率FP及誤判率FN進行計算，其計算公式可分別表示為：

(8)

(9)

式中：N為故障狀態測試樣本總數；Nn→p為將故障狀態漏報為正常狀態的測試樣本總數；P為正常狀態測試樣本總數；Pp→n為將正常狀態誤報為故障狀態的測試樣本總數。

不同測試集下，各方法診斷結果漏報率及誤報率結果如圖5所示。

圖5 各方法漏報率及誤報率Fig.5 False negative rates and false positive rates for each method

由圖5結果可知，訓練集1及訓練集2下，訓練樣本呈平衡分布，隨著訓練樣本數目增多，除三比值外各方法漏報率及誤報率均明顯降低；訓練集2、訓練3及訓練集4下，故障狀態訓練樣本保持不變，但正常狀態訓練樣本明顯增多，故基于SSAE深度學習、ANN、SVM等變壓器故障診斷方法其對正常狀態訓練樣本的訓練強度將加大，使得上述診斷方法更易將測試樣本判定為正常狀態。對于實際運行的變壓器，其正常狀態樣本一般明顯多于故障狀態樣本，訓練樣本不平衡分布普遍存在，此時將明顯影響上述診斷方法診斷結果，特別是提高漏報率。而對于變壓器故障診斷，將故障漏報為正常的危害往往比將故正常誤報為故障的危害更嚴重。

本文方法基于VAE學習確定少數類樣本概率分布，結合隨機采樣技術實現指定概率分布下少數類樣本的自動生成，可在在保留原始樣本分布特征的基礎上實現樣本自動擴充，進而達到樣本均衡性改善的目的。經上述預處理后，可加強少數類樣本學習強度，使得深度學習診斷模型兼顧了各狀態的診斷效果，故本文方法可提高訓練樣本不平衡分布時診斷效果，特別是降低漏報率。

5 結論

為提高訓練樣本不平衡時，變壓器故障診斷效果，本文提出了一種基于變分自編碼預處理深度學習和DGA的變壓器故障診斷方法。主要結論如下。

1)基于VAE可學習確定少數類樣本分布特征，結合隨機采樣技術可實現少數類樣本自動生成，進而改善變壓器故障診斷訓練樣本的均衡性。

2)結合SSAE深度學習及DGA可構建變壓器故障診斷模型，其輸入及輸出分別為DGA特征量及各故障狀態概率分布。為改善訓練樣本不平衡對故障診斷結果不利影響，可基于VAE對訓練樣本進行預處理，進而實現少數類樣本擴充。

3)實驗表明，本文方法可改善訓練樣本不平衡對變壓器故障診斷的影響，提高變壓器故障診斷效果。各訓練集下，采用本文方法的變壓器故障診斷結果準確率均保持在91%以上，且漏報率較低。