小樣本條件下基于卷積孿生網絡的變壓器故障診斷

朱瑞金，郝東光，胡石峰

（1.西藏農牧學院電氣工程學院，林芝 860000；2.國網西藏電力有限公司，林芝 860100）

變壓器是發電廠和變電所的主要設備之一。變壓器的運行狀態關系到整個電力系統的穩定性，倘若其發生故障會引發局部或者大面積停電，造成巨大的經濟損失。因此，對變壓器故障做出準確地及時診斷對于電力系統的安全運行具有重要意義[1]。

變壓器故障診斷主要包括特征提取和模式識別兩個步驟。特征提取的質量對于分類準確率有著至關重要的作用，已有的方法主要包括三比值法、Rogers比值法、大衛三角形法及Dornenburg比值法[2-3]。這些方法是以溶解氣體分析DGA（dis?solved gas analysis）為基礎，通過四則運算構建人工特征，具有方法簡單、容易實現的特點，因而在實際應用中發揮了重要的作用。然而，這些方法需要依靠專家經驗選擇特征，特征提取的過程沒有統一的理論依據，總結的特征個數有限，不具有普適性。模式識別指的是對提取的特征進行分析以診斷出變壓器的故障類型。傳統的方法主要包括支持向量機SVM（support vector machine）、貝葉斯網絡、k近鄰、模糊集理論、多層感知機MLP（multi-layer per?ceptron）和XGBoost算法[4-7]。其中：SVM處理小樣本數據集的速度較快，但由于它的本質是一個二分類器，對于變壓器故障診斷這種多分類問題，它的準確率不高；貝葉斯網絡在使用時需要預先設定先驗概率，可能會由于假設的先驗概率不夠準確而導致分類的效果不好；MLP雖然有著較強的學習能力，但它容易出現過擬合現象，而且特征提取能力有限；XGBoost是一種常用的集成學習方法，通過訓練多個分類器提高分類的準確率，但它的參數太多，存在著調參困難的缺陷。總的來說，雖然這些傳統方法適用于小樣本數據集的變壓器故障診斷，但各個方法的特征提取能力不足、分類的準確率有待提升。

近年來，深度學習發展迅猛，在國內外都引起了廣泛的關注，也給變壓器故障診斷帶來了新的研究思路[8]。已有的基于深度學習的變壓器故障診斷方法主要包括自動編碼器、深度信念網絡和深度卷積網絡[9-11]。盡管這些深度神經網絡相對于傳統模式識別的方法具有更高的診斷準確率，但它們都需要海量的樣本來訓練網絡，對于小樣本數據集難以奏效。特別的，卷積孿生網絡CSNN（convolutional Siamese neural network）是一種基于相似性度量的方法，可以對少量標簽樣本進行有效的學習，從而獲得對未知樣本的判別能力[12]。目前，CSNN在人臉匹配、簽名驗證、語義相似度分析及視覺跟蹤等領域得到了廣泛地應用，但在電力系統故障診斷中的應用還相對較少[13-14]。如何根據變壓器的溶解氣體數據特征設計出一種具有強大特征提取能力和較高診斷準確率的網絡結構有待進一步的研究。

針對已有的變壓器故障診斷方法對于小樣本數據集的準確率不高的問題，提出了一種小樣本條件下基于CSNN的變壓器故障診斷方法，所提方法的主要優勢在于：

（1）在特征提取環節，具有強大特征提取能力的卷積層和池化層被用來構建孿生網絡將原始數據映射到低維空間，不僅可以實現特征的自動提取，還能避免人工提取特征的主觀和繁瑣；

（2）在模式識別環節，不同于已有的深度學習方法都需要訓練一個分類器（比如，SoftMax），所提的CSNN是在低維空間基于歐式距離進行相似度的對比，從而實現故障的分類，這給基于深度學習的故障診斷提供了新的研究思路；

（3）所提方法只需要通過少量標簽樣本就能獲取到多種故障類型的共通特征，并用于預測未知樣本的故障類型。在小樣本條件下，所提方法相對于已有方法具有更高的準確率。

1 基于CSNN的變壓器故障診斷方法

1.1 CSNN的原理

傳統的分類方法（比如SVM）需要確切的知道每個樣本屬于哪個類型。在類型的數量過多，每個類型的樣本數量又相對較少的情況下，這些方法的準確率會大打折扣。出現這種現象的原因是對于整個數據集來說，每個類型的樣本數量太少，用傳統的分類方法難以訓練出好的分類器。為了解決小樣本數據集的分類問題，有學者提出了基于相似性度量的CSNN。從數據中去學習一個相似性度量，并用這個學習出來的度量去比較和匹配新的未知類別的樣本[15]。

CSNN的結構如圖1所示，CSNN的訓練和預測過程都需要成對的變壓器故障樣本（歸一化后的溶解氣體特征序列）作為輸入，通過相同權重的神經網絡將輸入數據映射到低維空間，在低維空間使用簡單的距離（比如歐式距離）進行相似度的對比。在訓練階段，CSNN的目標是去最小化來自相同類型的一對變壓器故障樣本的損失函數值，并最大化來自不同類型的一對變壓器故障樣本的損失函數值。一般的，卷積網絡的輸出值是GW(X)，其中W是神經網絡的權重參數，X是輸入的樣本數據。訓練的目標就是優化權重W使得當X1和X2屬于不同一個故障類型的時候，相似度是一個較大的值，X1和X2屬于同一個故障類型的時候，相似度是一個較小的值。

圖1CSNN的結構Fig.1 Structure of Siamese network

從圖1可以看出，左右兩邊的網絡是完全相同的網絡結構，它們共享相同的權重W，輸入數據為一對變壓器故障樣本(X1,X2,Y)，其中Y=0表示X1和X2屬于同一個故障類型，Y=1則表示不是同一個故障類型。針對兩個變壓器故障樣本X1和X2，分別映射到低維空間GW(X1)和GW(X2)。得到的這兩個輸出結果將被用于計算能量函數EW(X1,X2)，若能量函數小于閾值，則認為輸入的兩個樣本屬于同類故障。能量函數的表達式為

對比損失（contrastive loss）函數和輸入樣本、參數有關，它的形式為

式中：P為輸入的總樣本數；i為當前樣本的下標；LG為兩個樣本為同類型時的損失函數；LI為兩個樣本為不同故障類型時的損失函數；Y為X1和X2是否屬于同一類故障。通過這樣分開設計，可以使得最小化損失函數的時候，可以減少相同類型故障樣本對的能量，增加不同類型故障樣本對的能量。為了實現這種效果，只需要將LG設計成單調增加，讓LI單調遞減即可。根據文獻[12]，設計單個故障樣本的損失函數為

式中，Q為一個常量，這個損失函數的收斂證明見文獻[12]。

1.2 CSNN的結構

由于卷積神經網絡CNN（convolutional neural network）具有強大的特征提取能力，在圖像識別、穩定性評估和模式識別等領域得到了廣泛地應用[16]。因此，卷積神經網絡被用來構建孿生網絡將溶解氣體數據映射到低維空間。

卷積神經網絡主要由卷積層、池化層及全連接層FC（fully-connected layers）組成。卷積層的主要操作是對上一層的輸出數據進行卷積運算，并加上偏置向量作為下一層的輸入數據，其表達式為

式中：yi為第i層的輸出數據；fi為第i層的激活函數（這里取線性整流函數ReLU）；xi為第i層的輸入數據；wi為第i層卷積核的權重；bi為第i層卷積核的偏置向量；*為卷積運算符號。

采樣層對卷積層輸出的數據進行下采樣操作，只保留關鍵的特征以降低數據的維度。如圖2所示，池化方式有最大池化和平均池化，其數學表達式為

式中：R為池化的區域；為最大池化層輸出的數據；為平均池化層輸出的數據。

池化層的后面一般是平坦層，將池化層輸出的多維數據轉變成一維向量作為全連接層的輸入數據。全連接層輸出的就是低維空間的數據，將被用于計算相似度。其表達式如下：

對于小樣本數據集，訓練的神經網絡容易出現過擬合現象。為了緩解這個問題，在卷積層后面插入“Dropout”層。它的作用是以一定的概率讓神經元停止工作，有利于提高模型的泛化能力。

圖2 不同的池化方式Fig.2 Different pooling modes

1.3 CSNN的流程

基于CSNN的變壓器故障診斷過程主要包括4個步驟，如圖3所示。

（1）特征的選擇。變壓器在正常運行時，固體絕緣和絕緣油都會被分解并釋放出微量的氣體，主要包括乙炔C2H2、乙烷C2H6、甲烷CH4、氫氣H2、乙烯C2H4、二氧化碳CO2和一氧化碳CO。當變壓器發生絕緣受潮濕、低能發電和高溫過熱等異常現象時，這些氣體含量會迅速地劇增，大部分溶解在絕緣油中，少部分會上升到絕緣油的表面進入繼電器。通過溶解氣體分析可以為變壓器的故障診斷提供重要依據。因此，本文以溶解氣體H2、CH4、C2H6、C2H4和C2H2的含量作為原始特征，再加上Rogers比值法構建的4個特征[10]，一共9個特征，作為CSNN的輸入。

圖3 變壓器故障診斷的流程Fig.3 Flow chart of transformer fault diagnosis

（2）數據預處理。考慮到各個特征的單位和數量級不一樣，如果不對原始特征進行歸一化，在后續的模型訓練過程中可能會出現準確率低或者難以收斂的現象。因此，在把數據作為CSNN的輸入前，將其映射到[0，1]區間，其數學表達式為

式中：x、x′分別為歸一化前、后的數據；xmin、xmax分別為該特征的最小值和最大值。

（3）CSNN的訓練。在模型的訓練階段，初始化CSNN的結構和參數，將標簽樣本以成對的形式輸入到模型中。通過前向傳播，計算出模型輸出數據和預期目標的誤差。判斷模型是否收斂，若收斂則訓練結束，輸出訓練好的CSNN用于診斷未知樣本的故障類型。否則，利用誤差反向更新網絡的權值和閾值。

（4）未知樣本的故障診斷。在故障診斷階段，將未知樣本和每一個標簽樣本組成樣本對。將樣本對作為CSNN的輸入數據，若這個樣本對的歐式距離小于閾值，則認為它們是同類。統計這個未知樣本屬于每一類故障的概率，將這個樣本歸到概率最高的那一類中。

2 算例分析

為了說明CSNN診斷變壓器故障的有效性，采用衡水市和上海市供電公司的實際數據集進行仿真驗證[17]。經過清洗后，數據集包括535個樣本，一共9種狀態分別是正常、低能放電、高能放電、高溫高熱、低溫過熱、中溫過熱、局部放電、高能放電兼過熱及低能放電兼過熱。訓練集占總樣本個數的60%，驗證集和測試集各占20%。訓練集和驗證集用來訓練CSNN，測試集用來分析CSNN的性能。所有方法均在帶有TensorFlow的Spyder平臺下運行。通過對CSNN的結構和參數進行多次試探，最優模型如圖4所示。CSNN的輸入樣本是一對維度是1×9的溶解氣體特征序列。通過Python自帶的Reshape函數將向量重構成3×3的矩陣作為卷積層的輸入。經過多個卷積層、池化層和全連接層的處理后，輸出1×8的向量用于這對樣本的計算歐式距離。模型細節如下：兩個卷積層的卷積核個數依次是16和36，卷積核大小都是2×2；最大池化層的池化窗口大小是2×2。卷積層和池化層的激活函數都是ReLU；在兩個卷積層后面插入一個Dropout層以緩解過擬合，Dropout層的概率設置為0.2；全連接層的神經元個數是8，激活函數是ReLU。

圖4 卷積CSNN的結構Fig.4 Structure of convolutional Siamese network

為了分析CSNN的訓練狀態是否穩定，圖5展示了損失函數隨著迭代次數增加的變化情況。

圖5CSNN的訓練過程Fig.5 Training process of Siamese network

顯而易見，驗證集和訓練集的損失函數隨著迭代次數的增加而減小。當迭代次數大于80時，CSNN的損失函數趨于平穩不再繼續下降，這表明該網絡已經收斂。此外，對比訓練集和驗證集的損失函數發現它們的損失函數非常接近，這說明網絡的泛化能力較強，沒有出現過擬合現象。

為了分析CSNN的批尺寸（Batch size）對于分類準確率的影響，分別設置批尺寸為5、10、20、40、60、80、100和120，統計出測試集的準確率如圖6所示。

圖6 不同批尺寸的準確率Fig.6 Accuracy with different batch sizes

為了分析CSNN的閾值對于分類準確率的影響，分別設置不同閾值，統計測試集的準確率如圖7所示。

圖7 不同閾值的準確率Fig.7 Accuracy with different thresholds

由圖7可知：（1）當閾值比較小的時候，被CSNN判定成和未知樣本同類的已知樣本個數會很少。若閾值足夠小，這個未知樣本會被歸到和它距離最近的那個樣本所屬的故障類型中。從仿真結果來看，閾值較小時，準確率不高；（2）相對的，如果閾值很大，被CSNN判定成和未知樣本同類的已知樣本個數會很多。這個未知樣本很有可能會被歸到擁有最多樣本的故障類型中，此時的準確率很有限。當閾值設定0.3的時候，模型的分類準確率達到最高。

為了驗證所提方法的有效性，分別統計CSNN、基于全連接層的孿生網絡FSNN（fully connected neural Siamese network）、SVM、XGBoost、MLP及CNN在不同輸入特征下，對于測試集的準確率如表1所示。

表1 不同方法的準確率Tab.1 Accuracy of different methods%

由表1可知：（1）根據輸入特征的不同，變壓器故障的診斷準確率按IEC比值法、Rogers比值法和本文的特征依次提升，這說明這些比值法雖然在包含了原始數據大部分信息的前提下，在一定程度上減小了輸入特征的維度，但也損失了部分準確率；（2）相對于SVM、XGBoost、MLP和CNN而言，孿生網絡有著更高的分類準確率。進一步對比兩個孿生網絡的準確率，發現利用卷積層和池化層來構建孿生網絡比僅用全連接層構建來孿生網絡會收獲更高的準確率，這是因為卷積層比全連接層具有更強大的特征提取能力。

為了進一步測試本文所提CSNN、FSNN、SVM、XGBoost、MLP和CNN在不同數據量下的分類準確率，設置了4種仿真場景，如表2所示。4種仿真場景統計出測試集的準確率如表3所示。

表2 不同場景的樣本個數Tab.2 Numbers of samples in different scenarios

表3 不同場景的準確率Tab.3 Accuracy in different scenarios%

由表2和表3可知：（1）隨著數據集中樣本個數的增加，各個模型能夠學習到更多的信息，分類準確率也就越高。相對而言，CSNN的準確率比其他方法的準確率都高，而且數據量越小越明顯，這說明CSNN比其他方法更適合小樣本條件下的變壓器故障診斷；（2）CNN和CSNN都是先利用卷積層和池化層來提取特征，不同的是前者在特征后面接分類器（比如Softmax），后者是利用歐式距離進行相似度對比。CSNN比CNN的準確率高，這表明相似度對比法比訓練分類器法更加適合小樣本條件下的變壓器故障診斷。

3 結論

針對已有的變壓器故障診斷方法對于小樣本數據集的準確率不高的問題，本文提出了一種小樣本條件下基于CSNN的變壓器故障診斷方法。卷積層和池化層被用來構建孿生網絡將原始數據映射到低維空間，并通過歐式距離對比相似度，從而實現故障的分類。通過仿真得出的結論如下。

（1）相比于SVM、XGBoost、MLP和CNN，所提出的CSNN在不同輸入特征的場景下均得到了更高的診斷準確率。此外，利用卷積層和池化層來構建孿生網絡比僅用全連接層構建來孿生網絡會得到更高的準確率。

（2）CSNN相對比SVM、XGBoost、MLP和CNN，更加適合小樣本條件下的變壓器故障診斷。

（3）通過對比CSNN和CNN的準確率，發現相似度對比法比訓練分類器法更加適合小樣本條件下的變壓器故障診斷。