基于域對抗遷移卷積神經網絡的小樣本GIS絕緣缺陷智能診斷方法

王艷新 閆 靜 王建華 耿英三 劉志遠

（電力設備電氣絕緣國家重點實驗室（西安交通大學） 西安 710049）

0 引言

氣體絕緣組合電器（Gas-Insulated Switchgear,GIS）作為輸變電系統中的關鍵設備，其可靠運行是整個電力系統安全、穩定的重要保障[1,2]。為確保GIS可靠運行，一系列的監測和診斷方法被用于GIS絕緣監視和故障診斷[3]。以數據驅動的GIS絕緣缺陷診斷方法主要包括兩個方面：①以先進的信號處理手段構造合理的故障表征信息并提取關鍵特征；②通過模式識別方法進行缺陷分類[4]。然而，傳統診斷方法，如支持向量機[5]、人工神經網絡[6]等窄模型由于難以獲得故障樣本與故障信息之間的非線性表示而受到掣肘。

隨著人工智能技術的飛速發展，深度學習方法，尤其是卷積神經網絡因其強大的特征提取和分類能力，被應用于GIS絕緣缺陷診斷中，并取得了一定的突破[7-10]。然而，目前的方法都建立在海量樣本的前提下，并且假設訓練和測試樣本滿足同一概率分布。對現場運行中的GIS而言，一方面難以獲得海量缺陷樣本，另一方面數據不斷被收集導致訓練和測試集不滿足同分布假設，導致現有的故障診斷方法的現場應用受到掣肘。

作為一種新穎的人工智能方法，遷移學習旨在通過將某個領域或任務上學習到的知識（源域）應用到不同但相關的領域（目標域）中，能夠有效解決數據量小和樣本不滿足同一概率分布的問題[11]。基于特征的遷移學習由于能夠找到源域和目標域相同的特征潛在空間，在變壓器智能保護[12]和電機軸承故障診斷[13]等領域取得了良好的效果。

受基于特征的遷移學習的啟發，本文提出了一種新穎的域對抗遷移卷積神經網絡，用于小樣本GIS絕緣缺陷診斷。為提取優異的故障特征，構建了自動尋優卷積神經網絡（Convolutional Neutral Networks, CNN），解決了現有卷積神經網絡手動構建復雜的難題。然后，通過遷移學習實現源域訓練模型在目標域的應用。此過程中，在卷積中引入對抗訓練，通過最小-最大二人博弈來學習類別差異和域不變特征，實現小樣本下的GIS絕緣缺陷診斷。在域對抗訓練中引入兩個領域分類器進行決策邊界和域空間的匹配，實現了兩個域下更合適的特征匹配。因此，該方法能夠學習到可遷移的判別特征，從而進行準確、魯棒的GIS絕緣缺陷診斷。

1 域對抗遷移卷積神經網絡

1.1 域對抗遷移學習

域對抗遷移學習作為一種有效減小邊緣分布差異的遷移學習方法，近年來受到廣泛的關注[14]。受生成對抗網絡啟發，域對抗遷移學習通常由特征提取器Gf、域簽別器Gd和標簽預測器Gy三個部分組成。Gf的目的是學習域不變特征表示，以迷惑Gd。而Gd則試圖區分源域樣本和目標域樣本的特征。構造Gy對不同類別的對象進行分類。域對抗訓練通過零和博弈過程，減少了源域和目標域的分布差異。

具體來說，給定GIS局部放電信號x及其缺陷類別y，Gf首先將輸入映射為一個高級特征表示，Gf的參數為θf。然后，將提取的特征表示分別輸入Gy和Gd，其中參數為θy的Gy輸出每個輸入GIS局部放電信號的預測標簽，參數為θd的Gd用來判斷每個樣本屬于源域還是目標域。最后，目標損失函數計算式為

式中，Ly和Ld分別為Gy和Gd的交叉熵損失；ns和nt分別為源域和目標域樣本數；xi為第i個樣本；Ds、Dt分別為源域、目標域樣本集；di為第i個樣本的預測標簽；yi第i個樣本的實測標簽。

1.2 卷積神經網絡構建

1.2.1 傳統卷積神經網絡

作為最受歡迎的深度網絡之一，卷積神經網絡由于強大的特征提取和分類能力而被廣泛應用[15]。其主要由卷積-池化模塊和全連接-分類決策模塊組成。

（1）卷積-池化模塊

卷積-池化模塊主要包括卷積層和池化層。卷積層操作可以描述為

式中，R為池化區域；為池化輸出。

（2）全連接-分類決策模塊

在堆疊了多個卷積池化模塊后，將全連接層和Softmax回歸應用于網絡末端以進行分類任務。全連接層的操作描述為

式中，αl為輸入；為第l+1層輸出；和分別為第l層的權重矩矩陣和偏差矩陣。

1.2.2 輕量級卷積神經網絡

由于源域特征提取和分類器性能直接影響目標域下的診斷準確率，為此需要探尋源域下高精度卷積神經網絡。針對傳統卷積神經網絡由于網絡參數過大而無法訓練的問題，提出采用深度可分離卷積代替傳統卷積[16]，在保證分類精度的同時盡可能縮減網絡參數。與傳統卷積相比，深度可分離卷積先將每一個通道單獨進行卷積即深度卷積操作，然后通過1×1卷積再將幾個輸出結合到一起即逐點卷積操作。深度可分離卷積示意圖如圖1所示。經過計算，深度可分離卷積的計算量約為傳統卷積的1/C，其中C為卷積核個數[16]。因此采用深度可分離卷積計算量相對于采用傳統卷積構建的神經網絡計算量明顯縮減。這種新型卷積操作可以將更大的網絡部署到低容量硬件上，提高現有硬件的使用效率。

圖1 深度可分離卷積示意圖 Fig.1 Schematic diagram of depth separable convolution

1.2.3 網絡自搜尋構建

考慮到目前卷積神經網絡多是通過多次手動試探后構建的，過程繁瑣且難以保證所構建網絡為GIS絕緣缺陷診斷的最優模型。為減輕工作量，提取不同粒度的局部放電特征，有效提升模型的辨識能力，本文提出自搜尋構建方法，以保障卷積神經網絡在性能指標和硬件資源花銷上均達到最優。同時，引入線性瓶頸操作和殘差結構來提升模型的性能[17]。

本文以分解式層次化搜尋法[18]在源域數據上自動搜尋構建卷積神經網絡。首先，將卷積神經網絡分解為基本元素塊；然后，自動搜索每個塊的特定組成和結構，如卷積運算的類型、卷積核的大小以及是否存在殘差運算等；最后，搜索塊之間的特定連接。鑒于計算資源有限，必須在每個塊搜索過程中仔細平衡卷積核的大小和使用數量。圖2給出 了用于GIS絕緣缺陷診斷的卷積神經網絡。考慮到搜索過程的復雜性，模型一經確定便不再更改。其中，Conv為卷積，Pool為池化，DWConv為深度可分離卷積，BN為批歸一化，FC為全連接，ReLU為激活函數，DSRConv為殘差輕量級卷積單元。

圖2 GIS絕緣缺陷診斷的卷積神經網絡 Fig.2 Convolutional neural network for diagnosis of GIS insulation defects

1.3 對抗訓練策略

為實現海量樣本下訓練的優異性能的GIS絕緣缺陷診斷模型在現場復雜小樣本下部署和應用，本文提出了一種新穎的域對抗遷移學習策略以實現模型遷移。所提出的域對抗卷積神經網絡如圖3所示。該診斷框架由一個基于深度卷積網絡的特征提取器、一個域判別器和兩個標簽分類器組成，分別進行兩種極大-極小對抗博弈。

圖3 域對抗卷積神經網絡 Fig.3 Domain adversarial convolutional neural network

1.3.1 域對抗適應策略

為實現目標域下更準確的絕緣缺陷診斷，本文所構建的域對抗遷移學習策略由域空間對抗適應和決策邊界對抗適應兩部分組成。其中域空間對抗適應實現源域和目標域的特征空間變換以實現特征空間的對齊，從而達到域匹配。決策邊界對抗適應用于將源域和目標域的分類決策邊界進行變換，以盡可能實現二者的逼近。

對域空間對抗適應而言，將域鑒別器添加到深度網絡的頂部以構建二人博弈游戲。其中訓練域鑒別器Gd用以區分提取的特征是來自源域還是目標域，而特征提取器Gf的目的是匹配源域和目標域之間的特征分布，并欺騙鑒別器。同時，訓練了兩個分類器以實現對源數據的低誤差分類。

為此，域空間適應的優化對象可以描述為

式中，C1和C2分別為兩個分類器；θC1和θC2分別為兩個標簽預測器參數；λ為兩種損失之間的權衡參數。

區別于傳統域對抗遷移學習，本文的域對抗遷移卷積神經網絡通過兩個標簽預測器來促進后續的分類決策邊界特征分布的適應。為此，模型參數可由式（6）和式（7）優化獲得。

對分類邊界對抗適應而言，兩個分類器C1、C2和特征提取器通過零和博弈過程，對決策邊界附近的目標樣本進行域適應，以提升目標域下的分類準確度。具體來說，由于兩個分類器C1和C2的初始化參數不同，導致二者雖然都能夠對源域實現準確的分類，但二者的性質不盡相同，為此兩個分類器在目標域上的差異可以體現出目標樣本與決策邊界的差距。在這個博弈游戲中，損失函數為

式中，Edis為分類器之間的差異；disL為兩個分類器之間的交叉熵損失。

基于上述目標函數，通過以下優化獲得模型的最優參數。

1.3.2 訓練策略

本文所提出的對抗訓練方案，通過對特征提取器進行優化，以最大程度地減少GIS絕緣缺陷分類損失Ec，并同時最大化域分類損失Ed。域鑒別旨在最小化Ed，更新分類器以最小化Ec。因此，網絡訓練問題分別表述為式（6）、式（7）、式（10）、式（11）。在每個訓練批次中，參數更新為

式中，αc、αdis和αd分別為Ec、Edis和Ed的懲罰系數；δ為學習率。

2 基于域對抗遷移卷積神經網絡的GIS絕緣缺陷智能診斷

本文提出了新穎的域對抗卷積神經網絡用于小樣本下的GIS絕緣缺陷診斷，其架構如圖4所示。由于標記的目標數據不足以訓練出可靠的診斷模型，因此將與目標數據更匹配的源數據遷移以解決目標問題。本文提出的域對抗遷移卷積神經網絡主要包括三個步驟：特征提取、參考遷移和域對抗訓練。

圖4 GIS絕緣缺陷診斷框架 Fig.4 GIS insulation defect diagnosis framework

本文所提出的域對抗卷積神經網絡的整個診斷過程可以總結如下：

（1）分別收集具有海量標簽的源域樣本和GIS絕緣缺陷目標樣本，并將樣本劃分為訓練集和測試集。

（2）在給定源域數據下，通過監督訓練最小化式（10）和式（11）來更新特征提取器和分類器。然后將訓練的權重參數遷移到目標域，以增強特征 學習能力。

（3）在給定源域和目標域數據下，可以通過優化式（5）中的相應目標函數來更新鑒別器和目標域特征提取器。

（4）重復步驟（3）的訓練過程，特征提取器逐漸在源域和目標域之間生成一致的數據分布，直到達到迭代次數或損失函數達到閾值為止。

（5）在測試階段，可以將目標域測試數據輸入特征提取器進行深度特征提取，然后分類器進行絕緣缺陷分類。

3 仿真及實驗

3.1 對抗訓練策略

3.1.1 源域樣本構建

作為GIS絕緣缺陷的主要表現形式，局部放電的出現會進一步加劇GIS設備老化[19]。為了獲得海量源域表征樣本以學得滿意的可遷移特征，本文采用時域有限差分（Finite Difference Time Domain, FDTD）仿真來獲取海量局部放電樣本[20-21]。GIS局部放電仿真模型如圖5所示。在激勵源設置上，本文將實際采集到的局部放電信號導入庫中作為激勵源，并選取自由金屬顆粒（記為0類缺陷）、金屬尖端（記為1類缺陷）、懸浮電極（記為2類缺陷）和絕緣子氣隙（記為3類缺陷）四類典型缺陷構建海量源域數據。

圖5 GIS局部放電仿真模型 Fig.5 GIS partial discharge simulation model

GIS仿真模型內導體外徑為106mm，外殼內徑為320mm，腔體總長為7 288mm，左右兩側以及T分支結構都有圓形封裝蓋板。在軟件中選取網格剖分尺寸為20mm×20mm×20mm，共計471×91×143個元胞，仿真步長設置為38.52ps，仿真時間長度設置為150ns。仿真過程中，通過調整傳感器位置來獲取四類缺陷下的局部放電信號各2 500組，記為數據集A。四類缺陷下的局部放電仿真信號如圖6所示。

圖6 四類缺陷下的局部放電仿真信號 Fig.6 Partial discharge simulation signal under four types of defects

3.1.2 目標域樣本構建

為了驗證本文所提出的方法在目標域下的GIS絕緣缺陷診斷性能，通過一段GIS腔體來模擬真實GIS局部放電。實驗接線原理如圖7所示。其中無暈工頻試驗變壓器額定電壓為250kV，額定容量為50kV·A。實驗過程中的特高頻傳感器型號為PDUG2，檢測帶寬為300~1 500MHz，負載阻抗為50?，靈敏度為-90dBm，平均有效高度為11mm，模擬帶寬為2GHz。通過實驗獲取了自由金屬顆粒、金屬尖端、懸浮電極和絕緣子氣隙四類缺陷各200組數據用于目標域絕緣缺陷診斷，記為數據集B。四類缺陷下的局部放電實驗信號如圖8所示。

圖7 實驗接線原理 Fig.7 Experimental wiring schematic diagram

同時，為了進一步驗證本文提出的方法在現場GIS絕緣缺陷上的診斷結果，本文以現場積累的局部放電樣本作為目標域。通過對現場收集的數據進行打標簽、歸一化、降噪等預處理，最終收集可用于診斷的四類缺陷共200組，其中0、1、2和3類缺陷分別為60、60、40、40組，記為數據集C。

3.2 小樣本GIS絕緣缺陷診斷

為了驗證本文所提出的域對抗遷移卷積神經網絡在小樣本下的絕緣缺陷診斷性能，本文以數據集A作為源域，以數據集B和C作為目標域建立了兩個遷移實驗。同時以Pytorch為框架，在配備GeForce RTX 2060 GPU、Intel i7-8700 CPU和16 GB RAM的計算機上進行了模型訓練。與自搜尋卷積神經網絡（ASCNN）相同層數的傳統卷積神經網絡（CNN），手動構建的MobileNet（MN）、LeNet和AlexNet被用作特征提取器與本文ASCNN進行對比[22]。在目標任務下，本文選擇無遷移訓練（源域和目標域分別記為SD和TD）、級聯微調遷移訓練（FTTL）[23]、最小化最大平均差異遷移訓練（MMD）[24]、傳統域對抗訓練（TDATL）以及本文所提出的域對抗訓練（DATL）進行遷移實驗以進行對比。在實驗過程中，重復實驗10次取平均值以減小網絡初始化過程中隨機誤差的影響。不同方法下的平均準確率如圖9和圖10所示。

圖8 四類缺陷下的局部放電實驗信號 Fig.8 Partial discharge experimental signal under four types of defects

圖9 實驗數據下不同方法的平均準確率 Fig.9 Average accuracy of different methods under experimental data

從圖9和圖10中可以看出，在源域上ASCNN的診斷精度達到了99.15%，相對手動構建的LCNN、LeNet、AlexNet、CNN分別高出了1.1%、31.75%、 33.7%和76.65%，其診斷性能提升明顯。在遷移學習后ASCNN的準確度仍然明顯高于其他手動構建的網絡，驗證了網絡在源域下的特征提取和分類性能將直接影響目標域。

圖10 現場數據下不同方法的平均準確率 Fig.10 Average accuracy of different methods under field data

另外，DATL在實驗室GIS絕緣缺陷識別上具有最高的識別準確率，達到了99.35%，相比于直接訓練提升了13.95%。DATL在現場GIS絕緣缺陷診斷上的精度達到90.35%，明顯高于其他方法。與無遷移策略相比，本文所提出方法的絕緣缺陷診斷精度提升52.92%，可見DATL在更小樣本集下的優勢明顯。雖然所有遷移策略都對提升GIS絕緣缺陷診斷準確率有一定幫助，但DATL準確率提升空間最大。與FTTL相比，域適應遷移策略的診斷準確率提升明顯，可以看出域適應的廣闊空間。同時可以看出FTTL在每個遷移任務中表現較差，這表明傳統的遷移學習方法由于缺乏相應的域適應層，只考慮源域和目標域之間的概率分布，不適合處理復雜的傳輸任務。對比LeNet、AlexNet和ASCNN，在采用遷移策略時，深層結構的特征學習能力強于淺層結構，因為深層結構可以有效地從故障樣本中提取不變特征，這為后續的故障識別提供了強有力的支持。

圖11給出了FTTL、MMD、TDATL和DATL診斷精度的箱線圖。從圖11中可以看出，FTTL、MMD和TDATL的中位數位置、四分位間距框的位置與高度低于DATL，其不穩定性大于DATL，所以DATL的性能優于FTTL、MMD和TDATL。從實驗數據（B）和現場數據（C）診斷結果來看，隨著樣本量的減小，測試的穩定性變差。在實驗數據下，采用深度域對抗卷積神經網絡的最大診斷準確率可達到100%，在現場數據下，采用深度域對抗卷積神經網絡的準確率達到90%左右，且波動范圍很小。

圖11 不同方法預測精度的箱線圖 Fig.11 Box plots of prediction accuracy of different methods

圖12和圖13給出了實驗室和現場GIS絕緣缺陷診斷的混淆矩陣。可以看出，在受限小樣本數據下，本文所提出的域對抗卷積神經網絡仍能實現可接受的診斷準確率，尤其是在現場數據下每一類缺陷的診斷準確度均超過85%，而采用FTTL策略難以獲得滿意的結果。在未采用遷移學習時，在現場更小樣本下，卷積神經網絡幾乎全部識別為同一類缺陷，此時卷積神經網絡的特征學習能力很差。與MMD策略相比，本文所提出方法在每一類缺陷下的識別率均有所提升，尤其是針對三類缺陷。為此，通過本文所提出的DATL能夠極大地改善小樣本下的診斷準確率，為現場實際GIS絕緣缺陷識別提供了有力的技術支撐。

圖12 實驗數據下GIS絕緣缺陷診斷的混淆矩陣 Fig.12 Confusion matrix of GIS insulation defect diagnosis under experimental data

為更直觀地證明所提方法的有效性，采用t-分布鄰域嵌入（t-distribution Stochastic Neighbor Embedding, t-SNE）算法[25]，將深度卷積神經網絡的最后一層全連接層的特征維度降至二維并以散點圖形式表示出來。圖14和圖15給出了采用ASCNN下源域SD、目標域TD、采用MMD和DATL下的可視化結果。

圖13 現場數據下GIS絕緣缺陷診斷的混淆矩陣 Fig.13 Confusion matrix of GIS insulation defect diagnosis under field data

圖14 實驗數據下不同方法的t-SNE可視化結果 Fig.14 t-SNE visualization results of different methods under experimental data

從圖14和圖15中可以看出，對于實驗室和現場數據，在未采用域適應遷移學習時，所有的類特性混疊在一起而沒有明顯的邊界劃分，也就意味著 此時無法實現類別的分離。通過域適應遷移學習后，同一類別標簽的實驗室和現場局部放電信號被聚類在一起，具有明顯的分類邊界，并與源域具有近似的劃分空間。同時可以看出DATL各狀態特征類內的間距很小，類間的間距較大，除個別樣本存在混 疊外，其他樣本均可較好地區分開。進一步證明所提出的方法應用于GIS絕緣缺陷診斷時可獲得較高的分類準確率。

圖15 現場數據下不同方法的t-SNE可視化結果 Fig.15 t-SNE visualization results of different methods under field data

4 結論

針對傳統以海量樣本訓練的智能診斷方法難以在現場復雜工況和小樣本下部署應用的問題，本文提出了新穎的域對抗遷移卷積神經網絡用于受限小樣本下的GIS絕緣缺陷診斷，并在多個數據集下進行了驗證。本文的主要結論如下：

1）采用網絡自搜尋構建方法獲得了ASCNN，與其他手動構建的網絡相比，不僅提升了源域下的診斷精度，而且明顯提升了同一遷移策略的目標域下的診斷準確率，表明其可以有效地從故障樣本中提取不變特征，為后續的故障識別提供了強有力的支持。

2）遷移學習的引入使海量樣本下訓練的診斷網絡能夠部署到現場小樣本下，顯著提升了現場復雜工況和小樣本下的診斷精度，為目前海量數據下構建的各種診斷網絡的現場應用提供了有效途徑。

3）本文所提出的域對抗遷移訓練策略可大幅度提高小樣本下的診斷準確率，混淆矩陣結果表明，其對沿面放電診斷準確率的提升效果最為明顯。在域對抗訓練中引入兩個領域分類器進行決策邊界的域對齊，能夠實現更合適的特征對齊。

4）與其他方法相比，本文方法在故障數據量較少的情況下，具有更強的魯棒性和有效性，現場小樣本下的GIS絕緣缺陷準確率達到90%以上，說明域對抗遷移卷積神經網絡在現場小樣本GIS絕緣缺陷診斷中具有顯著的優勢和廣闊前景。