基于2D-1D深度殘差網絡的變壓器局部放電模式識別

賈顏滔，朱永利，莊崟萃

（華北電力大學 控制與計算機工程學院，河北 保定 071003）

0 引言

電力變壓器運行性能直接關系到系統供電的可靠性。高壓電氣設備內部絕緣性能的降低會導致其內部發生局部放電，進而有可能導致缺陷周圍的絕緣介質被進一步侵蝕并最終引起沿面閃絡和絕緣擊穿[1]。不同類型的設備缺陷所造成的危害程度不同。準確識別放電類型，可以為故障危害性評估和位置定位提供可靠信息[2]。

當前，這方面的相關研究大多數是圍繞局放信號的特征提取和分類器展開的。

基于人工提取特征的方法，有統計特征量[3]、信號熵值特征[4]以及時頻譜特征[5]方法。雖然上述研究均取得了相當程度的成功，但是經過人工精心挑選的特征大多存在一定限制：特征挑選過程通常需要大量的專家領域知識，容易出現人為錯誤；同時，獨立于分類方法的特征提取并不總能表現出最優效果[6]。

深度學習是一種集特征提取和分類器為一體的方法，其特點是：完全由數據驅動、可從高維數據中自動提取高級特征。

二維時頻譜能夠表達更豐富的時頻信息，并與卷積神經網絡（convolutional neural networks,CNN）的圖像處理能力相契合。

文獻[7]將局放信號變換為邊際譜圖像，利用深度殘差網絡進行特征提取，使識別準確率達到98%。

文獻[8]將盲源分離方法應用到聲波時頻譜，實現了圖譜域的降噪；使用卷積神經網絡進行特征提取，提高了噪聲環境下識別準確率。

文獻[9]采用跨層特征的卷積神經網絡進行分類，雖然實現了99.5%的識別準確率，但在使用大卷積核以獲得更優結果的同時也帶來了較大的計算負擔。

文獻[10]采用同步擠壓短時傅里葉變換方法獲得時頻譜，并引入Inception模塊來增強模型特征提取能力。

目前，相關研究大多都是從時頻變換方法著手，缺少對模型時頻特征表征能力的關注。基于此，本文提出一種基于Gabor變換和注意力機制2D-1D深度殘差網絡的局放信號模式識別方法：首先，對采集到的一維局放信號進行Gabor變換并提取二維時頻特征；然后，采用二維頻率密集型卷積核提取頻率特征，對所得到的時間序列利用一維時間卷積網絡提取時間分布特征，從而實現頻率時間特征的分步提取；通過融合通道注意力機制來增強特征信息，同時對特征提取模塊之間進行跳躍連接，形成殘差結構。針對當前時頻譜學習任務在訓練過程中缺乏有效的數據增強方法的問題，引入了一種特征隨機遮擋方法來豐富數據多樣性。

1 Gabor變換與CNN基本原理

1.1 Gabor變換

利用傅里葉變換能夠實現復雜信號頻率信息的自適應提取，可以達到凸顯故障特征的目的。

由于傅里葉變換作用于整個時間域，缺乏時間信息，所以考慮利用短時傅里葉變換，通過將源信號與窗函數相乘，利用時域局部窗口來抑制領域外信息。此時的傅里葉變換只觀察局部頻率分布，計算過程表達為：

式中：s(u)是時域信號；h為窗口函數；t和v分別為時間和頻率。

設定窗口函數h為高斯函數，即：

式中：a為窗口系數。

此時的短時傅里葉變換是海森堡不確定準則下的最優變換，即Gabor變換。Gabor變換能夠將信息冗余難以理解的一維信號通過先驗知識轉變為具有明確物理意義的二維時頻譜，使特征更符合人類直覺感知。

1.2 卷積神經網絡

CNN及其變體被認為是計算機視覺領域最有效的算法之一。CNN中包含了感受野、參數共享和降采樣思想，其核心運算過程為：將特征圖與卷積核進行卷積操作，通過在特征圖上平移卷積實現參數共享，將結果經過非線性激活、池化等操作后饋入下一層網絡[11]。過程可以概括如下：

式中：xl為第l層網絡特征圖；“*”表示卷積操作；Wl為第l層核矩陣參數；bl為偏置向量；δ為非線性激活操作。

目前最常用的激活函數為線性整流函數（rectified linear unit，ReLU），其表達式如下：

2 2D-1D深度殘差網絡

2.1 2D-1D網絡

CNN通常采用小尺寸（通常為3×3或5×5）的正方形卷積核[12]，其工作模式類似于紋理濾波器——通過將卷積核在特征圖上滑動遍歷來匹配局部紋理，并利用最大值池化操作減小特征圖尺寸、擴大卷積核視野。該操作賦予了CNN旋轉平移不變特性，使其在視覺任務中有著不俗的表現。

在時頻譜中，紋理信息是一種不穩健的特征。同時，旋轉平移的不變會造成時間頻率的絕對分布信息被扭曲。有研究者發現，利用非方形卷積核能夠更好地實現對時頻特征建模[13]。

基于此，本文采用完全覆蓋頻率軸的H×5二維卷積核來引導網絡對脈沖頻率特征進行建模，其中H為時頻譜頻率軸高度。如圖1所示，通過一次沿時間軸滑動的頻率密集型卷積來建立頻率特征沿時間軸的分布信息。對得到的包含頻率信息的時間序列，利用一維時間卷積來建立時間依賴關系，實現對頻率和時間信息的分步建模。

2D-1D卷積網絡模型如圖1所示。與利用傳統CNN學習紋理信息相比，2D-1D結構卷積網絡強迫模型對頻率時間分布敏感，更有利于對時頻譜特征建模。

圖1 2D-1D卷積網絡結構Fig. 1 2D-1D convolution network structure

2.2 殘差模塊

隨著模型深度的增加，梯度信息在經過多層反向傳播后可能會消失，從而導致模型難以收斂；因此，如圖2所示，在卷積模塊間引入跳躍連接結構來保障梯度的傳遞[14]。

圖2 殘差模塊結構Fig. 2 Residual model structure

假設原本模塊對于輸入x的預測值為F(x)。殘差連接的存在使得模塊變為學習擬合加和值x+F(x)。在反向傳播過程中，根據鏈式求導法則，第l+1層的求導結果可以表示為：

式中：L為分類損失值；xl+1為第l+1個殘差塊的輸入特征圖。

加和的梯度信息有效緩解了反向傳播時梯度消失的風險，加快了模型收斂速度。同時，分支的設計也豐富了特征信息，能夠提高模型精確度。

2.3 通道注意力

注意力機制是一種自主學習權重分配的方法。

通過學習來分配通道權重，能夠使特征信息得到增強。基于壓縮激勵（squeeze and excitation，SE）的通道注意力模塊是一種輕量級注意力模塊[15]，能夠被很好地嵌入到各種模型之中。SE的計算過程可以表述為通道擠壓和特征激勵2個過程，如圖3所示。

圖3 通道注意力計算流程Fig. 3 Calculation process of channel attention

對于所輸入的T×C大小特征圖，使用全局均值池化進行壓縮，可得到1×C大小的均值特征張量。將張量的特征維度壓縮到輸入的1/r，然后利用 ReLU函數進行非線性激勵，最后通過全連接層恢復通道維數并整合特征信息、計算通道貢獻率。具體計算方法表示為：

式中：w1，w0為全連接層權重矩陣；Fave為全局平均池化結果；δ為ReLU函數，用于對張量進行非線性變換；θ為sigmoid函數，用于將張量輸出映射到0～1區間以實現對通道貢獻率打分。注意力張量與原特征圖矩陣逐通道相乘得到通道注意力特征圖。

2.4 基于注意力機制的2D-1D深度殘差網絡

本文提出一種2D-1D深度殘差網絡來分步提取時頻特征，其架構和參數如圖4所示。

圖4 基于注意力機制的2D-1D深度殘差網絡模型架構Fig. 4 Model framework of 2D-1D depth residual network based on attention mechanism

模型運算可以劃分為3個模塊：第一階段為頻率特征提取模塊，第二、三階段為encoder時間卷積網絡。

模型運算過程如下：對于輸入尺寸為（1,129,390）的時頻譜，在第一階段利用 64個129×5的二維卷積核進行頻率濾波。卷積核的高度完全覆蓋頻率軸。卷積核沿時間軸方向以步長為2的形式進行滑動，經過BN層后以ReLU函數激活。然后，利用大小為 1×3、步長為 2的最大池化層降維。在第二、三階段，由卷積核大小為 1×5的殘差單元堆疊組成的殘差時間卷積網絡、（以步長為2）代替池化層實現下采樣。在殘差模塊中嵌入SE通道注意力，對時序進行特征提取。最后，通過全局平均池化壓縮得到（256,1,1）的張量，利用全連接層進行故障分類。

研究發現[16]，在深層網絡中采用更復雜的激活函數，如 swish函數，能夠提高模型精度；而swish計算復雜度高且存在飽和性，容易導致梯度消失。硬編碼的h-swish函數圖像與swish近似，其計算復雜度低，且能達到相近的非線性激勵效果。

h-swish計算表達式如下：

式中：x為輸入變量；δ為ReLU6函數。

為了充分發揮h-swish的深層激勵作用，在本文模型中，對第二階段的淺層網絡依然采用ReLU激活，而將第三階段的深層網絡激活函數替換為h-swish函數。

3 實驗分析

3.1 數據來源

在實驗室環境下，針對懸浮放電、板間放電、尖對板放電和電暈放電，搭建了4種變壓器缺陷驗證模型。除了電暈放電模型外，其他模型均處于絕緣油放電環境中。

實驗中所用的高壓實驗平臺型號為 TW15133-10/100am。參考國標IEC 60270-2000標準，以脈沖電流法采集放電信號。采樣頻率為40 MHz，頻帶寬度為 40 Hz～300 kHz。

懸浮放電驗證模型：分別在高壓電極與接地電極處放置絕緣板，并將金屬顆粒放置于絕緣板中間。

板間放電驗證模型：絕緣板置于圓形板狀電極間。

尖對板放電驗證模型：高壓電極為針狀電極，接地電極為圓形板狀電極，置絕緣板于電極之間。

電暈放電驗證模型：通過在高壓電極端放置銅絲實現在空氣中產生電暈放電。

3.1.1 數據采集與劃分

在實驗過程中，對放電模型施加不同大小的電壓，并將一個工頻周期內采集到的放電數據作為一次放電樣本。

采集到的放電數據按照每種故障類型隨機篩選150個樣本來構建數據集，以保證放電樣本稀疏性和隨機性。對于構建好的數據集，按照 2:1的比例進行劃分，得到訓練集和測試集中每種故障樣本個數分別為100和50。

3.1.2 數據預處理

時頻變換。對原始電信號數據進行Gabor變換，得到二維時頻譜。

歸一化。將時頻矩陣的值歸一化到 0～1，歸一化公式為：

式中：xmax、xmin分別為時頻矩陣最大值和最小值。

考慮時頻矩陣較大，為方便計算，采用線性插值法將其縮放到129×390的大小并以灰度圖形式存儲。此時，橫軸和縱軸分別反映時間、頻率信息，像素點亮度表示信號能量分布。

時域信號及其對應時頻譜如圖5所示。

圖5 放電信號及其時頻譜Fig. 5 Discharge signal and time-frequency spectrum

電暈放電主要發生在后半周，且脈沖幅值基本相等，通過時域特征就能較好識別；其他3種缺陷在時域分布上較為相似，在時域識別困難。經過Gabor時頻變換后，可以看出，4種缺陷的時間分布和主要頻率成分都具有很大差異，因此可以將其作為區分不同放電類型的特征。

3.2 模型訓練

3.2.1 隨機遮擋數據增強

在計算機視覺任務中，常利用平移、旋轉、隨機裁剪等方法來對數據進行增強和擴充，以豐富數據的多樣性、提高模型的泛化性。然而，對于2個維度都有獨立物理意義的時頻譜，上述數據增強方法明顯不適合。

當前，在時頻譜學習任務相關研究中，尚缺乏有效數據增強方法方面的相關研究成果。

鑒于此，本文引入一種隨機遮擋方法[17]。在訓練過程中，將圖譜的部分區域內像素值置換為隨機噪聲，對特征進行遮擋和干擾。遮擋的位置和面積均隨機生成。這種數據增強方法不會破壞圖譜的時頻分布，同時強迫模型學習全局特征而非局部特征，所以能夠提高模型的抗干擾能力和泛化性。

3.2.2 訓練模型

本文算法在 Pytorch框架上實現：batch size大小為32。初始學習率為0.05。采用余弦退火算法動態改變學習率。隨機遮擋概率為0.5。迭代訓練150輪次。

模型訓練的損失曲線和測試準確率曲線如圖6所示。圖6中，前期正確率出現波動，這是由于較大學習率和隨機遮擋增強方法引起訓練初期不穩定所導致；經過100輪次訓練后，模型損失值和正確率都逐漸平穩，說明模型已經學習到穩健特征。

圖6 模型訓練過程中的損失曲線及正確率曲線Fig. 6 Loss curve and accuracy curve during model training

訓練好的模型在測試集上的混淆矩陣如表 1所示。

注意力機制可以通過通道之間交互來分配注意力權重，進而增強特征信息。

為了探究注意力機制對模型的影響，在上述模型的基礎上，將SE模塊刪除并進行訓練。將訓練好的模型在測試集上進行測試，結果表明，引入注意力機制后，模型對“尖對板”放電類型的識別率提高了 2%，總體識別率提高了 0.5%。綜上可以得出，引入注意力機制能夠在一定程度上提高模型識別準確率。

3.3 實驗對比分析

3.3.1 與深度學習方法對比

搭建視覺領域經典模型AlexNet、VGGNet16和ResNet18，并在相同數據集上進行訓練；將訓練好的模型在測試集上與本文方法進行測試對比。對比結果如表2所示。

表2 深度學習方法識別結果對比Tab. 2 Comparison with the recognition results of deep learning methods %

由表 2可以看出，ResNet的識別準確率為98.5%；VGGNet由于參數較多，需要采用低學習率經過更多輪次訓練才能收斂，準確率為 98%；AlexNet準確率為97%，相對較低。本文方法準確率達到了99.5%，識別精度最高。

3.3.2 與人工特征方法對比

為了驗證本文所述方法提取特征的有效性，選擇矩特征[18]、方向梯度直方圖（histogram of oriented gradient，HOG）[19]與奇異值分解（singular value decomposition，SVD）[20]這3種常見時頻譜特征提取方法作為本文方法對比對象。將提取到的特征向量采用基于徑向基函數的支持向量機進行分類，并通過網格搜索法和交叉驗證來確定參數。對比結果如表3所示。

從表3可以看出，基于矩特征和奇異值分解的時頻譜識別方法都能取得較好的識別準確率，而基于HOG特征的方法表現不佳。相比于傳統人工選擇特征，基于深度學習故障分類方法簡化了特征提取過程，避免了主觀性帶來的影響，同時也表現出更佳的性能。

表3 與人工選擇特征法對比結果Tab. 3 Comparison with the results of artificial selection feature methods %

3.3.3 不同樣本量識別結果對比

為比較不同方法在不同樣本量下的泛化性，分別在1/4、2/4、3/4和4/4訓練集下進行訓練；保持測試集不變。測試模型準確率，結果如表 4所示。

表4 不同訓練集規模下識別結果比較Tab. 4 Comparison of results under different number of samples %

由表4中結果可以看出：

本文方法在訓練樣本數量為原訓練集1/4時，仍然能夠取得不錯的識別率。

AlexNet在小樣本下識別精度較低；在訓練樣本數量為原訓練集1/4時，則表現出過擬合趨勢。

VGGNet由于模型復雜參數量大，在訓練樣本較少時難以收斂，隨著訓練樣本增加準確率也能快速提高。

ResNet利用殘差結構有效緩解了梯度消失，使其收斂更快，在小樣本下依然有較高準確率。

隨著數據量逐步增加，所有網絡的精度都穩定上升并最終趨于飽和。

與紋理特征相比，本文方法通過學習頻率和時間特征，使其更具泛化性；因此，在訓練樣本較少時，本文方法也能取得更佳的效果。

4 可視化分析

t-SNE是一種無監督數據降維聚類方法，能夠將高維原始數據降維到具有良好相似度的二維、三維特征，因此常常被用于數據可視化[21]。

本文利用t-SNE工具，對測試集的200個樣本進行降維可視化，結果如圖7所示。

圖7 輸入圖像的可視化結果Fig. 7 Visualization results of input images

從圖7中可以看出，故障樣本的數據點相互混雜交錯在一起，且故障樣本遍布了整個區域；同時，懸浮放電和尖對板放電特征較為相似，樣本點相互疊加在一起。

將樣本輸入到本文模型，對全連接分類層所學習到的特征進行降維，結果如圖8所示。從圖8中可以看出，同種故障樣本聚集在一起，不同樣本聚簇之間相互距離較遠，具有良好可分性。該結果表明，模型經過訓練后學習到了穩健的特征。

圖8 輸入全連接分類層的特征向量可視化結果Fig. 8 Visualization results of feature vectors input to the fully connected classification layer

5 結論

文中提出了一種基于Gabor變換和注意力機制 2D-1D深度殘差網絡的局部放電模式識別方法。通過對比實驗，得出以下結論：

（1）通過Gabor時頻變換將冗長難以理解的一維放電信號轉換為符合人類感知直覺的二維時頻譜，有利于局放信號特征信息的表達。采用2D-1D結構的卷積網絡，分步提取頻率和時間特征，并融合通道注意力機制，使模型的識別準確率達到了 99.5%，優于經典卷積神經網絡和人工提取特征方法。同時，模型在小樣本下進行訓練也能取得較好結果。

（2）針對當前常用數據增強方法不適用于時頻譜的問題，文中引入了一種隨機擦除的數據增強方法。通過隨機像素遮擋的方法，實現了在不破壞時頻絕對分布的前提下強迫模型學習全局特征。

今后研究重點為多源放電的多信息融合診斷方法。