基于卷積神經網絡的變壓器故障診斷方法*

賈京龍，余濤，吳子杰，程小華

（華南理工大學 電力學院，廣州510640）

0 引 言

隨著經濟發展，國民生活水平不斷提高，相應地對供電可靠性要求也越來越高。變壓器是電能傳輸和轉換的重要樞紐，是電網的重要組成部分，電廠發出的電需要通過升壓變壓器將電送到電網，電網的電需要通過降壓變壓器將電送至用戶，變壓器的正常運行關系到電網安全穩定，關系到國民經濟的發展，因此對變壓器故障做出及時準確地診斷具有重要意義。

變壓器故障時會在絕緣油中產生大量氣體，基于油中特征氣體的比例可以判斷變壓器相應故障類型，目前分析變壓器油中溶解氣體組分與含量是監視充油變壓器安全運行的最有效措施之一，我國已有40多年的使用歷史，并且取得了不錯的效果。基于特征氣體比例的分析方法有三比值法、改良三比值法等等，但是存在編碼不全，編碼界限過于絕對的問題，因此一直以來相關人員對基于DGA的變壓器故障分類做了大量研究工作，提出了很多種方法，主要有模糊推理［1］、專家系統［2-3］、人工神經網絡［4-6］以及支持向量機［7］（Support Vector Machine，SVM）等，這些方法克服了三比值法的不足，但是這些方法又都存在諸多的問題。

深度學習（Deep Learning）是人工神經網絡的一種，網絡通常由很多層組成，由Geoffrey Hinton教授在2006年提出［8］，相比于傳統的淺層神經網絡，深度學習解決了BP神經網絡等淺層網絡表達能力不足，容易過擬合的缺陷，并表現出強大的特征提取與分類能力。深度學習模型目前主要有深度置信網絡（Deep Belief Networks，DBN）和卷積神經網絡（Convolutional Neural Networks，CNN）。DBN是多層深度學習網絡，使用大量無標簽數據通過逐層貪婪訓練算法進行訓練，然后再使用少量有標簽數據對整個網絡進行微調（fine-tune）。DBN已經在變壓器故障診斷中進行應用［9-10］，相比淺層神經網絡取得了更好的效果，但是需要大量的無標簽數據進行預訓練。卷積神經網絡由Yan LeCun提出［11］，是第一個能夠真正成功訓練多層網絡的學習算法，是當前語音分析和圖像識別領域的研究熱點，是現在應用最多的深度學習模型之一。鑒于CNN具有強大的特征提取能力，文章將CNN應用到到變壓器故障診斷中去，將網絡用于油氣樣本數據的處理，并取得了不錯的效果。

1 卷積神經網絡介紹

卷積神經網絡和BP神經網絡一樣都為有監督學習算法，因此需要用有標簽的數據作為網絡訓練的樣本，然后用學習得到的模型對待識別樣本進行預測。卷積神經網絡是在傳統全連接網絡的前面加上用于特征提取的卷積層和采樣層，典型的卷積神經網絡LeNet-5的結構如圖1所示，分為輸入層Input、若干卷積層C和采樣層S、全連接層F6以及輸出層Output，相比單隱含層或雙隱含層BP神經網絡，卷積神經網絡要深得多。其中卷積層C為特征提取層，卷積層上的每個神經元與前一層的局部感受野相連，卷積層的輸出為提取到的特征。采樣層S為特征映射層，通過采樣操作，可以有效降低網絡連接的數量。

1.1 卷積層

卷積層通過不同卷積核對前一層做卷積運算，每種卷積核對應一種提取到的特征，卷積核與前一層的局部感受野相連，同種卷積核共享網絡連接權值，每種卷積核提取信息有限，因此一般使用多種卷積核來獲得更多的特征。同時卷積核具有局部特征提取以及共享權值的特點，使得網絡權值的數量小于連接數量，這在一定程度上降低了網絡復雜性。

圖1 卷積神經網絡LeNet-5網絡結構圖Fig.1 Network structure diagram of convolution neural network LeNet-5

局部特征提取是指卷積核每次只提取前一層的部分區域的特征，通過卷積核在前一層上滑動進而對前一層所有數據提取特征，局部連接可以有效增強局部區域的顯著特征，并且有效減少權值參數的數目，在輸入數據維度很高時，效果會更加明顯。

權值共享是指同一種卷積核對前一層提取特征時的權重是相同的，即同一種卷積核共享相同的權重參數，因此權重參數的數目就只與卷積核個數有關，往往只需要較少的參數即可求得對應的輸出特征。

1.2 采樣層

采樣層對卷積層提取到的特征進行下采樣操作，采樣方法有最大值采樣和均值采樣。最大值采樣是計算每一個采樣區域的最大值，將其作為采樣層的一個輸出；均值采樣是將每一個采樣區域的平均值作為采樣層的一個輸出。采樣層沒有可學習的參數，因此訓練過程中不需要進行迭代運算。通過下采樣操作，提取到的特征的節點數大大減小，有效地降低了網絡的連接數目，降低了網絡計算的復雜度。

2 變壓器故障診斷方法

2.1 數據處理

根據DL／T 722-2014《變壓器油中溶解氣體分析和判斷導則》［12］，變壓器油中溶解氣體主要包括氫氣（H2）、甲烷（CH4）、乙烷（C2H6）、乙烯（C2H4）、乙炔（C2H2）、一氧化碳（CO）以及二氧化碳（CO2）。變壓器故障類型主要有低溫過熱（小于300℃）、中溫過熱（介于300℃到700℃之間）、高溫過熱（大于700℃）、低能放電、高能放電、局部放電以及正常狀態。我們選取七種氣體中的前五種氣體的含量作為模型的輸入特征數據，選取七種不同的故障類型作為模型的輸出。

由于油中各種氣體含量差別較大，為防止輸入到模型的數據出現大數吞小數的情況以及為了模型更好地收斂，需要對輸入數據進行歸一化，本文對輸入數據作出如下處理，將氣體占比作為輸入量，格式如下［13］：

式中 φ（H2）、φ（CH4）、φ（C2H6）、φ（C2H2）和φ（C2H2）分別代表氫氣、甲烷、乙烷、乙烯以及乙炔的含量；φ代表氣體總含量；φC代表烷烴類氣體總含量。

本文用輸出層七個神經元對應7種故障類型，輸出層神經元激活值為1表示輸入數據對應的是該故障類型，為0表示輸入數據對應的不是該故障類型，因此可對故障類型做出編碼如表1所示。

表1 故障類型編碼Tab.1 Fault type code

2.2 卷積神經網絡模型的搭建

本文提出的卷積神經網絡采用一個卷積層和采樣層的組合，這是由于輸入數據只有五種氣體對應的含量，數據結構較為簡單，增加卷積層與采樣層數目會增大網絡復雜度，增加網絡學習時間。其中為適應一維的輸入數據，將卷積核設置為一維卷積核，不同的卷積核提取輸入數據的不同特征，然后經過采樣層的降維操作，使得采樣層輸出節點大大減少，網絡計算量也隨之減少，但是采樣層的輸出還不能作為分類結果使用，需要在采樣層后面連上全連接層以及Softmax回歸層得到各種狀態對應的概率［14］。本文提出的卷積神經網絡結構如圖2所示，圖中只畫出了一種卷積核對應的特征提取過程，在實際操作中，往往需要用到多種不同的卷積核以獲得更多的不同特征。

假設單個輸入樣本為x，其包含5個元素，卷積核個數為n，每個卷積核大小為m×1，因此每種卷積核對應的輸出特征的大小為（6-m）×1，其中卷積層與輸入層之間連接數為（6-m）×（m+1）×n，可訓練的參數數目為（m+1）×n。卷積層第k種卷積核的輸出結果為：

圖2 基于油中溶解氣體含量的卷積神經網絡模型Fig.2 Convolutional neural network model based on dissolved gases content in oil

式中aC1，i，k表示第k種卷積核輸出的第i個元素；Wk（j）表示第k種卷積核的第j個元素；bk表示第k種卷積核的偏置；f表示卷積層所采用的激活函數。

采樣層進行均值采樣操作，對卷積層輸出按一定規則進行求均值作為采樣層輸出。假設采樣寬度為p×1，并保證p可以被（6-m）整除，則每個特征對應的采樣輸出大小為（（6-m）／p）×1，因此第k個卷積核對應的采樣層S2的輸出結果為：

式中aS2，j，k表示第k種卷積核對應采樣層的第j個輸出；aC1，i，k表示第k種卷積核輸出的第i個元素。

采樣層輸出與一個隱含層F3全連接，然后再與Softmax層全連接進行分類，輸出層神經元輸出的是概率值，7個神經元輸出值之和為1。

模型采用反向傳播算法（Back Propagation Algorithm）進行訓練，即通過不斷地迭代使模型目標函數收斂到最小，得到最優的權重和偏置參數。模型的目標函數為：

式中m為訓練數據的樣本數；yi為輸入樣本xi對應的期望輸出；F（xi）為輸入樣本xi對應的實際模型的輸出。

對單個樣本，反向傳播算法的一般步驟如下：

（1）計算網絡各層的誤差靈敏度：

誤差靈敏度表示節點輸入對目標函數的影響，輸出層的誤差靈敏度為：

式中y表示輸入樣本x對應的期望輸出；F（x）表示輸入樣本x對應的實際模型輸出。

如果l層與l+1層全連接的，那么第l層的誤差靈敏度為：

當接在卷積層的下一層為采樣層時，則卷積層的誤差靈敏度計算方法為：

式中upsample表示上采樣操作，對于均值采樣，通過上采樣操作，采樣層的誤差會平均分布在卷積層上的采樣區域。k表示第k個卷積核，f′（·）表示激活函數的導數，zlk表示第l層第k個卷積核神經元的輸入。

（2）計算目標函數對權重W以及偏置b的偏導數，計算方法為：

式中al表示第l層的輸出。

（3）迭代更新權重和偏置參數：

式中 α表示學習率，范圍為［0，1］。

3 算例研究

卷積神經網絡模型卷積核大小、個數以及采樣寬度如何選取對變壓器故障分類結果具有很重要的影響，因此需要對這些參量如何影響模型性能進行研究。本文采用從論文中收集到569組變壓器油中氣體含量數據及對應的故障類型［15］，隨機選取其中的450組數據作為訓練數據，剩余的119組數據作為測試數據。

首先研究卷積核大小對模型分類性能的影響，假設卷積核個數為8個，采樣寬度為2×1，觀察卷積核大小分別為4×1以及2×1時的模型準確率，并將分類準確率填入到表2中，可以看出隨著卷積核大小的增加，測試集準確率有所下降，這是由于卷積核大小越小，從輸入數據提取的特征越精細，獲得的特征越能描述輸入數據，因此模型的分類能力會更好。

表2 卷積核大小對模型準確率的影響Tab.2 Influence of convolution kernel size on the accuracy of model

然后分析卷積核個數對模型分類性能的影響，假設卷積核大小為2×1，采樣寬度為2×1，觀察不同卷積核個數時模型對應的準確率以及訓練時間，并將其填入表3，同時繪制不同卷積核個數對應的收斂曲線，如圖3所示。可以看到，隨著卷積核個數的增加，測試集準確率會有所提高，這是由于提取到的特征種類增多，因此提高了模型的分類能力。但是繼續增大卷積核個數測試集準確率將不會再增加，而且隨著卷積核數增加，網絡計算量增大，訓練時間也會大大增加，因此卷積核個數也不宜過多。

表3 卷積核個數對模型準確率的影響Tab.3 Influence of convolution kernel number on the accuracy ofmodel

圖3 不同卷積核數對應的誤差收斂曲線Fig.3 Error convergence curves of different convolution kernel numbers

表4 采樣寬度對模型準確率的影響Tab.4 Influence of sampling width on the accuracy of model

最后研究采樣寬度對模型分類效果的影響，采樣層可以有效降低模型參數的數目，同時增強模型的魯棒性，而采樣寬度對模型分類能力也有影響，因此本文做如下仿真，假設卷積核大小為2×1，卷積核個數為8，觀察不同的采樣寬度對應的模型準確率，并將其填入表4，可以看到增大采樣寬度，訓練集和測試集的準確率都有明顯的降低，這是因為采樣寬度增大會減小模型的復雜度，丟失更多卷積層提取到的信息，從而減小模型對輸入樣本數據的擬合能力。

綜上所述，卷積神經網絡分類準確率隨著卷積核大小的減小而升高，隨著卷積核個數的增加先增而后不再增加，隨著采樣寬度的減小而升高，因此在實際應用時可以根據實際情況來確定這些結構參數的取值，以達到更快的訓練速度和更高的分類準確率。

然后比較卷積神經網絡跟BP神經網絡在變壓器故障分類問題上的效果，根據上述卷積核大小、個數以及采樣寬度對模型分類準確率的影響，本文選取卷積核大小為2×1，卷積核個數為8，采樣寬度為2×1，卷積層和采樣層組合的輸出與全連接隱含層以及輸出層組成常見的三層神經網絡結構，根據經驗以及不斷地嘗試選取全連接隱含層神經元個數為8，因此建立網絡結構如圖4所示的卷積神經網絡。為保證對比的合理性，需要將卷積神經網絡的卷積層和采樣層等價為BP神經網絡的一個隱含層，因此BP神經網絡有兩個隱含層，第一個隱含層神經元個數取16，第二個隱含層神經元個數取8。BP神經網絡有295個參數，卷積神經網絡有223個參數。

模型的輸入數據需要進行預處理操作，具體方法見2.1節。同時將兩個模型網絡的權重W和偏置b初始化為0到1之間的隨機數，分別對兩個模型進行訓練，觀察并記錄模型的準確率、訓練時間以及測試時間，如表5所示。

圖4 卷積神經網絡仿真模型Fig.4 Simulation model based on convolutional neural network

表5 BP神經網絡與卷積神經網絡準確率Tab.5 Accuracy of BP neural network and convolutional neural network

通過對比BP神經網絡以及卷積神經網絡的準確率、訓練時間以及運行時間可知，卷積神經網絡在訓練集準確率以及測試集準確率上都更為優秀，這是由于卷積神經網絡可以從輸入數據中提取到更好的特征。雖然在訓練時間上卷積神經網絡比BP神經網絡要慢很多，但是卷積神經網絡在119組測試數據上的識別速度比BP神經網絡快了13.9%。因此，提出的卷積神經網絡相較比于BP神經網絡在變壓器故障識別上具有更高的準確率，同時具有更快的識別速度。

4 結束語

提出了一種基于卷積神經網絡的變壓器故障診斷方法：

（1）選取油中溶解氣體中的五種氣體作為模型的輸入特征量，包括氫氣、甲烷、乙烷、乙烯以及乙炔，并對數據進行歸一化處理；

（2）分析了卷積神經網絡卷積核大小、個數以及采樣寬度對分類準確度的影響，對卷積神經網絡結構參數的選取具有指導意義；

（3）比較了卷積神經網絡以及BP神經網絡對變壓器故障分類的準確率、訓練時間以及預測結果所需要的運行時間，卷積神經網絡表現出更高的準確率以及更快的運行時間。