深度學習神經網絡在電力變壓器故障診斷中的應用

石鑫，朱永利

(華北電力大學控制與計算機工程學院，河北省保定市071003)

0 引言

由于油浸式電力變壓器在不同運行狀態時油中溶解氣體的類型和含量不同，油中溶解氣體分析(dissolved gas-in-oil analysis，DGA)長期以來成為判別其運行狀態的一種有效手段［1-5］。隨著人工智能技術的發展，國內外學者基于DGA提出了人工神經網絡(artficial neural network，ANN)［6-7］、支持向量機(support vector machine，SVM)［8-9］和極限學習機(extreme learning machine，ELM)［10］等電力變壓器智能診斷方法。但是ANN方法收斂速度慢、易發生震蕩［6-7］;SVM方法本質上屬于二分類算法，在多分類問題上存在構造學習器困難及分類效率低的缺點，而且核函數的選擇和參數的確定比較困難［8-9］;ELM方法訓練速度快，但是穩定性比較差［10］。同時，上述方法均屬于淺層機器學習方法，學習能力有限，診斷準確率達到一定高度時很難再有大的提高;而且它們要求樣本準確、完備，方能得到比較滿意的診斷結果，這樣便無法有效利用變壓器油色譜在線監測所獲得的大量無標簽樣本。

深度學習神經網絡(deeplearningneural network，DLNN)是2006年由Hinton教授提出的一種深層機器學習方法［11］，具有較強的從樣本中提取特征以及對特征進行轉換的能力，學習能力強，是近幾年國內外研究和探討的一個熱點［12-15］。深度學習神經網絡在訓練時采用無監督機器學習方法，從而可以利用變壓器油色譜在線監測所獲得的大量無標簽樣本完成模型的預訓練過程，優化模型參數，進而提高模型分類的準確率。目前，它已經成功應用于語音識別［16-17］、目標識別［18-19］、自然語言處理［20］等方面，但在電力變壓器故障診斷方面應用的研究才剛剛起步。

基于DLNN，本文首先構建分類深度學習神經網絡模型，并用典型的分類數據集對其分類性能進行分析驗證。然后，結合電力變壓器油色譜在線監測數據和DGA數據特征及故障類型，提出一種新的變壓器故障診斷方法。該方法采用半監督機器學習方法，學習能力強，能夠診斷出電力變壓器各種運行狀態的概率，為工作人員決定是否對變壓器進行檢修提供更多參考信息。最后，對文中提出的方法予以工程實例測試，并與基于BP神經網絡和SVM的故障診斷方法進行對比分析。

1 深度學習神經網絡介紹

DLNN簡單可以理解為具有多個隱含層的神經網絡，通過特征轉換或特征提取來發現數據的內在屬性，使其分類更加容易，進而提高分類的準確率。DLNN的方法主要包括自動編碼器(autoencoder，AE)、受 限 玻 爾 茲 曼 機 (restricted Boltzmann machine，RBM)和卷積神經網絡(convolutional neural network，CNN)［21-22］，其 中，CNN主要用于圖像處理方面，并不適用于變壓器故障診斷，這里不再作過多介紹。

1.1 自動編碼器

根據美國斯坦福大學教授Andrew Ng的課程筆記［23］，自動編碼器的相關理論簡單介紹如下。

一個基本的AE可視為一個3層的神經網絡，其中輸出層與輸入層具有相同的規模，結構如圖1所示。通常，將輸入層到隱含層的變換過程稱為編碼，將隱含層到輸出層的變換過程稱為解碼。設f和g分別表示編碼和解碼函數，則2個過程可分別表示如下:

式中:Sf和Sg通常取為sigmoid函數;W表示輸入層與隱含層之間的權值矩陣;WT表示隱含層與輸出層之間的權值矩陣;p表示隱含層的偏置向量;q表示輸出層的偏置向量。為下面表示方便，將AE的參數記為θ。

圖1 AE結構Fig.1 AE structure

假設訓練樣本集S={x1，…，xn}，預訓練AE的過程實質上就是利用S對參數θ進行訓練的過程。為此，我們首先需定義一個訓練目標，即解碼后的y應與輸入x盡可能接近，這種接近程度可以通過重構誤差函數L(x，y)來刻畫，L(x，y)定義為

基于重構誤差函數，針對訓練數據集S，損失函數如式(4)所示，通過對損失函數作極小化處理便可以得到該層AE參數θ。

然而，在實際應用中，如果直接對損失函數作極小化，有時候很可能得到的是一個恒等函數。為了避免這種情況，我們可以對損失函數進行稀疏性限制，即稀疏自編碼。實現時通常采用一種基于相對熵的方法，則損失函數如式(5)所示:

式中:β為控制稀疏性懲罰項的權重系數;ρ為稀疏性參數;ρ∧j表示輸入為xi時隱藏層上第j號神經元在訓練集S上的平均激活度。KL(ρ||ρ∧j)的表達式如式(6)所示:

1.2 受限玻爾茲曼機

依據文獻［12］和［13］，RBM 相關理論簡單介紹如下。

一層RBM包含一個可視層v和一個隱含層h，結構如圖2所示。假設v層有r個可見單元，h層有t個隱單元。那么，一個RBM的能量可以表示為

式中:vi為可見層單元i的取值;hj為隱含層單元j的取值，取值為1時表示該單元處于激活態，為0時表示處于未激活態;RBM的參數W、a和b簡記為θ，W為可視層與隱含層之間的連接權重;a為可視層的偏置向量;b為隱含層的偏置向量?；赗BM的能量表示，(v，h)的聯合概率分布可以表示為

式中:Z(θ)= ∑v，he－E(v，h|θ)為歸一化因子，即配分函數，則P(v|θ)的似然函數可以表示為

圖2 RBM結構Fig.2 RBM structure

通過梯度下降法對式(9)進行極大化便可求得參數θ，為計算簡便，等效為對其對數進行極大化，關鍵步驟是計算lnP(v|θ)關于參數θ的偏導數，即

式中:＜·＞P表示關于分布P的數學期望;P(h|v，θ)表示可視層限定為已知的訓練樣本v時隱含層的概率分布;P(v|h，θ)表示可視層與隱含層的聯合概率分布。

為方便表示，用“data”表示 P(h|v，θ)，用“model”表示 P(v|h，θ)，現在假設只有1 個樣本，則lnP(v|θ)關于參數θ的偏導數分別為:

式中:＜·＞data表示對數據集的期望;＜·＞model表示模型中定義的期望值。

實際應用中，很難得到無偏樣本，所以＜·＞model難以計算，通常采用CD算法對重構數據近似采樣，更新網絡參數θ［12］。以從訓練集中選取的一個訓練樣本x0為例，算法步驟如下。

步驟1:初始化網絡參數θ及可視層單元的初始值v0=x0，設定RBM最大訓練迭代次數。

步驟2:對所有隱單元計算P(h0j=1|v0)=

步驟3:對所有可見單元，計算P(v1i=1|h0)=中抽取 v1～P(v1|h0)。

步驟4:對所有隱單元計算P(h1j=1|v0)=

步驟5:按下列各式更新各個參數:

步驟6:重復步驟2到5，直至達到最大迭代次數或重構誤差足夠小，結束該層RBM的訓練。

2 分類深度學習神經網絡

2.1 分類深度學習神經網絡模型

本文構建了分類深度學習神經網絡(classification deep learning neural network，CDLNN)模型，它的前部由若干層AE或RBM堆疊而成，頂部增加代表期望輸出變量的最后層，即分類層，框架如圖3所示。這里，分類器選用Softmax，它適用于多分類問題，能夠以概率形式給出各分類結果，與CDLNN結合起來，往往會獲得較優的判別性能［24-25］。

圖3 CDLNN模型Fig.3 CDLNN mo del

CDLNN用于多分類問題時，訓練過程分為預訓練和調優2個階段。預訓練主要是采用無標簽樣本或去標簽樣本作為網絡的輸入，通過BP算法或CD算法完成底部若干層AE或RBM參數的初始化;調優則是通過標簽樣本對包括分類層在內的整個網絡參數進行微調，使得網絡判別性能達到最優。

2.2 CDLNN分類性能測試

采用2.1節中構建的CDLNN對Iris、Synthetic、Fourclass、Diabetes這4個數據集進行分類，網絡參數θ初始化為服從高斯分布的隨機較小數值，初始學習速率值設為0.1，參數更新速率值設為0.01。

為便于下面描述，筆者將CDLNN分為CDLNN1和CDLNN2，CDLNN1表示模型前部由若干層AE堆疊而成，CDLNN2表示模型前部由若干層RBM堆疊而成。表1給出了CDLNN1和CDLNN2對不同數據集的分類情況。從表1中可以看出，CDLNN1和CDLNN2對不同數據集均具有較高的平均分類正確率，表明所構建的CDLNN模型適用于多分類問題。

表1 CDLNN對不同數據集分類情況Table 1 CDLNN classification on different datasets

3 基于CDLNN的變壓器故障診斷方法

3.1 選取樣本數據

為避免樣本集偏斜，同時又能保證得到足夠多的樣本，可以選取多個工程現場記錄的投運年限相近的相同型號變壓器發生故障前后較短一段時間內的油色譜在線監測數據，這些數據為無標簽數據，可以用作預訓練樣本。對于調優階段采用的少量調優樣本，可以通過搜集相同型號故障變壓器DGA結果樣本數據獲得，這些樣本為帶標簽樣本。

3.2 選取特征變量

根據工程現場在線監測數據特點，考慮到CDLNN具有較強的樣本特征轉換及特征提取能力，選取 H2、CH4、C2H6、C2H4、C2H2、CO、CO2這 7 種特征氣體變量。為了縮小特征氣體含量值的差異，減小計算誤差，采用式(14)對各特征氣體含量值進行標準化處理。

式中:xnew為標準化后氣體的含量值;x為氣體原始含量值;xmean為訓練集或測試集X中該類氣體含量的均值;xstd為X中該類氣體含量的標準差值。

3.3 變壓器狀態編碼

根據電力變壓器運行過程中易發生的故障，將其診斷結果分為6種，具體故障類型及編碼如表2所示。

表2 變壓器狀態編碼Table 2 Transformer status encoding

3.4 變壓器故障診斷CDLNN模型

變壓器故障診斷的CDLNN模型，結構如圖4所示。模型的輸入為3.2節中經標準化處理的7種油中溶解特征氣體含量值，模型的輸出為變壓器處于各種運行狀態的概率，概率值最大的狀態即為故障診斷結果。

變壓器故障診斷CDLNN模型的訓練過程同CDLNN一樣，分為預訓練和調優。預訓練主要是采用大量預訓練樣本完成網絡底部若干層AE或RBM參數的初始化;調優則是通過少量調優樣本對包括分9類器層在內的整個網絡參數進行微調，使得網絡的故障診斷性能達到最優。

圖4 基于CDLNN的變壓器故障診斷模型Fig.4 Transformer fault diagnosis model based on CDLNN

3.5 基于CDLNN的變壓器故障診斷方法

基于CDLNN的變壓器故障診斷步驟如下:

(1)選取樣本數據和特征變量;

(2)對變壓器狀態進行編碼;

(3)建立變壓器故障診斷CDLNN模型;

(4)初始化變壓器故障診斷CDLNN模型參數為服從高斯分布的較小隨機數值;

(5)采用預訓練集中無標簽樣本通過BP算法或CD算法對模型底部若干層AE或RBM進行預訓練;

(6)采用調優集中標簽樣本通過BP算法對整個CDLNN網絡進行微調;

(7)保存訓練好的網絡并利用測試集樣本對網絡診斷性能進行測試。

4 工程實例分析

本文選用某變壓器廠多個工程現場記錄的同一型號變壓器發生故障前后某段時間內的油色譜在線監測數據，通過DBSCAN算法對其進行聚類，平衡選取正常簇、近似故障簇和故障簇樣本數據共1 500條作為預訓練集，另用工程現場搜集到的300組相同型號故障變壓器DGA實驗樣本用作調優集和測試集，比例為2∶1。與2.2節相同，用CDLNN1和CDLNN2分別表示模型前部由若干層AE和RBM堆疊而成的CDLNN模型，對于CDLNN故障診斷方法，筆者由工程數據作了如下測試。

(1)不同AE層數時CDLNN1故障診斷情況。

分別測試了AE層數從0到10時基于CDLNN1的變壓器故障診斷平均正確率，如圖5所示。圖5中“診斷平均正確率－AE層數”曲線表明，AE層數達到3層時，故障診斷平均正確率已經很高，之后隨著AE層數增加，正確率增長緩慢。實際訓練時，隨著AE層數的增加，訓練時間增長，綜合考慮故障診斷效果和訓練時間2個因素，下面測試中選取AE層數為3層。

圖5 不同AE層數時基于CDLNN1的變壓器故障診斷情況Fig.5 Correct fault diagnosis rate of transformers based on CDLNN1 with different AE layers

(2)CDLNN2故障診斷情況與預訓練集、網絡層數的關系。

測試中，筆者發現基于CDLNN2的變壓器故障診斷平均正確率與預訓練集大小和網絡層數均有一定的關系，而且預訓練集不同時，網絡最優層數也會發生相應變化。由實測數據經過大量實驗，繪制出三者之間的關系圖，如圖6所示。

圖6 不同網絡層數、預訓練集時基于CDLNN2的變壓器故障診斷情況Fig.6 Correct fault diagnosis rate of transformers based on CDLNN2 with different network layers and pre-training sets

由圖6可知，隨著預訓練集的增大，CDLNN2故障診斷平均正確率達到最高時的最少網絡層數由開始時的6層增加到8層，層數逐漸增加。在預訓練集一定的情況下，隨著網絡層數的增加，故障診斷平均正確率呈上升趨勢，達到一定層數時，上升趨勢變緩。

(3)不同預訓練集時CDLNN故障診斷情況。

筆者測試了不同預訓練集時CDLNN1和CDLNN2這2種方法的故障診斷情況，如表3所示。

表3 不同預訓練集時基于CDLNN的變壓器故障診斷情況Table 3 Transformer fault diagnosis based on CDLNN in different pre-training sets

從表3中能夠看出，隨著預訓練集的增大，基于CDLNN1和CDLNN2的變壓器故障診斷平均正確率不斷提高。同時，基于CDLNN1的變壓器故障診斷平均正確率略高于CDLNN2，但總體來看，二者均具有較優的故障診斷性能，這表明CDLNN適用于變壓器故障診斷。

作為對比，相同實驗條件下筆者對GB 7252—2001推薦的改良三比值法［26］、BPNN和SVM 這3種故障診斷方法分別進行了實驗，實驗結果如表4所示。表4中，cepochs和vlr分別表示BPNN最大訓練迭代次數和學習速率，C和γ分別表示SVM規則化系數和核函數參數，這里核函數選用RBF。

表4 不同訓練集時基于BPNN、SVM的變壓器故障診斷情況Table 4 Transformer fault diagnosis based on BPNN and SVM in different training sets

通過表3和表4的故障診斷結果對比可知，本文提出的CDLNN故障診斷方法同三比值法、BPNN、SVM方法相比，具有更高的平均故障診斷準確率，可以為檢修人員提供更為準確的參考信息。此外，筆者在測試中發現CDLNN故障診斷方法平均診斷正確率會隨著訓練集的增大不斷增高，增長趨勢逐漸變緩;而BPNN和SVM診斷方法的平均診斷正確率在訓練集超過200時基本保持不變，甚至會略有降低。這表明CDLNN相對于BPNN和SVM方法，訓練時采用半監督學習方法，具有更強的學習能力，可擴展性更好。

5 結論

(1)構建了分類深度學習神經網絡模型，并對其分類性能進行了分析，典型數據集測試表明，CDLNN適用于多分類問題。

(2)提出了基于CDLNN的電力變壓器故障診斷新方法，它采用半監督機器學習方法，可以有效利用油色譜在線監測所獲得的無標簽樣本對網絡進行預訓練，克服了BPNN、SVM方法無法利用無標簽樣本訓練的缺點，具有更強的學習能力，故障診斷性能更優。

(3)工程實例分析表明，CDLNN診斷方法隨著預訓練集增大，故障診斷平均正確率不斷增高，該方法適用于大量樣本的訓練，可擴展性好，與BPNN、SVM故障診斷方法相比，診斷平均正確率更高，可以為變壓器檢修提供更為準確的參考信息。

致 謝

本研究受到國家電網公司浙北—福州特高壓輸變電工程專項研究經費資助，在此表示感謝!

［1］ Tang W H，Wu Q H．Condition monitoring and assessment of power transformers using computational intelligence［M］．New York:Springer-Verlag Press，2011．

［2］朱德恒，嚴璋，談克雄，等．電氣設備狀態監測與故障診斷技術［M］．北京:中國電力出版社，2009．

［3］王國平，余濤，傅森木，等．基于DGA的變壓器故障診斷智能方法分析［J］．電力建設，2015，36(6):34-39．Wang Guoping，Yu Tao，Fu Senmu，et al．Intelligent methods for transformer fault diagnosis based on DGA［J］．Electric Power Construction，2015，36(6):34-39．

［4］尹金良，朱永利，俞國勤，等．基于高斯過程分類器的變壓器故障診斷［J］．電工技術學報，2013，28(1):158-164．Yin Jinliang，Zhu Yongli，Yu Guoqin，et al．Fault diagnosis of transformers based on Gaussian process classifier［J］．Transactions of China Electrotechnical Society，2013，28(1):158-164．

［5］王致杰，徐余法，劉三明，等．電力設備狀態監測與故障診斷［M］．上海:上海交通大學出版社，2012．

［6］王濤，王曉霞．基于改進PSO-BP算法的變壓器故障診斷［J］．中國電力，2009，42(5):13-16．Wang Tao，Wang Xiaoxia．Power transformer fault diagnosis based on modified PSO-BP algorithm ［J］．Electric Power，2009，42(5):13-16．

［7］周建華，胡敏強，周鶚．基于共軛梯度方向的CP-BP算法在變壓器油中溶解氣體診斷法中的應用［J］．中國電機工程學報，1999，19(3):41-45．Zhou Jianhua，Hu Minqiang，Zhou E．On the application of CP-BP algorithm for DGA-NN diagnosis in power transformer［J］．Proceedings of the CSEE，1999，19(3):41-45．

［8］張艷，吳玲．基于支持向量機和交叉驗證的變壓器故障診斷［J］．中國電力，2012，45(11):52-55．Zhang Yan，Wu Ling．Transformer fault diagnosis based on C-SVC and cross-validation algorithm ［J］．Electric Power，2012，45(11):52-55．

［9］尹玉娟，王媚，張金江，等．一種自主核優化的二值粒子群優化-多核學習支持向量機變壓器故障診斷方法［J］．電網技術，2012，36(7):249-254．Yin Yujuan，Wang Mei，Zhang Jinjiang，et al．An autonomic kernel optimization method to diagnose transformer faults by multi-kernel learning support vector classifier based on binary particle swarm optimization［J］．Power System Technology，2012，36(7):249-254．

［10］遇炳杰，朱永利．加權極限學習機在變壓器故障診斷中的應用［J］．計算機工程與設計，2013，34(12):4340-4344．Yu Bingjie，Zhu Yongli．Transformer fault diagnosis using weighted extreme learning machine［J］．Computer Engineering and Design，2013，34(12):4340-4344．

［11］Hinton G E，Salakhutdinov R R．Reducing the dimension-ality of data with neural networks［J］．Science，2006，313(5786):504-507．

［12］Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets［J］．Neural Computation，2006，18(7):1527–1554．

［13］ Bengio Y．Learning deep architectures for AI［J］．Foundations and Trends in Machine Learning，2009，2(1):1 – 127．

［14］Bengio Y，Courville A，Bincent P．Unsupervised feature learning and deep learning:a review and new perspectives［R］．Montreal:DepartmentofComputerScience and OperationsResearch，University of Montreal，2012．

［15］ Hinton G E．A practical guide to training restricted Boltzmann machines［R］．UMTL Tech Report 2010-003．Toronto，Canada:University of Toronto，2010．

［16］Baker J，Deng L，Glass J，et al．Developments and directions in speech recognition and understanding，Part 1［J］．IEEE Signal Processing Magazine，2009，26(3):75-80．

［17］Yu D，Deng L．Deep learning and its applications to signal and information processing ［J］．IEEE Signal Processing Magazine，2011，28(1):145-154．

［18］ Zhang Lijing，Liang Yingli．A fast method of face detection in video images［C］//The 2nd IEEE International Conference on Advanced Computer Control(ICACC 2010)，Shenyang，China，2010:490-494．

［19］Kalal Z，Mikolajczyk K，Matas J．Face-tld:Tracking-learningdetection applied to faces［C］//2010 International Conference on Image Processing(ICIP2010)，HongKong， China， 2010:3789-3792．

［20］ Collobert R，Weston J．A unified architecture for natural language processing:deep neural networks with multitask learning［C］//Proceedings ofthe 25th International Conference on Machine Learning，2008:160-167．

［21］余凱，賈磊，陳雨強，等．深度學習的昨天、今天和明天［J］．計算機研究與發展，2013，50(9):1799-1804．Yu Kai，Jia Lei，Chen Yuqiang，et al．Deep learning:yesterday，today，and tomorrow［J］．Journal of Computer Research and Development，2013，50(9):1799-1804．

［22］孫志軍，薛磊，許陽明，等．深度學習研究綜述［J］．計算機應用研究，2012，29(8):2806-2809．Sun Zhijun，Xue Lei，Xu Yangming，et al．Overview of deeplearning［J］．Application Research of Computers，2012，29(8):2806-2809．

［23］Andrew Ng．UFLDL Tutorial． http://openclassroom．stanford．edu/MainFolder/CoursePage．php?course=DeepLearning

［24］馬勇，鮑長春，夏丙寅．基于辨別性深度信念網絡的說話人分割［J］．清華大學學報:自然科學版，2013，53(6):804-807．Ma Yong，Bao Changchun，Xia Bingyin．Speaker segmentation based on discriminative deep belief networks［J］．Journal of Tsinghua University:Science and Technology，2013，53(6):804-807．

［25］孫勁光，蔣金葉，孟祥福，等．一種數值屬性的深度置信網絡分類方法［J］．計算機工程與應用，2014，50(2):112-115．Sun Jinguang， Jiang Jinye， Meng Xiangfu， etal． DBN classification algorithm for numerical attribute［J］．Computer Engineering and Applications，2014，50(2):112-115．

［26］王昌長，李福祺，高勝友．電力設備的在線監測與故障診斷［M］．北京:清華大學出版社，2006．