基于受限玻爾茲曼機的變壓器故障分類

許 靜，朱永利

（華北電力大學(xué) 控制與計算機工程學(xué)院，河北 保定 071003）

基于受限玻爾茲曼機的變壓器故障分類

許 靜，朱永利

（華北電力大學(xué) 控制與計算機工程學(xué)院，河北 保定 071003）

基于受限玻爾茲曼機可作為非線性分類器獨立解決分類問題的特點，構(gòu)建了分類受限玻爾茲曼機模型，并對其分類性能運用數(shù)據(jù)集進行測試。結(jié)合變壓器油中溶解氣體監(jiān)測數(shù)據(jù)，提出了基于受限玻爾茲曼機變壓器故障診斷分類新方法，綜合使用油中溶解氣體的分析結(jié)果作為分類屬性，對提出的新方法進行實例測試，結(jié)果表明，該方法適用于電力變壓器故障診斷分類，不僅在大量無標簽樣本中提取特征的能力較強，其分類性能優(yōu)于BP神經(jīng)網(wǎng)絡(luò)和支持向量機分類方法。

電力變壓器；故障診斷；受限玻爾茲曼機；分類；油中溶解氣體

0　引言

電力變壓器是電網(wǎng)中最重要的設(shè)備之一，如果變壓器發(fā)生故障勢必引起局部甚至大面積的停電，造成巨大的經(jīng)濟損失，也會對人民生活造成不便。隨著傳感器技術(shù)、計算機技術(shù)的不斷發(fā)展，電力變壓器的監(jiān)測與檢測裝置使用逐漸廣泛，監(jiān)測到的數(shù)據(jù)也越來越多，如何利用大量監(jiān)測數(shù)據(jù)進行分析，并對變壓器狀態(tài)進行準確的判斷也變得尤為重要。

電力變壓器油中溶解氣體分析（Dissolved Gas-in-oil Analysis，DGA）是變壓器故障診斷的一種有效方法。DGA易于帶電，對過熱和放電故障敏感有效，不受外界電場和磁場的影響。DGA最大優(yōu)點是無需停運變壓器，并且可以查明變壓器發(fā)生的早期內(nèi)部故障［1-3］。基于此，形成了特征氣體法、三比值法、改良三比值法等傳統(tǒng)診斷方法。但傳統(tǒng)診斷方法存在編碼界限過于絕對、缺編碼等主要問題，于是人工神經(jīng)網(wǎng)絡(luò)［4］（Artificial Neural Network，ANN）、極限學(xué)習(xí)機（Extreme Learning Machine，ELM）以及支持向量機（Support Vector Machine，SVM）等人工智能方法相繼被提出和運用。然而ANN存在易陷入局部最優(yōu)、易震蕩且收斂速度慢等問題；ELM雖然訓(xùn)練速度快，但是穩(wěn)定性較差；而SVM因其實質(zhì)屬于二分類算法［5，6］，在多分類問題上表現(xiàn)出分類效率低的缺點。

2006年Hiton教授等人提出深度信念網(wǎng)絡(luò)［7-9］（Deep Belief Net，DBN），并給出該算法的基本框架。由于多層RBM構(gòu)成的DBN能夠提取更抽象的特征而被廣泛應(yīng)用于解決不同的機器學(xué)習(xí)問題［10-14］，如分類、降維、圖像特征提取以及協(xié)同過濾等等。

然而，RBM在應(yīng)用于不同的機器學(xué)習(xí)問題時，通常是將RBM看作一種特征提取器。Larochell［15］教授等人認為RBM不僅可以作為特征提取器，還可以作為獨立的非線性分類器，直接用于解決分類問題，并提出了判別受限玻爾茲曼機（DiscriminativeRestrictedBoltzmannMachines，DRBM），并且這種方法成功的應(yīng)用于分類問題中，但尚未見其應(yīng)用于變壓器故障診斷。

鑒于此，本文首先構(gòu)建分類受限玻爾茲曼機（Classified Restricted Boltzmann Machine，CRBM）模型，將RBM直接用于解決分類問題，并使用I-ris分類數(shù)據(jù)集對其分類性能進行驗證。然后結(jié)合電力變壓器的DGA數(shù)據(jù)特征以及故障類型，提出了基于分類受限玻爾茲曼機的電力變壓器故障診斷分類新方法，該方法利用工程現(xiàn)場采集到的大量無標簽樣本進行預(yù)訓(xùn)練，使用少量標簽樣本進行微調(diào)，通過使用無標簽樣本有效解決電力變壓器故障診斷分類問題，提高變壓器故障診斷分類準確率。最后，通過工程實例對該方法進行測試，并與基于SVM與BP神經(jīng)網(wǎng)絡(luò)（BP Neural Network，BPNN）故障診斷方法進行分析對比。

1　受限玻爾茲曼機

1.1RBM

RBM是一類無自反饋且對稱連接的隨機神經(jīng)網(wǎng)絡(luò)模型，層內(nèi)無連接，層間全連接。RBM具有兩層結(jié)構(gòu)，如圖1所示。v為可見層，h為隱含層，w為兩層之間的連接權(quán)值。以一層RBM為例介紹訓(xùn)練過程。

圖1　RBM結(jié)構(gòu)

若一個RBM可見層包含有n個可見單元，隱含層包含m個隱單元，向量v和向量h可以分別表示可見單元和隱單元的狀態(tài)，其中vi代表第i個可見單元的狀態(tài)，hj代表第j個隱單元的狀態(tài)。對任意的i，j，vi，hj均滿足二值分布，即i，j，vi∈｛0，1｝，hj∈ ｛0，1｝，RBM所具有的能量定義為

式中:θ=｛wij，ai，bj｝為RBM的實數(shù)參數(shù)；wij為可見單元i與隱單元j之間的權(quán)值；ai為可見單元i的偏置；bj為隱單元j的偏置。（v，h）的聯(lián)合概率分布為

Z（θ）為配分函數(shù)。由于RBM的特殊結(jié)構(gòu)，可知:給定可見單元狀態(tài)，隱單元的狀態(tài)是彼此條件獨立的。因此，第j個隱單元的概率為

為了擬合給定的訓(xùn)練數(shù)據(jù)，需要求出參數(shù)θ的值，這也是學(xué)習(xí)RBM的主要任務(wù)。假定樣本訓(xùn)練集包含T個樣本，參數(shù)θ通過最大化RBM在訓(xùn)練集上的對數(shù)似然函數(shù)求得，其中關(guān)鍵步驟是計算logP（v（t）∣θ）關(guān)于參數(shù)θ的偏導(dǎo)，即

式中: ＜.＞P表示求分布P的數(shù)學(xué)期望；logP（h∣ v（t），θ）表示可見單元為已知訓(xùn)練樣本 v（t）時；隱層的概率分布；P（v，h∣θ）表示可見單元與隱單元的聯(lián)合分布。

假定只有一個訓(xùn)練樣本，分別用 “data”和“model”來簡記概率分布logP（h∣v（t），θ）和聯(lián)合分布P（v，h∣θ），則對數(shù)似然函數(shù)連接權(quán)值Wij、可見層單元偏置ai與隱含層單元偏置bj的偏導(dǎo)數(shù)分別為

RBM可以通過對比散度（Contrastive Divergence，CD）算法對整個模型進行訓(xùn)練，然后通過傳統(tǒng)的BP算法對模型進行調(diào)優(yōu)，使模型達到局部最優(yōu)狀態(tài)。這種方法也就是比較著名的逐層貪婪訓(xùn)練法。這種訓(xùn)練方法不僅解決了訓(xùn)練速度慢的問題，而且能夠找到較好模型參數(shù)初始值。

1.2DRBM

DRBM是基于RBM提出的一種可作為獨立的非線性分類器。比RBM多一個分類單元y∧。結(jié)構(gòu)如圖2所示。

圖2　DRBM結(jié)構(gòu)

以圖2一層 DRBM為例介紹其訓(xùn)練過程，DRBM能量定義為

式中:sigm為sigmoid的函數(shù)。給定隱單元狀態(tài)，目標分類的條件概率分布

因為DRBM本身是基于RBM提出的模型結(jié)構(gòu)，所以CD算法依舊可以訓(xùn)練DRBM來解決分類問題。通過CD算法求得參數(shù)

式中:λ為學(xué)習(xí)速率。

2　分類受限玻爾茲曼機

2.1CRBM

本文構(gòu)建了CRBM模型，其底部由多層RBM堆疊而成，頂部增加DRBM分類器作為分類層，輸出分類結(jié)果，模型如圖3所示。

圖3　CRBM結(jié)構(gòu)

CRBM用于多問類問題時，訓(xùn)練過程與RBM一樣，每層RBM的任務(wù)是用來完成輸入特征的抽象表示。無監(jiān)督學(xué)習(xí)的深層模型是通過自下而上的訓(xùn)練過程構(gòu)成。預(yù)訓(xùn)練過程采用無標簽樣本作為模型輸入，通過CD算法先對底部若干RBM進行訓(xùn)練，分類層的DRBM作為最后一步訓(xùn)練，然后完成整個框架的參數(shù)初始化。預(yù)訓(xùn)練完成后，采用少量標簽樣本通過BP算法對整個框架進行局部微調(diào)，從而達到全局最優(yōu)。頂層DRBM的主要訓(xùn)練是通過添加偏置值和相應(yīng)的參數(shù)值到能量函數(shù)，為解決無監(jiān)督學(xué)習(xí)分類問題而提供獨立架構(gòu)。

2.2CRBM性能分析

用構(gòu)建的CRBM對典型的數(shù)據(jù)集Iris進行分類，w、W、U、a、b、c、d初始化為隨機選取的最小數(shù)值，且服從高斯分布，學(xué)習(xí)速率初始化為0.1。

將采用構(gòu)建的CRBM模型、BPNN及SVM對Iris數(shù)據(jù)集進行測試。CRBM模型中，CRBM層數(shù)取6；BPNN訓(xùn)練最大迭代次數(shù)為2 000，初始化的學(xué)習(xí)速率為0.01；SVM核函數(shù)參數(shù)取0.5，規(guī)則化系數(shù)取500。三種方法在不同訓(xùn)練集上的分類結(jié)果如表1所示。

表1　三種方法的分類情況

從表1中可以發(fā)現(xiàn)，訓(xùn)練集樣本數(shù)偏少時，三種方法的分類結(jié)果平均正確率相差很小，但訓(xùn)練集樣本數(shù)目逐漸增多時，CRBM的平均分類正確率高于BPNN和SVM。同時也表明CRBM模型適合解決分類問題。

3　基于CRBM的變壓器故障分類

3.1基于CRBM的變壓器故障分類建模

基于CRBM的變壓器故障診斷分類模型是通過底部RBM將油色譜監(jiān)測數(shù)據(jù)歸一化后的特征氣體值作為輸入，經(jīng)過每層RBM后，逐步提取有用的相關(guān)預(yù)測信息，即逐步提取特征的過程，最后被分類器DRBM分類。分類模型如圖4所示。

圖4　基于CRBM的變壓器故障分類模型

3.2CRBM樣本選取

在測試過程中為了保證能夠得到足夠多的樣本，而且避免造成數(shù)據(jù)集偏斜，本文選取的油色譜在線監(jiān)測數(shù)據(jù)樣本均來自多個工程現(xiàn)場的變壓器發(fā)生故障前后一段時間內(nèi)所記錄，且這些數(shù)據(jù)樣本都是無標簽樣本，用于預(yù)訓(xùn)練。本文將在實驗過程中收集到的少量變壓器故障測試樣本作為標簽樣本進行調(diào)優(yōu)。

根據(jù)油色譜在線監(jiān)測數(shù)據(jù)特點，選取H2、 CH4、C2H6、C2H4、C2H2、CO、CO27種氣體作為CRBM的輸入。由于各工程現(xiàn)場使用變壓器型號不同，導(dǎo)致DGA數(shù)據(jù)差異較大，為了減小這種差值帶來的計算誤差，采用式（17）對各樣本氣體進行歸一化處理，保證故障診斷正確率。

式中:Xnew為歸一化的氣體含量值；X為氣體初始含量值；X0為X中該氣體含量的平均值；X1為X中氣體含量的標準差值。

3.3變壓器狀態(tài)編碼

在進行變壓器故障診斷之前，要先對變壓器可能的狀態(tài)進行編碼，變壓器故障分類屬于多分類任務(wù)，分類情況有6種，編碼情況如表2所示。

表2　變壓器狀態(tài)編碼

3.4基于CRBM的變壓器故障分類方法實現(xiàn)

基于CRBM的變壓器故障診斷分類方法實現(xiàn)過程如下:

（1）將歸一化后的樣本數(shù)據(jù)和選取的特征變量按照比例分為訓(xùn)練集和測試集。

（2）建立基于 CRBM的變壓器故障分類模型。

（3）變壓器狀態(tài)編碼。

（4）初始化模型參數(shù)。

（5）在訓(xùn)練集中，通過CD算法對模型底部的RBM以及頂層DRBM分類器采用的無標簽樣本開始預(yù)訓(xùn)練。

（6）在訓(xùn)練集中，通過BP算法對整個模型參數(shù)采用標簽樣本進行調(diào)優(yōu)。

（7）對訓(xùn)練好的模型進行測試。

4　工程實例分析

本文采用多個工程現(xiàn)場的變壓器發(fā)生故障的2 000組油色譜數(shù)據(jù)，其中1 600組數(shù)據(jù)作為預(yù)訓(xùn)練集，將其他400組數(shù)據(jù)按照4∶1的比例作為調(diào)優(yōu)集和測試集。從以下兩方面進行測試:

（1）RBM層數(shù)與故障診斷正確率的關(guān)系

在進行實驗過程中，發(fā)現(xiàn)變壓器故障診斷的平均正確率會隨著模型層數(shù)的變化而變化，分別測試RBM層數(shù)從0到10的變壓器故障診斷平均正確率，如圖5所示。發(fā)現(xiàn)RBM層數(shù)到達4層時，當(dāng)RBM層數(shù)在繼續(xù)增加時，故障診斷平均正確率增長速率緩慢，平均正確率趨于最大值，但實際訓(xùn)練時，隨著RBM的層數(shù)增加，訓(xùn)練的時間也會變大，綜合考慮訓(xùn)練時間與變壓器故障診斷平均正確率兩個變量，在之后的測試中選RBM的層數(shù)為4層。

圖5　不同RBM層數(shù)時故障診斷情況

（2）故障分類正確率與預(yù)訓(xùn)練集的關(guān)系

對不同預(yù)訓(xùn)練集進行測試，故障診斷正確率如表3所示。

表3　不同預(yù)訓(xùn)練集的變壓器故障正確率情況

由表3可以看出，變壓器故障診斷的分類正確率會隨著預(yù)訓(xùn)練集的增大而不斷升高。

對于淺層神經(jīng)網(wǎng)絡(luò)中，基于BPNN與SVM的變壓器故障診斷分類方法，采用有標簽的樣本對其進行測試，測試不同訓(xùn)練集時，分類情況如表4所示。經(jīng)過大量實測數(shù)據(jù)確定，BPNN的學(xué)習(xí)速率取0.01，最大迭代次數(shù)為1 600，SVM的規(guī)則化系數(shù)取2 048，核函數(shù)參數(shù)取0.03。

通過表3與表4的對比可以看出BPNN、SVM要遠小于CRBM的訓(xùn)練集，這是因為BPNN與SVM的分類方法，在訓(xùn)練集達到一定時，準確率增長緩慢、趨于穩(wěn)定；但訓(xùn)練集過大時，訓(xùn)練時間變長，所以BPNN與SVM的分類方法不適于解決樣本較大的分類問題。而CRBM適用于解決較大樣本數(shù)量的分類問題，并且準確率會隨著樣本數(shù)量的增大而逐漸提高。其次，基于CRBM的故障診斷分類方法比基于 BPNN，SVM的準確率更高。

5　結(jié)論

本文構(gòu)建了CRBM分類模型，運用典型數(shù)據(jù)集對其分類性能進行測試，并將測試結(jié)果與BPNN和SVM進行對比分析后發(fā)現(xiàn)，該方法的分類正確率高于BPNN、SVM分類方法。提出基于CRBM的變壓器故障診斷分類方法，采用無標簽樣本對模型進行預(yù)訓(xùn)練，克服了BPNN，SVM不能使用無標簽樣本訓(xùn)練的缺點，結(jié)合實例分析表明，CRBM比BPNN、SVM方法故障分類的平均正確率更高，而且基于CRBM的變壓器故障診斷方法可解決大量無標簽樣本的分類問題，該方法隨著預(yù)訓(xùn)練集的增大，其分類準確率增高，能夠更好地滿足工程需要。

［1］ 王致杰，徐余法，劉三明.電力設(shè)備狀態(tài)監(jiān)測與故障診斷［M］.上海:上海交通大學(xué)出版社，2011.

［2］ 邊莉，邊晨源.電網(wǎng)故障診斷的智能方法綜述［J］電力系統(tǒng)保護與控制，2014，42（3）:146-153.

［3］ 李鵬鵬，彭顯剛，孟安波，等.小波貝葉斯神經(jīng)網(wǎng)絡(luò)在沖擊負荷地區(qū)短期負荷預(yù)測中的應(yīng)用［J］.電力科學(xué)與工程，2012，28（11）:7-12.

［4］ 肖靚，王磊，陳雷，等.基于BP神經(jīng)網(wǎng)絡(luò)的STATCOM主回路故障診斷［J］.電力科學(xué)與工程，2015，31（3）:46-51.

［5］ 遇炳杰.基于極限學(xué)習(xí)機的變壓器故障診斷［D］.保定:華北電力大學(xué)，2014.

［6］ 尹金良，朱永利，俞國勤.基于多分類相關(guān)向量機的變壓器故障診斷新方法［J］.電力系統(tǒng)保護與控制，2013，41（5）:77-82.

［7］ 石鑫，朱永利，薩初日拉，等.基于深度信念網(wǎng)絡(luò)的電力變壓器故障分類建模［J］.電力系統(tǒng)保護與控制，2016，44（1）:71-76.

［8］ 張春霞，姬楠楠，王冠偉.受限波爾茲曼機［J］.工程數(shù)學(xué)學(xué)報，2015，32（2）:159-173.

［9］ BENGIO Y.Learning deep architectures for AI［J］. Foundations and Trends in Machine Learning，2009，2（1）:1-127.

［10］ BENGIO Y，LAMBLIN P，POPOVICI D，et al.Greedy layer-wise training of deep networks［J］.Advances in Neural Information Processing Systems，2007，19（8）: 153-170.

［11］ HINTON G E.A Practical guide to training restricted boltzmann machines［R］.UMTL Tech Report 2010-003.Toronto，Canada:University of Toronto，2010.

［12］ CHO K，RAIKO T，LLIN A.Enhance gradient for training restricted boltzmann machines［J］.Neural Computation，2013，25（3）:805-831.

［13］ MOHAMED A，DAHL G E，HINTON G.Acoustic modeling using deep belief networks［J］.IEEE Transactions on Audio Speech and Language Processing，2012，20（1）:14-22.

［14］ 劉凱，張立民，孫永威.基于遺傳算法的RBM優(yōu)化設(shè)計［J］微電子學(xué)與計算機，2015，32（6）:96 -100.

［15］ LAROCHELLE H，MANDEL M，PASCANU R，et al. Learning algorithms for the classification restricted boltzmann machine［J］.The Journal of Machine Learning Research，2012，13（1）:643-669.

Transformer Fault Diagnosis Classifying Based on Restricted Boltzmann Machine

XU Jing，ZHU Yongli
（School of Control and Computer Engineering，North China Electric Power University，Baoding 071003，China）

Restricted boltzmann machine（RBM）can be used as stand-alone non-linear classifiers，a classicified restricted boltzmann machines model is built，and used data set validate its classification performance.Based on RBM，a new transformer fault classification is proposed initially and tested，which is combined with the classified attribute of power transformer dissolved gas-in-oil analysis data.The experiment results show that it is suitable to classify the fault diagnosis of transformer.It is not only has strong ability to extract features and that performance of classification prevails that of back propagation neural net work and support vector machine methods.

power transformer；fault diagnosis；RBM；classification；gas-in-oil analysis

TM721

A DOI：10.3969/j.issn.1672-0792.2016.07.003

2016-04-08。

河北省自然科學(xué)基金（F2014505069）；國家電網(wǎng)基金（2014MS129）。

許靜（1990-），女，碩士研究生，研究方向為人工智能在電力系統(tǒng)中的應(yīng)用，E-mail:ncepuxujing@163.com。