加權極限學習機在變壓器故障診斷中的應用

遇炳杰，朱永利

（華北電力大學 控制與計算機工程學院，河北 保定071003）

0 引 言

電力變壓器是電力系統中重要的設備，它們的穩定運行直接關系到電網安全和用戶的正常用電。電力變壓器是一個及其復雜系統[1]，在長期運行過程中，由于受到內部因素和外部因素的影響難免出現故障。通過對歷史數據進行分析，對新產生的狀態進行準確的辨識，及早的發現潛在的故障與缺陷，將隱患消除在萌芽階段，有助于減少故障所帶來的損失。因此，變壓器的故障診斷技術是一個非常有價值的課題，有助于供電企業的變壓器維護人員在所轄設備中及時、準確地發現存在潛伏性故障的變壓器[2]。

近年來國內外學者將多種智能方法應用于變壓器故障診斷中以代替傳統的閾值檢測手段，如BP神經網絡[3]，支持向量機 （SVM）[4，5]等。然而，傳統的BP神經網絡存在著容易陷入局部值的缺點。而SVM對參數敏感，需要通過大量實驗進行測定，在實際應用中效果欠佳。并且原始的BP和SVM算法基于樣本類分布均勻的假設，而在現實應用中，種種原因導致了這種理想狀態很難被滿足[6，7]，訓練所得的分類邊界變異，分類準確率欠佳[8]。

極限學習機 （extreme learning machine）是一種單隱藏層前向神經網絡 （single layer feedforward network）的訓練算法，這種算法正在被應用在一些回歸和分類任務中[9－11]。WELM繼承了ELM的快速訓練和較好的泛化能力，參數設置簡單，并且通過對不同數量的樣本類進行加權恢復樣本類間的平衡性，提高對少數類樣本的辨識能力。本文將使用WELM算法進行變壓器故障檢測，并結合交叉驗證的方法研究WELM參數變化對算法性能的影響，從而選擇最優參數，最后將通過實驗驗證這種診斷方法的可行性。

1 相關算法介紹

1.1 WELM 介紹

一個SLFN的輸出模型可表示如下

其中βi表示第i個隱藏層神經元與輸出層的鏈接權重，G為隱藏層神經元激活函數，ai表示輸入層神經元與第i個隱藏層神經元的輸入權值，bi表示第i個隱藏層神經元的偏置，o為神經網絡輸出向量，x為神經網絡輸入。對于數量為N的樣本｛xi，ti｝ ，隱藏層前向神經網絡能夠無誤差的對其進行擬合，因此存在βi和 （ai，bi） 使得下式成立

可將上式表示為

其中H稱為SLFN隱藏層輸出矩陣。文獻中證明，當激活函G數無限可微時，SLFN參數不需要全部進行調整[12]，輸入鏈接權重ai和隱藏層偏置bi在網絡參數初始化的過程中隨機選定，并且在訓練過程中保持不變，輸出鏈接權重可以通過求解這個線性系統的最小二乘解得到

其中，H為隱藏層神經元輸出的 Moore－Penrose廣義逆矩陣。本文中使用相對于奇異值分解法 （SVD）更穩定的正交投影解法求解β[13]，通過對各樣本進行加權，使得屬于不同類的樣本獲得不同的權重，進而得到更好的分類準確率，WELM算法求解隱藏層輸出權重可表示為

其中矩陣W為一個對角矩陣，對角線上的每一個元素都代表對相應樣本的加權。文獻[14]中證明，這種加權的求解方法更適合于不均衡數據集，可以提高學習機對少數類樣本的辨識能力。為了更加突出不均衡樣本中少數類的重要性并使樣本并恢復樣本的平衡性，少數類樣本應該較多數類樣本有更大的權重，本實驗中的加權策略選擇為

其中，Count（ti）為第i個訓練樣本對應所在類對應的的樣本數量。

ELM訓練算法流程為:

（1）設定參數L，λ，隨機生成參數 （ai，bi） ；

（2）計算隱藏層輸出矩陣H；

（3）根據式 （5）計算隱藏層輸出層鏈接權重β。

1.2 交叉驗證算法介紹

交叉驗證是一種用來評估統計分析結果對獨立數據集泛化能力的技術，這種方法產生于20世紀30年代，現在已被廣泛應用在數據挖掘和學習算法的評估中。交叉驗證中，把整個數據集分為若干子集，其中一部分用來對分類器做訓練，稱為訓練集，另外一部分用來對分類模型做評估，稱為測試集；由于驗證形式的不同，交叉驗證可分為以下3種類型:①Holdout驗證；②K折交叉驗證；③留一驗證。其中留一驗證為K＝N的K折交叉驗證，N為樣本容量。而Holout驗證為固定訓練集和驗證集的交叉驗證方式。

本實驗中選擇K＝5交叉驗證方式。交叉驗證準確率可用下式表達

2 基于WELM的變壓器故障診斷

2.1 特征量的選擇

本文選取IEC推薦的DGA數據中的 H2、CH4、C2H6、C2H4和C2H2五種氣體溶解量作為WELM的輸入量。DGA數據值分布區間很大，即使屬于同類型的數據之間也可能存在這較大的差異，為降低其相互之間由于量值差異造成的影響，在將特征量輸入分類器前首先要對數據按照式 （8）做歸一化處理

其中xnormalized歸一化后的氣體濃度數值；xmin為氣體含量最小值；xmax為氣體含量最大值；Up和Lo分別為歸一化上界與下屆，分別取值1和－1。

2.2 樣本的選擇

變壓器DGA數據中，故障樣本屬于少數類樣本，原始的數據中存在著兩種不均衡現象:正常狀態樣本與故障樣本間的不均衡現象和各種故障樣本間的不均衡現象。選取樣本時應盡量保持樣本類間的平衡，但是由于故障樣本的類間不平衡和故障樣本的稀少性，對于故障樣本進行刪減有可能會導致故障辨識的困難，所以本實驗中故障樣本全部采用，只對正常狀態樣本進行篩選，故障類間的不平衡現象通過對樣本進行加權使之恢復平衡 ，篩選方式為選取與DL／T722－2000《導則》中給出的氣體注意值相近的樣本。各類樣本數量如表1所示。

表1 各類樣本數量

2.3 WELM算法的參數選擇方法

實驗中使用的WELM算法需要人為的對L和λ進行設置。L與λ對分類效果的影響見圖1，由圖1可見，影響WELM分類準確率的主要因素是隱藏層神經元數量L的變化，隨著隱藏層神經元數量的增加，交叉驗證的準確率也在逐漸提升，但是收益在逐漸減小；而算法對λ的變化不敏感，見圖2，λ的變化導致的分類器性能的明顯波動只出現在隱藏層神經元數量較少的情況下。

圖1 參數變化對交叉驗證準確率的影響

圖2 參數λ的變化在不同L取值下對交叉驗證準確率的影響

根據這種特征，使用周期遞增的方式對隱藏層神經元數量L和參數λ分別進行設置，過程如下:

（1）首先設置隱藏層神經元數量L＝50，參數λ＝0.1；

（2）通過式 （7）計算交叉驗證準確率acc1

（3）增加隱藏層神經元數量L＝L＋50

（4）通過式 （7）計算交叉驗證準確率acc2并比較acc1與acc2，如果acc2≤acc1則過程結束，否則轉向（2）。

令起始值為λ＝0.1，步長為0.05，參數λ可通過同樣的方式確定。

2.4 變壓器狀態編碼

變壓器故障診斷是一個多分類任務，WELM算法具有多分類能力，可采用一個分類器對正常、局部放電、低能放電、高能放電、中低溫過熱和高溫過熱6種狀態進行辨識。WELM的輸出為一個分類向量，分類向量的維數為樣本中狀態類別的數量，在應用中需要為每一類狀態進行編碼，見表2。

表2 各類編碼

2.5 基于WELM的變壓器故障診斷的實現

基于WELM算法的變壓器故障診斷實現過程如下:（1）WELM的訓練過程

1）選取特征量與樣本集合，按照式 （8）將樣本數據進行歸一化；

2）按照1∶2的比例將樣本集合分割為測試集和訓練集；

3）選取樣本加權策略，生成加權對角矩陣。采用如式（6）所示加權方式對樣本進行加權并生成對角矩陣W；

4）在訓練集上進行WELM分類模型的訓練，隱藏層神經元激活函數選擇sigmoid函數，通過2.3節中所述方法對算法參數進行選擇；

5）使用測試集對WELM算法進行測試。

基于WELM的的變壓器故障診斷訓練流程圖如圖3所示。

（2）WELM的測試與實際檢測過程

1）使用式 （8）對新到達的數據x進行歸一化處理，公式中的參數xmin和xmax均使用訓練集中的對應值；

2）使用式 （1）獲得x對應的神經網絡輸出向量o（x）＝｛on｝，n＝1，…，6；

3）通過式 （9）獲得對應神經網絡輸出向量的編碼向量T＝｛tn｝，n＝1，…，6

圖3 WELM故障診斷流程

4）對照表2獲得最終診斷結果。

3 實驗分析

本文實驗在Core i5－2410MCPU 2.30GHz、4.00GB系統內存的硬件環境下，操作系統為Windows7 64bit，通過Eclipse編寫ELM算法java版本在Weka數據挖掘平臺中運行。數據采用河北省衡水市和上海市電力局提供以及相關文獻收集的數據150組。

實驗中，使用本文3.3中的方式對WELM、正交投影方法求解的ELM和SVD方法求解的ELM的參數進行選擇，并與SVM進行比較試驗，SVM核函數選用RBF函數，參數通過網格搜索法進行選擇，實驗結果見表3。

可以看出WELM算法在準確率方面較其他兩種解法的ELM和SVM都有提高，并且對于少數類樣本分類效果較好，表4為4種算法在訓練樣本較少的局部放電樣故障類上的分類準確率；訓練時間明顯少于SVM算法和SVD求解的ELM，但是多于正交投影求解的ELM；測試時間均高于其他算法，但延長時間較短，其量可忽略不計。

表3 各算法的比較

表4 局部放電分類準確率比較

4 結束語

WELM使用加權的方式處理數據集，對于不均衡數據中存在的少數類樣本有更高的分類準確率，算法執行過程中僅對隱藏層輸出層鏈接權重進行求解，因此有較高的訓練速度。從實驗結果可看出，影響分類準確率的主要因素是參數L，次要因素是參數λ，可對這兩個參數按照主次順序依次遞增式確定，參數選擇過程簡單且快速；在分別給定最優參數的情況下，WELM對于不均衡數據的分類準確率高于ELM和SVM，且訓練速度明顯高于SVM；因此，將WELM應用于變壓器故障診斷，對于不均衡數據集的分類效率更高，總體性能優于ELM和SVM，具有實際的應用價值。

[1]ZHENG Hanbo.Study on condition assessment and fault diagnosis approaches for power transformers[J].Chongqing University，2012（in Chinese）.[鄭含博.電力變壓器狀態評估及故障診斷方法研究[D].重慶大學，2012.]

[2]YUAN Na，GONG Zheng，WU Zhongli，et al.The Application of improved matter－element model in power transformers fault diagnosis[J].Journal of North China Electric Power University，2012，39 （3）:47－52（in Chinese）.[袁娜，宮政，武中利，等.一種改進的物元模型在變壓器故障診斷中的應用[J].華北電力大學學報，2012，39 （3）:47－52.]

[3]ZHU Lang，WANG Lei，PAN Feng.Fault diagnosis of transformer based on BP neural networks[J].Journal of Jiangnan University（Natural Science Edition），2012，11 （3）:262－266（in Chinese）.[朱浪，王蕾，潘豐.基于BP神經網絡的變壓器故障診斷[J].江南大學學報 （自然科學版），2012，11（3）:262－266.]

[4]ZHAO Wenqing，ZHU Yongli，ZHANG Xiaoqi.Combination forcast for transformer faults based on support vector machine[J].Proceedings of the Chinese Society for Electrical Engineering，2008，28 （25）:14－19（in Chinese）.[趙文清，朱永利，張小奇.應用支持向量機的變壓器故障組合預測[J].中國電機工程學報，2008，28 （25）:14－19.]

[5]YIN Jinliang，ZHU Yongli.Parameter optimization for support vector machine and its application to fault diagnosis of power transformers[J].Electrical Measurement ＆Instrumentaion，2012，49 （5）:11－16（in Chinese）.[尹金良，朱永利.支持向量機參數優化及其在變壓器故障診斷中的應用[J].電測與儀表，2012，49 （5）:11－16.]

[6]Mirowski P，LeCun Y.Statistical machine learning and dissolved gas analysis:A review[J].IEEE Transactions on Power Delivery，2012，27 （4）:1791－1799.

[7]Haibo He，Garcia E A.Learning from imbalanced data[J].IEEE Transactions on Knowledge and Data Engineering，2009，21 （9）:1263－1284.

[8]Tang Yuchun，Zhang Yanqing，Chawla N V.Krasser，Sven，SVMs modeling for highly imbalanced classification[J].IEEE Transactions on Systems，Man，and Cybernetics，Part B:Cybernetics，2009，39 （1）:281－288.

[9]CHEN Shengshuang.XML document classification based on extreme learning machine[J].Computer Engineering，2011，37 （19）:177－178（in Chinese）.[陳盛雙.基于極限學習機的XML文檔分類[J].計算機工程，2011，37 （19）:177－178.]

[10]CHANG Yuqing，LI Yuchao，WANG Fuli，et al.Soft sensing modeling based on extreme learning machine for biochemical processes[J].Journal of System Simulation，2007 （23）:5587－5590（in Chinese）.[常玉清，李玉朝，王福利，等.基于極限學習機的生化過程軟測量建模[J].系統仿真學報，2007（23）:5587－5590.]

[11]CAI Lei，CHENG Guojian，PAN Huanxian.Lithologic identification based on ELM[J].Computer Engineering and Design，2010，31 （9）:2010－2012（in Chinese）.[蔡磊，程國建，潘華賢.極限學習機在巖性識別中的應用[J].計算機工程與設計，2010，31 （9）:2010－2012.]

[12]Huang Guangbin，Zhu Qinyu，Chee Kheong Siew.Extreme learning machine:Theory and applications[J].Neurocomputing，2006 （70）:489－501.

[13]Huang Guangbin，Wang Dianhui，Lan Yuan.Extreme learning machines:A survey[J].International Journal of Machine Learning and Cybernetics，2011 （2）:107－122.

[14]Zong Weiwei，Huang Guangbin，Chen Yiqiang.Weighted extreme learning machine for imbalance learning[J].Neurocomputing，2013 （101）:229－242.