基于BO-CatBoost的變壓器故障診斷

周海陽 趙振剛 于 虹 李英娜 張家洪 張大騁

（1.昆明理工大學信息工程與自動化學院；2.云南電網有限責任公司電力科學研究院）

我國電力水平在日益提高，泛在電力物聯網也在不斷發展、完善，因此實現對電力變壓器的準確可靠監控顯得尤為重要［1］。 油色譜在線監測裝置被廣泛用于油浸式變壓器，使用行業中認可的油中溶解氣體分析 （Dissolved Gas Analysis，DGA）方法作為主要的監測手段，該方法已成為帶電檢測項目中應用最廣泛、 最有效的一種方法。 基于DGA 數據診斷的核心思想是根據油中氣體組分含量確定故障類型。

變壓器在運行中由于受到電應力、熱應力和機械應力的影響發生異常， 導致變壓器油分解，產 生H2、CH4、C2H4、C2H6和C2H2這 些 典 型 氣 體。傳統的變壓器診斷方法主要利用圖表查詢方式，常見的有IEC 三比值、Rogers 比值及Duval 三角等［2～5］。 由于存在編碼方式有缺失，劃分結果依賴閾值等情況，傳統的診斷方法誤診率較高，已經逐步淪為輔助手段。 電力變壓器結構復雜，故障類型較多。 支持向量機是針對二分類問題提出的，在多分類方面存在不足之處［6］。神經網絡模型對小樣本問題的分類效果并不是很理想，需要較多樣本數據才能取得較好的效果，而變壓器故障樣本數量一般較少，此外神經網絡存在收斂速度慢、容易陷入局部最優值等問題［7］。利用集成學習的方法主要有隨機森林（Random Forest，RF）和梯度提升樹（Gradient Boosting Decision Tree，GBDT）兩大分支。 RF 是用決策樹作為其基學習器，通過減小方差來提高預測精度，但處理噪聲較大的分類問題時容易過擬合，文獻［8］利用集成學習的思想建立RF 模型， 克服了單分類器的局限性， 并提高了分類器的分類預測能力。 而GBDT則通過降低偏差來減小總誤差，但由于每一個體學習器之間依賴關系較強，無法并行訓練，因此訓練速度較慢。 文獻［9］提出采用極限梯度提升（XGBoost）算法來擬合模型，在變壓器故障診斷上取得了較好的效果。 CatBoost 算法類似于常規的梯度提升算法，但是利用一種全新的梯度提升機制來構建模型以減少過擬合，這使模型具有通用性和更強的魯棒性，采用默認參數就可以獲得較好的結果，減少了對眾多超參數調優的需求和調參時間。CatBoost 被用于許多疾病的判別預測，具有很高的可靠性［10～12］。

基于以上研究， 筆者提出了一種基于CatBoost 的油浸式變壓器故障診斷方法， 該方法對故障中產生的不同特征氣體之間的關系進行挖掘，利用不同故障情況下各特征氣體之間存在的典型比值、 占比關系構建了一系列新特征；利用Z-score 標準化方法處理所有特征數據； 將處理后的數據分為訓練集和測試集，將訓練集數據輸入CatBoost 模型，并采用貝葉斯優化（Bayesian Optimization，BO）對模型超參數進行優化，最終建立基于CatBoost 的變壓器故障診斷模型，實現對變壓器的故障診斷。

1 BO-CatBoost 算法

1.1 BO 原理

BO 是一種被廣泛用于超參數尋優（Hyper-Parameter Optimization，HPO）問題的迭代算法［13］。 與傳統的隨機搜索和網格搜索（Grid Search，GS）不同，BO 是依據歷史獲得的結果來不斷更新概率模型，從而有利于找到最優的超參數。 為了確定下一個超參數配置，BO 使用了代理模型和采集函數兩個關鍵部分［14］。 代理模型的目標是將所有當前觀測的點都擬合到目標函數中。 在得到概率代理模型的預測分布后，利用采集函數平衡探索與開發的關系。 探索就是在還未取樣的區域獲取采樣點，而開發就是根據后驗分布在有希望出現全局最優解的區域進行采樣。 BO 模型平衡了探索和開發過程， 以尋找當前最可能的最優區域，避免在未探索地區錯過更好的配置［15］，陷入局部最優。 圖1 為貝葉斯優化流程。

圖1 貝葉斯優化流程

TPE（Tree-structured Parzen Estimator）算法是BO 的一種常用代理模型。 TPE 算法先隨機采樣一些超參數，然后將采樣得到的超參數用于目標函數的評估，從而得到學習樣本（x，y），其中x表示設置的超參數，y表示將所設參數代入目標函數所得到的最優值。 在隨機采樣得到的樣本滿足一定數量時，TPE 算法利用已有樣本得到非參數概率密度函數。 根據非參數概率密度函數，再在超參數空間內采集新的樣本。 重復整個過程直到發現能產生較優目標函數值的超參數設置。

1.2 集成策略

與傳統學習方法不同，集成學習方法通過訓練多個學習器來解決問題。 通常集成后的模型比基學習器有更強的泛化能力，效果更好。 在集成學習中， 集成方式主要有Bagging 和Boosting。Bagging 是一種并行集成方法， 利用基學習器之間的獨立性，結合相互獨立的基分類器來顯著減小誤差。其實現過程為：給定一個樣本數為m的訓練集合， 通過有放回采樣得到有m個訓練樣本的采樣集。 原始樣本有的被選中多次，有的未被選中。 重復過程T次，得到T個樣本數為m的樣本集。對每個采樣出來的訓練集，使用基學習算法可以得到一個基學習器。 Boosting 是一種串行集成方法，實現過程為：每個訓練樣本算法會分配一個權值，在每一輪的訓練中，新分類器標注出每一個樣本，分類正確的則降低其權值，在下一次抽樣中減小它被抽中的概率；分類錯誤的則提高其權值，增加下一次抽樣被抽中的概率。 樣本權值越高，在下一次訓練中所占的比重就越大，也就是說越難區分的樣本在訓練過程中會變得越來越重要。 整個迭代過程直到錯誤率足夠小或達到一定次數才停止。Boosting 算法流程如圖2 所示。

圖2 Boosting 算法流程

1.3 CatBoost 原理

CatBoost 是一種以對稱決策樹為基學習器，參數較少、 支持類別型變量和高準確性的GBDT框架，能夠高效合理地處理類別型特征，解決以往GBDT 框架的機器學習算法中常出現的梯度偏差和預測偏移問題， 從而減少了過擬合的發生，提高了算法的泛化能力。

CatBoost 與其他梯度提升算法類似， 它每構建一棵新樹， 都會近似當前模型的梯度。 但在GBDT 的每一步迭代中， 損失函數使用相同的數據集求得當前模型的梯度，然后訓練得到基學習器，但這會導致梯度估計偏差，進而導致模型產生過擬合問題。 CatBoost 通過采用排序提升（Ordered Boosting）的方式替代傳統算法中的梯度估計方法，進而減小梯度估計的偏差，提高模型的泛化能力。

2 基于BO-CatBoost 的變壓器診斷模型

2.1 特征構建和數據預處理

利用從DGA 數據中獲得的信息可以識別變壓器的故障類型。 由于變壓器內部發生故障的情況不同，會產生對應的H2、CH4、C2H4、C2H6和C2H2這5 種故障氣體，不同的診斷方法就是利用這些氣體之間的比例和占比關系來判定變壓器故障類型的。

因此筆者參考傳統的三比值法和無編碼比值法［16］，在原有的5 種故障氣體特征的基礎上又構建了11 種故障特征，現將變壓器的所有16 種故障特征列于表1。

表1 變壓器故障診斷所用特征

圖3 各特征量Pearson 相關系數圖

由于不同特征之間存在量級差異，為了避免計算誤差，將各特征進行標準化處理：

其中，x*為標準化后得到的特征量，x為原始數據，x為原始數據的均值，σ為原始數據的標準差。

根據IEC 60599 中對故障類型劃分的標準，加上正常運行情況，將變壓器運行狀態分為以下7 種：

0 低能放電（D1）

1 高能放電（D2）

2 局部放電（PD）

3 低溫過熱（T1）

4 中溫過熱（T2）

5 高溫過熱（T3）

6 正常狀態（ZC）

從電力數據分析中心后臺和文獻中取得已確認狀態的DGA 數據1 034 條，隨機抽取樣本的30%作為測試集，故障樣本分布見表2。

表2 故障樣本分布 條

2.2 貝葉斯優化CatBoost 過程

貝葉斯優化CatBoost 的具體步驟如下：

a. 對收集到的樣本數據進行標準化處理；

b. 選取數據的5 個原始特征和新構建的特征作為模型的特征輸入， 將樣本數據按7∶3 比例隨機分為訓練集和測試集；

c. 設置CatBoost 模型的初始參數并進行預訓練，利用BO 不斷對模型參數進行調整；

d. 判斷是否達到迭代次數，若是則停止，存儲當前得到的訓練參數值作為最優參數，否則返回步驟c；

e. 將存儲的最優參數裝載進CatBoost 模型，利用測試集對模型的診斷效果進行測試，輸出故障分類結果。

2.3 CatBoost 模型參數選取

雖然CatBoost 在默認參數下表現已很好，但它還包含一些可以調優的參數。 參數iterations表示弱學習器最多需要迭代的次數，弱學習器迭代次數太少，就很有可能出現欠擬合的現象；相反，如果弱學習器迭代次數過多， 會出現過擬合的現象。 參數learning_rate代表學習率，學習率的數值越小，所需迭代的次數就越多。 參數max_depth代表樹的深度。參數l2_leaf_reg代表L2正則化數。參數loss_function是損失函數，多分類時運用MultiClass。 表3 描述了主要參數、尋優范圍和最優參數。

表3 CatBoost 主要參數

3 仿真結果

3.1 CatBoost 診斷結果

根據劃分的訓練數據和測試數據，建立基于貝葉斯優化CatBoost 的變壓器故障診斷模型。 每個測試集樣本的診斷結果如圖4 所示，各類別診斷準確率見表4。

圖4 BO-CatBoost 故障診斷分類結果

表4 BO-CatBoost 的診斷結果

從結果可以看出，診斷準確率最高的故障類型為D1、T2、T3 和ZC，D2、PD 和T1 類樣本的準確率相對來說偏低，主要是因為這3 類故障的樣本數過少。 BO-CatBoost 將2 條D1 類故障誤診為D2 類故障；將4 條D2 類故障診斷為D1 類和ZC類；PD 類中有1 條診斷為ZC 類；在T1、T2、T3 類故障中，分別有4 條、1 條、6 條故障被識別錯誤；正常樣本中有4 條被識別為故障樣本。

3.2 不同模型診斷結果對比

利用相同的數據集， 分別建立RF 和支持向量機（SVM）診斷模型，然后對兩個對比模型進行貝葉斯尋優，尋優得到的最優參數見表5。圖5 所示為幾種模型混淆矩陣對比，從中可以看出，BOSVM 模型將10 條ZC 故障診斷為T1 和T2 故障，而將6 條T3 故障診斷為T1 故障，在所有模型中對過熱類故障的診斷效果最差。 而BO-CatBoost診斷正確數是所有模型中最多的，在T1、T2 和正常類故障中診斷效果比其他模型好。

表5 SVM 和RF 主要參數

從表6 中可以看出， 經過尋優后，SVM 準確率從尋優前的82.64%提高到86.17%，RF 準確率從90.42%提高到92.60%， 且模型的精確率（Precision）、召回率（Recall）、F1 分數（F1-score）與尋優前相比均有提升。 對于CatBoost 模型來說，尋優前的準確率為90.68%，利用網格搜索得到的準確率為91.64%， 與之相比經過貝葉斯尋優后，準確率提升到92.93%。由對比可以看出，BO 對各種算法模型均有優化作用，雖然CatBoost 算法在默認參數設置下性能較好， 但在經過BO 調參后性能仍有提升， 說明BO 在集成算法上具有優秀的尋優能力。

表6 不同模型診斷結果對比

4 結論

4.1 DGA 數據的比值和占比關系蘊含不同故障情況下氣體之間的聯系。

4.2 在采用同樣特征輸入時，CatBoost 比SVM、RF 具有更高的精度和穩定性。

4.3 將BO 引入CatBoost 診斷模型， 對模型的4個超參數進行優化，經優化的CatBoost 模型診斷準確度為92.93%， 優于未經優化的CatBoost 和GS-CatBoost，同時也優于優化后的SVM 和RF，有效地提升了模型診斷準確度。