交叉熵優(yōu)化算法在礦用干式變壓器故障診斷中的應(yīng)用

邊 莉，劉文靜

（1.黑龍江科技大學(xué) 電子與信息工程學(xué)院，黑龍江 哈爾濱 150022；2.黑龍江科技大學(xué) 電氣與控制工程學(xué)院，黑龍江 哈爾濱 150022）

0 引 言

隨著科學(xué)技術(shù)的飛速發(fā)展，各類電氣設(shè)備的復(fù)雜性日益增加。現(xiàn)已將人工智能技術(shù)引入診斷技術(shù)，以大大提高診斷的準(zhǔn)確度和效率。由于故障數(shù)據(jù)的獲取很困難，故障數(shù)據(jù)的數(shù)量通常較少，使得支持向量機(jī)憑借小樣本訓(xùn)練的優(yōu)勢從各種人工智能方法中脫穎而出。例如，Rimjhim A等[1]將支持向量機(jī)應(yīng)用于配電網(wǎng)的故障診斷，Ravikumar等[2]將支持向量機(jī)應(yīng)用于輸電系統(tǒng)的故障診斷，王澤星[3]將支持向量機(jī)應(yīng)用于數(shù)控機(jī)床電主軸的故障診斷。可見，支持向量機(jī)在分類領(lǐng)域具有良好的適用性。因?yàn)橹С窒蛄繖C(jī)參數(shù)的取值存在一定盲目性，所以本文將引入交叉熵算法對(duì)其參數(shù)進(jìn)行優(yōu)化，從而提高準(zhǔn)確率和速度。

1 交叉熵與支持向量機(jī)

1.1 交叉熵算法基本原理

小概率事件的仿真中，和重要度抽樣技術(shù)（IS）提到的一種小概率事件估計(jì)的新方法相互結(jié)合的算法就是交叉熵算法。算法的基本原理如下[4]。

針對(duì)小概率事件估計(jì)問題，有：

蒙特卡洛估計(jì)是對(duì)l最直接的估計(jì)方法，也就是使用密度函數(shù)f(·;u)生成N個(gè)隨機(jī)樣本x1,x2,…,xN，再使用對(duì)l來做無偏估計(jì)。當(dāng)前使用IS技術(shù)，這個(gè)估計(jì)問題就可以表示為：

把l的無偏估計(jì)表示為：

這里W(x)=f(x)/g(x)稱為似然比（LR）l 稱為似然比估計(jì)，x1,x2,…,xN～ g。式（4）表示的概率密度函數(shù)進(jìn)行尺度變換是估計(jì)的最合理的辦法。

此時(shí)，對(duì)所有的i都有：

同時(shí)能夠在{ f(·;v)}里找一個(gè)匹配的g，也就是找到匹配的v，所以g*和f(x;v)的距離能夠使用交叉熵表達(dá)，把其帶到式（1）中化簡為：

使用密度函數(shù)f(·;w)產(chǎn)生隨機(jī)樣本x1,x2,…,xN。事實(shí)上，當(dāng)l是某個(gè)很小的概率（小于10-5）時(shí)，假設(shè)樣本數(shù)N沒有達(dá)到很大值，就會(huì)出現(xiàn)很多或者所有的指示函數(shù)I{S(Xi)≥γ}等于0，這種情況就不再適用。對(duì)于這種情況可以使用多級(jí)迭代，設(shè)置一個(gè)分布參數(shù)序列{v^t,t≥ 0} 及一個(gè)級(jí)序列 {γ^t,t≥ 0}。

結(jié)果是使v^t趨向v*，γ^t趨向γ。以上提到的就是交叉熵算法的基本原理[5]。

1.2 支持向量機(jī)基本原理

支持向量機(jī)基于VC理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，是一種經(jīng)典的用于進(jìn)行樣本分類的機(jī)器學(xué)習(xí)算法[6]。

支持向量機(jī)通過構(gòu)造一個(gè)普通平面將兩類分開。當(dāng)無法將兩類分開時(shí)，將上升到多維空間，通過超平面將兩類完整分開。在構(gòu)造平面時(shí)，不僅單單分開兩類，還要尋求最優(yōu)，使分類的隔離邊緣最大，這就將低維度空間的非線性化分類轉(zhuǎn)化為高維度空間的線性化分類。

一個(gè)內(nèi)積空間H中的任意一個(gè)超平面都可以表示為：

其中w是表示的一個(gè)向量且與超平面相互垂直。

對(duì)于一個(gè)超平面來說，它其實(shí)是由自身的參數(shù)(w,b)決定的，那么就可以大致把其表示成(w,b)。但是，當(dāng)其參數(shù)w、b與其他的非零常數(shù)相乘時(shí)(w,b)不發(fā)生改變。為減少這種問題的發(fā)生，引出了規(guī)范超平面概念。

超平面：

稱關(guān)于點(diǎn)x1,x2,…,xl∈H的規(guī)范超平面。若其能夠滿足：

那么規(guī)范超平面與最近點(diǎn)的距離是1/||w||。(w,b)和(-w,-b)都能夠滿足規(guī)范超平面的要求。

間隔在SVM算法中作用極大，對(duì)一超平面(w,b)稱：

是點(diǎn)(x, y)∈H×{±1}的幾何間距，而稱：

為關(guān)于訓(xùn)練集：

的幾何間隔。

假若(xi, yi)被正確分開，那么這一間隔就是模式x到超平面之間的距離。假若點(diǎn)位于超平面上，那么這一點(diǎn)的間隔即為0；若這個(gè)點(diǎn)不在超平面上，那么這一點(diǎn)的間隔為：

其中：

1.3 交叉熵對(duì)支持向量機(jī)模型的參數(shù)優(yōu)化

本文采用的支持向量機(jī)模型選用的核函數(shù)為徑向基函數(shù)，選擇優(yōu)化的參數(shù)一個(gè)是支持向量機(jī)本身的懲罰系數(shù)C，還有一個(gè)是徑向基函數(shù)自帶的參數(shù)g。懲罰系數(shù)C反映的是對(duì)誤差的寬容程度，決定著學(xué)習(xí)機(jī)器的泛化能力；核參數(shù)g則反映訓(xùn)練樣本中數(shù)據(jù)的分布情況，決定著分類的最小誤差，隱含地決定著數(shù)據(jù)映射到新的特征空間后的分布情況。

綜上，選擇交叉熵算法在MATLAB上進(jìn)行編程計(jì)算，以支持向量機(jī)的懲罰系數(shù)C和核函數(shù)參數(shù)g為目標(biāo)進(jìn)行優(yōu)化，以支持向量機(jī)的交叉驗(yàn)證概率為適應(yīng)度函數(shù)，采用連續(xù)型交叉熵算法，經(jīng)過設(shè)定初值、取樣、排序、更新、平滑、終止，從而獲取支持向量機(jī)的模型最優(yōu)參數(shù)C、g。交叉熵算法優(yōu)化支持向量機(jī)參數(shù)的具體步驟如圖1所示。

算法終止時(shí)輸出最優(yōu)解X*=μ(t)，這是一個(gè)二維向量，其中的兩個(gè)元素即為支持向量機(jī)的最優(yōu)參數(shù)——懲罰系數(shù)、徑向基核函數(shù)參數(shù)。

圖1 優(yōu)化流程圖

2 CE-SVM干式變壓器的故障診斷模型

2.1 建立交叉熵優(yōu)化支持向量機(jī)模型的步驟

交叉熵優(yōu)化支持向量機(jī)的干式變壓器故障診斷模型的建立步驟如下：

（1）本文通過文獻(xiàn)[7]獲取80組樣本數(shù)據(jù)，具體的分布情況和對(duì)應(yīng)的標(biāo)簽如表1所示。

表1 樣本數(shù)據(jù)分布及標(biāo)簽分類

（2）建立SVM故障分類模型，并采用CE對(duì)SVM的系數(shù)C和g進(jìn)行優(yōu)化，以獲得最佳參數(shù)。

（3）將80組數(shù)據(jù)均分為兩組，第一組數(shù)據(jù)對(duì)CE-SVM故障分類模型進(jìn)行訓(xùn)練。

（4）第二組數(shù)據(jù)作為測試樣本，輸入到已經(jīng)訓(xùn)練好的分類模型中，將得到的分類結(jié)果和之前的標(biāo)簽進(jìn)行對(duì)比，從而得到該模型分類的準(zhǔn)確率。

2.2 選取干式變壓器故障樣本

干式變壓器的故障一般都會(huì)導(dǎo)致溫度的升高，所以通過溫度信息就可以大致判斷故障的類型。溫度的數(shù)據(jù)來源于文獻(xiàn)[7]，每種狀態(tài)的訓(xùn)練樣本數(shù)據(jù)如表2所示，40組測試樣本數(shù)據(jù)如表3所示。

2.3 編程仿真及對(duì)比分析

通過MATLAB仿真軟件進(jìn)行仿真，其中SVM分類部分用到了libsvm軟件包，通過編寫交叉熵優(yōu)化支持向量機(jī)的程序來實(shí)現(xiàn)交叉熵對(duì)支持向量機(jī)懲罰系數(shù)C、徑向基核參數(shù)g的尋優(yōu)和支持向量機(jī)通過訓(xùn)練對(duì)故障進(jìn)行分類診斷。

將編寫好的程序輸入到MATLAB，并將上文中的40組故障訓(xùn)練樣本和40組故障測試樣本分別導(dǎo)入，然后運(yùn)行交叉熵優(yōu)化支持向量機(jī)的程序。經(jīng)過十幾秒的運(yùn)行后可以得到結(jié)果，如圖2、圖3和圖4是運(yùn)行50次取得的最優(yōu)結(jié)果。

表2 干式變壓器40組故障訓(xùn)練樣本

表3 干式變壓器40組故障測試樣本

圖2 交叉熵優(yōu)化支持向量機(jī)的參數(shù)收斂曲線

從圖2可以看出，經(jīng)過15代進(jìn)化，兩個(gè)參數(shù)的值已經(jīng)趨于平穩(wěn)；經(jīng)過25代進(jìn)化，兩個(gè)參數(shù)已經(jīng)收斂于某個(gè)定值。可知，交叉熵算法對(duì)參數(shù)尋優(yōu)具有較高的快速性與穩(wěn)定性。

從圖3可以看出，該曲線從進(jìn)化8代后就趨于穩(wěn)定，收斂速度快，穩(wěn)定性良好。還可以讀取最優(yōu)懲罰系數(shù)C為6.611 7、最優(yōu)核參數(shù)g為7.069，最優(yōu)交叉驗(yàn)證概率為96.946 6%。

圖3 交叉熵算法適應(yīng)度函數(shù)收斂曲線

圖4 交叉熵優(yōu)化支持向量機(jī)測試集實(shí)際與預(yù)測分類圖

圖4 為支持向量機(jī)測試集實(shí)際與預(yù)測分類圖。通過觀察結(jié)果計(jì)算可知，分類準(zhǔn)確率Accuracy=97.5%（39/40）。其中，有一組數(shù)據(jù)出現(xiàn)誤判，這種誤差的出現(xiàn)原因很多：采集數(shù)據(jù)時(shí)出現(xiàn)干擾、數(shù)據(jù)采集時(shí)監(jiān)測點(diǎn)位置出現(xiàn)偏移、數(shù)據(jù)記錄或者處理時(shí)出現(xiàn)人為失誤等。綜上所述，本次仿真的分類準(zhǔn)確率很高。實(shí)際運(yùn)用中還應(yīng)該采取一些措施，如數(shù)據(jù)采集時(shí)盡量避免外界干擾、監(jiān)測點(diǎn)位置應(yīng)十分精確、數(shù)據(jù)幾率和處理時(shí)應(yīng)十分仔細(xì)等，從而使分類準(zhǔn)確率更高。

本文采用的是交叉熵算法對(duì)支持向量機(jī)的參數(shù)進(jìn)行尋優(yōu)。為了更好地體現(xiàn)出交叉熵算法在尋優(yōu)方面的優(yōu)越性，又建立一個(gè)對(duì)比仿真模型，即粒子群算法優(yōu)化支持向量機(jī)參數(shù)的分類診斷模型。同樣地，數(shù)據(jù)輸入后得到如圖5、圖6和圖7所示的仿真圖。

從圖5可以看出，經(jīng)過20代進(jìn)化，兩個(gè)參數(shù)的值已經(jīng)趨于平穩(wěn)；經(jīng)過30代進(jìn)化后，兩個(gè)參數(shù)已經(jīng)收斂于某值。與圖3比較可以得出，交叉熵算法對(duì)參數(shù)尋優(yōu)的速度快于粒子群算法。

圖6為粒子群算法優(yōu)化支持向量機(jī)的最佳適應(yīng)度函數(shù)收斂曲線，交叉驗(yàn)證概率曲線進(jìn)化了25代以后才趨于穩(wěn)定。與圖5比較可以看出，交叉熵優(yōu)化的交叉驗(yàn)證概率曲線收斂速度明顯高于粒子群優(yōu)化的結(jié)果。

圖7為粒子群優(yōu)化支持向量機(jī)測試集實(shí)際與預(yù)測分類圖，和交叉熵優(yōu)化后的分類結(jié)果一致，這里不再闡述。

表4為交叉熵算法和粒子群算法優(yōu)化的一些參數(shù)對(duì)比，其中尋優(yōu)時(shí)間和分類準(zhǔn)確率是運(yùn)行50次后取得的最優(yōu)值，而迭代次數(shù)是運(yùn)行50次取得的平均值。對(duì)比結(jié)果顯示，交叉熵算法比粒子群運(yùn)算速度快，穩(wěn)定性強(qiáng)。

圖5 粒子群優(yōu)化支持向量機(jī)參數(shù)的收斂曲線

圖6 粒子群算法最佳適應(yīng)度函數(shù)收斂曲線

粒子群算法每次迭代過程不僅要更新每個(gè)粒子的速度和位置，還要評(píng)價(jià)每個(gè)粒子的適應(yīng)度，以尋得全局最優(yōu)；而交叉熵算法基于參數(shù)化的概率密度產(chǎn)生隨機(jī)樣本，每次迭代只需更新概率密度參數(shù)和分位數(shù)。通過兩種優(yōu)化算法的對(duì)比可以得出，交叉熵算法優(yōu)化支持向量機(jī)的方法的適應(yīng)度函數(shù)曲線的收斂速度、穩(wěn)定性和對(duì)參數(shù)的尋優(yōu)時(shí)間明顯優(yōu)越于粒子群算法。雖然基于粒子群算法優(yōu)化支持向量機(jī)方法的測試集分類準(zhǔn)確率和交叉熵算法相同，但是整體來說，基于交叉熵算法優(yōu)化支持向量機(jī)的診斷方法優(yōu)勢明顯，更適用于干式變壓器的故障診斷。

3 結(jié) 論

本文將交叉熵算法和支持向量機(jī)融合，編寫交叉熵優(yōu)化支持向量機(jī)參數(shù)、支持向量機(jī)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練與分類的程序，然后通過Matlab建立故障診斷模型，將獲取的干式變壓器數(shù)據(jù)分為訓(xùn)練集和測試集分別導(dǎo)入進(jìn)行仿真得出仿真圖，得出經(jīng)過交叉熵優(yōu)化過得向量機(jī)分類程序分類準(zhǔn)確且穩(wěn)定。為了突出交叉熵算法參數(shù)尋優(yōu)的優(yōu)越性，又通過粒子群算法優(yōu)化支持向量機(jī)做對(duì)比試驗(yàn)。經(jīng)過前后兩種優(yōu)化算法的比較可以得出，交叉熵算法在優(yōu)化方面具有速度優(yōu)勢。可知，交叉熵算法是一個(gè)在尋優(yōu)方面見長的人工智能算法，可適用于多種領(lǐng)域。

圖7 粒子群優(yōu)化支持向量機(jī)測試集實(shí)際與預(yù)測分類圖

表4 兩種方法優(yōu)化支持向量機(jī)的對(duì)比