基于M-LS-SVR的變壓器油中溶解氣體濃度預測

李洪超　王偉剛　董雪梅（浙江工商大學統計與數學學院，杭州　310018）

?

基于M-LS-SVR的變壓器油中溶解氣體濃度預測

李洪超王偉剛董雪梅
（浙江工商大學統計與數學學院，杭州310018）

摘要為預測變壓器油中溶解氣體的濃度，提出了混合最小二乘支持向量機回歸（Mixed Least Square Support Vector Regression， M-LS-SVR）算法。該算法使用線性和非線性核函數的組合作為預測函數，利用真實數據自適應選擇其混合比例因子。實驗結果表明，與目前比較流行的BP神經網絡方法、SVR方法和LS-SVR方法的預測結果相比，該方法具有更小的預測誤差，更低的復雜性以及更好的泛化能力。

關鍵詞：電力變壓器；油中溶解氣體分析；濃度預測；最小二乘支持向量機

Concentration Prediction of Dissolved Gases
in Transformer Oil based on M-LS-SVR

Li HongchaoWang WeigangDong Xuemei
（School of Statistics and Mathematics Zhejiang Gongshang University， Hangzhou310018）

Abstract To predict the concentration of dissolved gases in transformer oil， we proposed mixed least square support vector regression （M-LS-SVR） algorithm in this paper. This algorithm combined linear and nonlinear kernel functions as prediction function， the mixed scaling factor was chosen adaptively by real data. The experiment results showed that this method had less prediction error， lower complexity and better generalization ability than those of the current popular methods， such as BP neural network， support vector machine regression （SVR） and least squares support vector machine regression （LS-SVR）.

Keywords：power transformer; dissolved gas analysis; concentration prediction; least squares support vector machine regression

變壓器是電力系統中的重要設備，其正常運行是保障電力系統安全穩定運行的基礎[1-2]。因此對運行中的變壓器狀態進行定時監控，以預報故障情況，便成為日常對變壓器進行檢修的重要環節之一。實際中，常用變壓器油中溶解氣體分析方法（DGA[3]）來監測和判斷變壓器在油樣采集時的運行情況。其原理是：充油電力變壓器在長期的運行過程中受到電或熱的作用會老化和劣化，產生少量的氣體（一般稱為特征氣體）溶解在變壓器油中。總體來講溶解氣體的量是一個逐步平穩積累的過程，但在故障或異常發生時，氣體含量數值會發生較大的變化。因此，可以用油溶氣體濃度的變化來反映變壓器的運行狀況。同時，由于目前的在線監測設備是每隔一段時間（一天）抽測一次，所以基于已有數據，預測將來油溶氣體濃度的變化，不僅是對DGA法定期檢測數據的補充，而且有利于有效識別監測系統誤報警和及時對故障狀態做出判斷。

使用灰色預測模型（Grey Model，GM）及其改進形式是目前對變壓器油溶氣體濃度進行預測的常用方法之一。例如：肖燕彩等[4]認為變壓器是一個灰色系統，而且其油中溶解的多種特征氣體數據存在耦合關系，因而采用灰色多變量模型；張麗萍等[5]對原始數據進行非等間隔處理、一級弱化處理、殘差模型修正，建立了綜合GM（1，1）預測模型；毛自娟等[6]將馬爾可夫鏈理論與灰色多變量預測方法相結合，提出了一種灰色馬爾可夫組合預測模型；司馬莉萍等[7]則將灰色模型與模糊支持向量機方法相結合，建立了灰關聯模糊支持向量機模型。但是灰色理論主要是對原始數列進行累加生成規律性較強的序列，再用指數曲線擬合得到預測值。它通常適用于有確定性趨勢的數據，而變壓器油溶氣體濃度值呈指數變化的趨勢并不明顯，因此運用灰色模型及其改進形式誤差較大。

胡導福[8]等直接使用BP神經網絡對油溶氣體濃度進行了預測。雖然神經網絡算法具有很強的非線性擬合能力，而且自學習能力強大，學習規則簡單。但是它也存在一些不足之處，比如：往往需要較多的樣本數據；其模型的預測效果通常和初始權值、閥值的選擇有很大關系；學習速度相對于目前比較流行的其他算法更慢，而且容易陷入局部極小值點。目前雖然已經有改進的BP算法[9]、遺傳算法（GA）[10]、模擬退火算法[11]等多種優化方法用于神經網絡的訓練，但在實際應用中這些參數調整往往因問題而異，仍然較難求得全局極小值點。

張小奇等[12]將支持向量機（Support Vector Machine，SVM）算法引入了變壓器油溶氣體濃度預測。SVM最早是由統計學習理論的奠基者V. Vapnik及其合作者提出。該算法不是基于傳統的經驗風險最小化原則，而是新的歸納原則—結構風險最小化原則，因此具有良好的泛化能力，較好地解決了小樣本、非線性、高維數、局部極小值等實際問題。支持向量機回歸算法（SVR）是支持向量機在回歸領域的應用 。

最小二乘支持向量機回歸（LS-SVR[13-14]）算法是支持向量機的一種改進形式，它是將傳統支持向量機中的不等式約束改為等式約束，且將誤差平方和損失函數作為訓練集的經驗損失，這樣就把求解二次規劃問題轉化為求解線性方程組問題，提高了求解的速度和收斂精度。

基于上述已有工作以及對真實變壓器油溶氣體濃度數據的研究發現：單純的使用簡單的線性預測函數或者較復雜的非線性預測函數，都不能恰當地刻畫出各種氣體濃度的變化趨勢。因此，本文提出了混合最小二乘支持向量機回歸（M-LS-SVR）算法。該算法是在最小二乘支持向量機回歸（LS-SVR）的基礎上同時使用兩種核密度函數，即線性核函數和非線性核函數，通過變壓器油溶氣體濃度數據自適應的選擇其混合比例，較全面地解釋了自變量與因變量之間的復雜關系。實際上，如果一個模型被完全確定為一個線性模型，則由于非線性部分沒有被識別出來將導致產生大的預測誤差。另一方面，如果模型被當做一個非線性模型，則線性部分被認為是非線性的一部分，它的識別性能可能比完全線性好，但它更復雜。M-LS-SVR方法集合了線性核函數和非線性核函數兩個優勢，達到了同時減少模型的復雜性和預測誤差的目的。

1　M-LS-SVR算法

1.1變壓器油溶氣體濃度預測模型的建立

利用監測設備定期獲取的變壓器油溶氣體濃度數據可以看作序列{ut: t≥1}。我們現在的目標是，在已有m個數據{（xt，ut）}m＋p t＝p＋1（其中xt＝（ut－1，…，ut－p））基礎上，估計輸入xt與輸出ut之間的關系，并用該關系給新的輸入預測輸出。

我們建立預測模型如下：

這里εt表示均值為0的隨機干擾項。設P為空間（U， X ）?R×RP上的未知概率分布，Px（u）＝P（u|x）為給定x∈X下的條件概率，則回歸函數定義為fp（x）＝∫Uud Px（ u）。回歸函數是使得期望風險∫U× X（u－ g（ x））2d P 達到最小的函數。由于P未知，因此我們只能尋找一個函數對其逼近。下面，我們將在再生核希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）的框架下給出模型（1）的求解算法。

1.2算法介紹

為了引入M-LS-SVR算法，我們先給出RKHS的定義。設二元函數K: X×X→R是連續、對稱并且半正定的，則這樣的函數稱為Mercer核，與核K有關的再生核希爾伯特空間Hk定義為函數集{Kx:＝K（x，.）: x∈X}的線性張成的閉包，其中定義的內積<.，.>Hk＝<.，.>K滿足＝K（x， x′）。如果核函數選為線性函數KLIN（x， x′），則RKHS是線性函數空間。如果核函數選為高斯徑向基函數KRBF（x， x′），則RKHS是非線性函數空間。其中：

對于給定的樣本集{ut，xt}m t＝1，M-LS-SVR算法定義為以下最優化問題：

設{φk}k＞1是由LKLIN的特征函數構成的L2p（ X）中的一個標準正交基，相應的特征值為{ek}k≥1，而{?k}k≥1是的特征函數構成的L2p（ X）中的正交基，{}k≥1為特征值。對于任何有

而且注意到

于是對于任意的j≥1，有

為使H值在f1和f2處達到最小，則對每一個j，必須有＝0和＝0。從而

因此

注意到

則

將式（6）、式（7）代入式（8）、式（9）化簡整理可得

這里KLIN（ x）和KRBF（ x）是m× m矩陣，KLIN（ xi， xj），KRBF（ xi， xj）分別為其（i， j）分量，u＝（u（1），…， u（ m））T。以上方程組是在R2m空間的適定線性系統，可以求出它的惟一解，即

則

即最終的預測模型為

3　實驗

下面以浙江省某變電所變壓器的H2預測為例，選取其在正常運行狀態下連續73天的原始數據{zt}，（t＝1，2，…，73）。并按照如下式（12）進行歸一化處理，得到新的時間序列。

接下來分別運用BP神經網絡方法、LS-SVR、SVR（RBF）、M-LS-SVR對數據進行處理。四種模型均使用連續三天的數據xt＝（ yt－3， yt－2， yt － 1）作為一個輸入，后一天的數據yt作為輸出，同樣分別選取作為訓練樣本，作為測試數據。分別用四種模型求得測試數據輸出的預測值y?t后，進行反歸一化得出，預測效果評價函數如下：

各模型的參數設置：

1）在BP網絡模型中采用3層結構，隱含層根據經驗選擇5個神經元，輸入層的傳遞函數是tansigmoid，輸出層的傳遞函數是linear，訓練函數選擇traingd法。

2）在支持向量機回歸（SVR）模型中，ε＝1×10－6，核函數為KRBF（ ui，uj），其中σ1＝ 0.7。

3）在最小二乘支持向量機回歸（LS-SVR）模型中，正則化參數（決定了適應誤差的最小化和平滑程度[15]）gam＝2，徑向基核函數的參數σ2＝ 0.1。

4）在混合最小二乘支持向量機（M-LS-SVR）中，參數λ＝0.95；RBF核函數參數σ3＝ 0.5；系數λ1＝ 0.05，λ2＝ 0.08。（參數λ采用交叉驗證方式取得，參數σ3、λ1、λ2根據樣本數據產生最小的經驗誤差規則選定。）

預測結果見表1。

表1　4種模型預測結果（μL/L）

對比以上4種模型的預測結果可以發現，BP神經網絡方法預測誤差最大，其MSE＝0.598，比普通的支持向量機方法（SVRRBF）的MSE大1.2倍；最小二乘支持向量回歸方法（LS-SVR）優于普通的支持向量機方法（SVRRBF），其MSE值減小了22%；混合最小二乘支持向量機方法（M-LS-SVR）的預測誤差最小，其MSE僅為0.061。

圖1　3種模型預測效果對比

單獨對比M-LS-SVR和LS-SVR的預測結果可以看出，M-LS-SVR算法的MSE值為常見的單核LS-SVR（RBF）的29%。并且我們發現在用交叉驗證法確定λ、λ1、λ2的值后，混合比例因子ν＝30.4∶1，這表明在此例中，線性核函數起主要作用。而且由于徑向基核函數需要確定的參數比線性核函數多，這在給模型增加靈活性的同時，也會影響模型的穩定性，所以高比重的線性部分弱化了徑向基核函數參數值確定失誤對整個模型的影響。使混合模型在提高了預測精度的同時，增加穩定性。

4　結論

總的來看，在變壓器正常運行狀態下，預測氣體濃度變化的支持向量機方法顯著優于神經網絡方法，而在支持向量機方法中，由求二次規劃問題改為解線性方程組，使LS-SVR方法比普通的SVR方法訓練速度更快，預測精度更高；而在本文中又提出了在LS-SVR方法中使用線性核和非線性核的自適應混合核函數，使得新的M-LS-SVR方法既減少了模型的復雜度，又有較高的預測精度。因此可以用這種方法常規性的預測出每種特征氣體濃度的變化趨勢，并與實際情況做對比以評價變壓器的運行狀態。

綜上可得，M-LS-SVR模型為變壓器油中溶解氣體濃度的預測提供了新的方法，同時，該方法也可以在其他領域推廣使用。

參考文獻

[1]張公永， 李偉. 基于灰色最小二乘支持向量機的變壓器油溶解氣體預測[J]. 電力學報， 2012， 27（2）: 111-115.

[2]任雙贊， 曹曉瓏， 鐘力生. 變壓器油中腐蝕性硫對銅導線及油浸絕緣紙特性影響[J]. 電工技術學報，2011， 26（10）: 129-135.

[3]王學磊， 李慶民， 李成榕， 等. 基于統計分布和相關分析的變壓器油中溶解氣體注意值計算方法（英文）[J]. 高電壓技術， 2013（8）: 1960-1965.

[4]肖燕彩， 陳秀海. 變壓器油中故障特征氣體體積分數的預測[J]. 中國電力， 2007， 40（3）: 53-55.

[5]張麗萍， 楊柳， 黃鍔， 等. 綜合灰色模型在電力變壓器故障預測中的應用[J]. 陜西電力， 2013， 41（10）: 44-47.

[6]毛自娟. 基于灰色馬爾可夫模型的變壓器油中溶解氣體體積分數預測[J]. 高壓電器， 2012， 48（10）: 47-51， 57.

[7]司馬莉萍， 舒乃秋， 左婧， 等. 基于灰關聯和模糊支持向量機的變壓器油中溶解氣體濃度的預測[J]. 電力系統保護與控制， 2012， 40（19）: 41-46.

[8]胡導福， 文閃閃， 何益鳴. 基于BP神經網絡的變壓器故障診斷及其應用[J]. 電力科學與技術學報，2008， 23（2）: 72-75.

[9]曲朝陽， 計超， 郭曉利， 等. 基于傳遞函數自我優化的BP網絡算法改進[J]. 電測與儀表， 2014， 51（11）: 56-59， 64.

[10]Dong Xiucheng， Wang Shouchun， Sun Renjin， et al. Design of artificial neural networks using a genetic algorithm to predict saturates of vacuum gas oil[J]. Petroleum Science， 2010， 7（1）: 118-122.

[11]黃世震， 林淑玲. 基于GSA-BP神經網絡的壓力傳感器溫度補償[J]. 電子器件， 2013， 36（5）: 680-684.

[12]張小奇， 朱永利， 王芳. 基于支持向量機的變壓器油中溶解氣體濃度預測[J]. 華北電力大學學報，2006， 33（6）: 6-9.

[13]Cristianini N， Shawe-Taylor J. An introduction to support vector machines and other kernel-based learning methods[M]. Cambridge: cambridge university press， 2005.

[14]Xu Yongli， Chen Dirong. Partially-Linear Least-Squares regularized regression for system identification[J]. IEEE Transactions on Automatic Control，2009， 54（11）: 2637-2641.

[15]李方方， 趙英凱， 顏昕. 基于Matlab的最小二乘支持向量機的工具箱及其應用[J]. 計算機應用， 2006，26（z2）: 358-360.

李洪超（1991-），男，碩士，研究方向為電力變壓器在線監測故障分析及技術，機器學習算法分析及應用。

作者簡介