最小殘差法加速局部加權LSSVM求解及其應用

林超，王華杰

最小殘差法加速局部加權LSSVM求解及其應用

林超，王華杰

局部加權最小二乘支持向量機回歸模型（LocalWeighted Least Squares Support Vector Machines ,LW-LSSVM）是一種在線學習模型，該類模型需要根據訓練樣本權重的調整不斷重新進行訓練。高效穩定的學習算法是LW-LSSVM模型取得成功應用的關鍵。分別采用最小殘差法（M INRE）、共軛梯度法（CG）、零空間法和Cholesky分解算法求解WL-LSSVM模型。基準數據庫上的數值實驗表明最小殘差法的計算時間最短，具有良好的數值穩定性。隨后，應用基于M INRES的WL-LSSVM建立了高爐鐵水硅含量的在線預測模型，仿真實驗表明與LSSVM相比LW-LSSVM模型具有更高的預報精度和自適應性。

LSSVM；局部加權；最小殘差法；鐵水硅含量

0 引言

SVM是基于結構風險最小化原則建立的核學習模型[1]。隨后學者們研究了SVM的多種變形，其中，Suykens等人建立的LS-SVM模型結構最為簡單，并獲得的廣泛應用[2]。LS-SVM將SVM模型中的不等式約束替換為等式約束，同時，在目標函數中采用具有良好光滑性質的二次損失函數取代SVM模型中的不敏感損失函數。由于LS-SVM的最優性條件（KKT條件），可以轉換為線性系統，無需求解二次規劃問題，與SVM相比LS-SVM的求解更為簡單、快速，更適合在線應用。

高爐煉鐵過程是一個高度復雜的非線性過程,其實質是將鐵從鐵礦石等含鐵化合物中還原出來。冶煉期間, 爐內將發生復雜的氣-固、固-固、固-液相反應，并伴隨有高溫、高壓、

多相共存、化學反應與傳遞現象同時發生等特點。高爐煉鐵過程的復雜性造成了對其進行有效控制十分困難。長期以來，國內外研究人員根據高爐煉鐵內部所發生的化學反應傳遞現象建立了多種數學模型[3]，這些模型在理論上對于揭示高爐內部現象起了一定的積極作用，但也存在著準確性低等缺點。鑒于此,數據驅動建模方法正被廣泛應用于高爐煉鐵過程的實時模擬和控制。高爐在煉鐵過程中，產生了豐富的在線和離線測量數據，如原料參數，包括鐵礦石成份、焦炭負荷、噴煤速率、焦炭比等；鼓風參數，包括風量、風溫、風壓、富氧程度、鼓風濕度等；鐵水成份參數，包括鐵水硅含量、鐵水硫含量等；爐渣成份、爐渣堿度以及透氣性指數等，為實現高爐煉鐵過程數據驅動建模提供了可能。目前，利用數據驅動的思想所建立的高爐預測及控制模型主要有神經網絡模型[4]、非線性時間序列分析模型[5]、模糊模型[6]、貝葉斯網絡模型[7]、偏最小二乘模型[8]、支持向量機模型[9]等。上述模型基本是全局離線型模型，模型關注的是模型的全局推廣能力。此類模型在數據較充分的區域較為準確，而模型在數據不充分或變化較大的區域精度欠佳。劉毅等學者，引入局部學習的思想，建立了待測樣本點附近的局部模型[10]。相關的研究表明，與全局學習相比，局部學習能有效提高建模精度[10,11]。

本文在現有對高爐煉鐵過程 LS-SVM 模型研究的基礎上,基于樣本點的歐式距離構造了一種相似性度量準則，計算樣本點的相似性，并由此確定樣本點的懲罰權重因子?；趹土P權重因子建立了局部加權最小二乘支持向量機回歸模型(LocalWeightedLeast Squares Support Vector Machines，LW-LSSVM)，實現了樣本權重的在線調整。隨后，應用LW-LSSVM對高爐鐵水硅含量進行在線建模，仿真結果表明，LW-LSSVM較離線LSSVM有著更高的預測精度、更好的泛化能力，能更好的描述高爐冶煉過程這樣一個動態時變系統，適合高爐鐵水硅含量的在線建模。此外，考慮到在線應用的實時性要求學習模型具有較快的計算速度，我們提出采用M INRES算法求解LW-LSSVM模型。基準數據集上的數值試驗表明，與當前主流的CG算法和零空間算法相比，M INRES算法能顯著提高LW-LSSVM模型的求解效率。

1 LW-LSSVM模型與求解算法

1.1 LSSVM回歸模型

LSSVM回歸模型是基于數據的機器學習方法，研究從觀測數據(樣本) 出發尋找規律，利用這些規律對未來數據或無法觀測的數據進行預測。給定訓練樣本集，LSSVM的決策函數滿足如下形式其中，特征映射可將輸入樣本x映射到特征空間，b是截距項，w則是特征空間中的權重向量。LSSVM模型可表示為如下二次規劃問題，如公式（1）：

消掉變量w和誤差變量e,KKT系統可表示為線性方程組，形式如公式（4）：

1.2 LW-LSSVM模型與求解

LW-LSSVM模型對應的 KKT系統可以描述為如下鞍點系統，如公式（6）：

共軛梯度法：類比Suykens等人的工作[12]，采用迭代策略，應用共軛梯度法迭代求解如下正定系統，如公式（7）：系統（6）可轉換為正定系統

得到中間變量μ和η，隨后可得原鞍點系統(6)的解

零空間法：應用 Chu等人采用的零空間法[13]，將鞍點系統轉(6)表示為，設系統的特解為并設的零空間為通過共軛梯度法求解正定系統,得到中間變量λ,進而可得鞍點系統(6)的解

Cholesky分解法：考慮到線性系統(7)的特殊結構[14]，首先使用Cholesky分解算法分解對稱正定矩陣H,即利用 Cholesky因子L高效求解正定系統(7)得到中間變量μ和η，進而求得原鞍點系統的解

MINRES算法：Paige和Saunders提出的最小殘差法是求解對稱非正定系統的高效算法。針對鞍點系統（6）的特殊結構，我們采用最小殘差法迭代求解該系統。為了便于描述，簡記鞍點系統為假設0x是系統的初始解，利用Lanczos方法[15]可得到迭代點列，滿足：其中是第m個Krylov子空間。M INRES算法的相關收斂性分析可參考文獻[15].

2 仿真實驗

對于LW-LSSVM模型而言，模型權重的確定至關重要，將直接決定模型效果。考慮到在工程技術領域RBF函數經常被選取用于構造樣本點的相似性，本文基于樣本點的歐式距離，利用RBF函數構造樣本相似性其中，核寬σ取為樣本點的輸入維數，并通過如下變換得到取值范圍是的懲罰加權因子。本文中所有數值試驗均是在MATLAB 7.14 環境下運行的，計算機配置為3.4 GHz Intel Core i3 處理器，4 Gb 內存，Windows 7操作系統。

2.1 基準數據庫實驗

首先，我們考察LSSVM模型和LW-LSSVM模型，以及四種算法共軛梯度算法（CG）、零空間算法(Null)、Cholesky分解算法(Cholesky)和最小殘差算法(M INRES)在基準數據集上的性能表現。本文選取回歸分析領域常用的誤差均方根（root mean square error,RMSE）、平均絕對誤差（mean absolute error,MAE)以及計算時間（CPU）作為評價指標衡量模型及算法的性能。性能指標RMES和MAE的計算公式如公式（8）、（9）：

表1 基準數據集上的預測結果

由表1可以看到，與LSSVM模型相比，由于局部加權的LSSVM模型中加入了待預測樣本與訓練樣本的相似性信息，LW-LSSVM模型的 RMSE的 MAE均有所提高。LW-LSSVM模型需要根據待預測樣本不斷調整懲罰加權因子 iθ，模型的訓練次數為預測樣本數，而LSSVM模型僅需訓練一次。因此，與LSSVM相比LW-LSSVM的運行時間較長。四種求解算法CG、Null、Cholesky和M INRES對應的REMS和MAE完全相同，表明四種算法的數值穩定性較好。而運行時間一欄表明，Cholesky分解算法和 M INRES算法的計算速度相當，明顯優于目前主流的共軛梯度算法和零空間算法。

2.2 高爐鐵水硅含量預測

本段我們應用LSSVM模型和LW-LSSVM模型處理工業應用問題-高爐鐵水硅含量預測問題，并比較四種算法的性能。

高爐爐溫是影響高爐冶煉過程的關鍵參數。高爐冶煉過程具有高度復雜性與封閉性，很難直接測量爐缸溫度場的分布。由于鐵水硅含量（[Si]）與爐缸溫度密切相關,冶金界通常用[Si] 的變動來間接反映爐缸溫度場的變化。以萊鋼1號高爐（容積750m3）在線采集的工業數據作為應用案例?？紤]到生產過程數據的采集條件及其與[Si]的相關程度,選取了6個主要影響因素進行建模。模型輸入變量分別為：上一爐鐵水硅含量、上一爐鐵量差、透氣性指數、噴煤量、風溫和風量。以上輸入變量在數量級上差異巨大，因此采用數據標準化處理公式（10）對輸入數據進行預處理。選取 RBF函數作為模型中的核函數，其中核寬參數σ設為6，模型正則化參數v設為1。本實驗共采集樣本數據1008組，其中前908組數據用于構造訓練集，序號為No.31919～No.32018爐次的 100組數據構造測試集。[Si]時間序列，如圖1所示：

圖1 萊鋼1號高爐鐵水硅含量時間序列圖

預測命中率是冶金生產中用來衡量模型優劣的重要指標，其定義如公式（11）所示：

衡量模型性能的常用指標預測成功率的定義如公式（13）所示：

LW-LSSVM模型在均方根誤差(RMSE)、預測命中率(H,%)、以及預測成功率(S,%)3個評價指標上的性能表現均優于LSSVM模型。表明相比于全局模型，局部加權LSSVM模型能更好的追蹤時變系統的變化。在運行時間方面，M INRES算法的運行時間最短，與主流的共軛梯度算法、零空間算法相比M INRES大幅提高了LSSVM模型的求解速度。因此，基于M INRES算法的LW-LSSVM模型是處理高爐鐵水硅含量在線預測的理想工具。[Si]預測的數值實驗結果如表2所示：

表2 萊鋼1號高爐100爐數據預測結果

3 總結

本文首先分別采用M INRES、CG算法、零空間算法和Cholesky分解算法求解了LW-LSSVM模型，并通過基準數據集上的數值實驗對比了4種算法的計算性能。實驗結果表明 M INRES算法的運算時間短、數值穩定性好，是求解LW-LSSVM模型的理想算法。隨后，應用基于M INRES的LW-LSSVM 建立了[Si]在線預測模型，應用案例表明LW-LSSVM模型能自適應的調整模型，具有更高的預報精度，是處理在線預測問題的理想工具。需要指出的是局部加權因子是LW-LSSVM模型的關鍵因素之一，其設定將直接影響模型性能，而目前局部加權因子的設定仍處于探索階段，局部加權因子的設定是今后需要重點研究的問題。

[1] Vapnik V N. The Nature of Statistical Learning Theory[C].New York: Springer, 1995.

[2] Suykens J A K, Van T Gestel, De J Brabanter, De B Moor, and Vanderwalle J. Least squares support vector machines[C].World Scientific, 2002.

[3] 郜傳厚, 漸令, 陳積明, 孫優賢.復雜高爐煉鐵過程的數據驅動建模及預測算法《自動化學報》[J].2009; 35(6) : 725-730.

[4] Radhakrishnan V R, Mohamed A R. Neural networks for the identification and control of blast furnace hot metal quality, [J] Journal of Process Control.2000, 10(6): 509-524.

[5] Saxen H, Pettersson F. Nonlinear prediction of the hot metal silicon content in the blast furnace,ISIJ International[C], 2007;47(12): 1732-1737.

[6] Martin R D, Obeso F, Mochon J, Barea R, Jimenez J. Hot metal temperature prediction in blast furnace using advanced model based on fuzzy logic tools, [J]Ironmaking and Steelmaking.. 2007; 34(3): 241-247.

[7] 劉學藝, 劉祥官, 王文慧. 貝葉斯網絡在高爐鐵水硅含量預測中的應用. 鋼鐵[J]., 2005; 40(3): 17-20.

[8] Bhattacharya T. Prediction of silicon content in blast furnace hot metal using partial least squares (PLS), [J]ISIJ International, 2005; 45(12): 1943-1945.

[9] 漸令, 劉祥官. 支持向量機在鐵水硅含量預報中的應用. [J]冶金自動化, 2005; 29(3): 33-36.

[10] 劉毅, 王海清, 李平.用于發酵過程在線建模的自適應局部最小二乘支持向量機回歸方法. [J]化工學報, 2008, 59(8): 2052-2057.

[11] 高學金, 孫鑫.局部自適應加權LSSVM 在線建模方法及其在間歇過程中的應用. [J]計算機與應用化學, 2013, 30(7): 754-758.

[12] Suykens J A K and Vandewalle J.Least squares support vector machine classifiers, [J]NeuralProcessing Letters, 1999, 9(3): 293–300.

[13] Chu W, Ong C J, and Keerthi S S. An improved conjugate gradient scheme to the solution of least squares SVM, [J] IEEE Trans. Neural Netw., 2005, 16(2): 498-501.

[14] Caw ley G C, Talbot N L C. Preventing over-fitting during model selection via Bayesian regularization of the hyper parameters. J. [C] Math. Learn. Res.,2007, 8 (5):840-861.

[15] Van der Vorst H A,Iterative Krylov Methods for Large Linear Systems, [M]Cambridge UniversityPress, Cambridge, UK, 2003.

[16] C. L. Blake and C. J. Merz. UCI repository of machine learningdatabases Univeoijktrsity of California. Irvine.

M inimum Residual M ethod to Accelerate the Local Weighted LSSVM and its Application in Industry

Lin Chao1, Wang Huajie2
(1. Network and Educational Technology Center, China University of Petroleum, Qingdao 266580, China; 2. School of Management Science and Engineering，Shandong University of Finance and Econom ics, Jinan 250014, China)

Local weighted least square support vector machines regression model is a kind of e-learning model, the model needs constantly retraining according to the adjustment of the training sample. The stable and efficient learning algorithm is the key to the successful application of LW-LSSVM model. This paper utilized m inimum residual method (M INRE), conjugate gradient (CG), null space method and Cholesky decomposition algorithm respectively to solve WL-LSSVM model. The numerical experiment of benchmark database indicates that the computing time of m inimum residual method is the m inimum as well as good numerical stability. A fterwards WL-LSSVM based on M INRES is used to establish the e-learning prediction model of the silicon content in hot metal. The simulation experiment shows that compared w ith LSSVM, LW-LSSVM has higher prediction precision and adaptability.

LSSVM; Local Weighted; M INRE; Silicon Content

TP18

A

2014.09.10）

國家自然科學基金（No. 11326203 ）；山東省自然科學基金（No. ZR2013FQ034）

林 超（1977-），男，山東棲霞人，中國石油大學（華東），網絡及教育技術中心，工程師，碩士，研究方向：計算機技術，青島，266580

王華杰（1981-），男，山東煙臺人，山東財經大學管理科學與工程學院，講師，碩士，研究方向：管理科學與工程，濟南，250014

1007-757X (2014)11-0008-04