基于混合QPSO的LS-SVM參數(shù)優(yōu)化及其應(yīng)用

朱紅求，陽(yáng)春華，王 覺，桂衛(wèi)華

(中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙，410083)

支持向量機(jī)(SVM)[1]作為一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化學(xué)習(xí)訓(xùn)練方法，較好地解決了小樣本、高維數(shù)、非線性、局部極小值等實(shí)際問題，具有很強(qiáng)的泛化能力。在此基礎(chǔ)上，Suykens等[2]提出了最小二乘支持向量機(jī)(LS-SVM)方法，它將SVM的求解從二次規(guī)劃問題轉(zhuǎn)化為線性方程組，降低了 SVM 的計(jì)算復(fù)雜度，同時(shí)解決了大樣本訓(xùn)練過程中計(jì)算速度變慢的問題，在故障檢測(cè)與診斷、過程預(yù)測(cè)、文本分類、生物信息學(xué)、模式識(shí)別和冶金過程等領(lǐng)域獲得了廣泛的應(yīng)用[3-8]。LS-SVM具有優(yōu)良的學(xué)習(xí)能力和推廣能力，然而，其參數(shù)優(yōu)化選擇對(duì)LS-SVM回歸模型學(xué)習(xí)精度和泛化能力起著決定性作用。針對(duì)參數(shù)選取問題，國(guó)內(nèi)外一些學(xué)者從不同的角度對(duì)此進(jìn)行了深入的研究和探討。傳統(tǒng)網(wǎng)格搜索法的計(jì)算量大，搜索時(shí)間長(zhǎng)，特別是在預(yù)測(cè)精度要求高和大樣本的情況下尤為突出。吳景龍等[9-10]提出了基于遺傳算法(GA)的支持向量機(jī)參數(shù)選擇法，取得了較好的效果?？紤]到粒子群算法原理簡(jiǎn)單和容易實(shí)現(xiàn)的優(yōu)點(diǎn)，Huang等[11]提出了將PSO算法應(yīng)用到支持向量機(jī)參數(shù)選擇中，Zhou等[12]提出基于量子粒子群算法(QPSO)算法的支持向量機(jī)參數(shù)選擇法。在此，本文作者采用QPSO算法對(duì)LS-SVM的參數(shù)進(jìn)行優(yōu)化選擇，同時(shí)，為了加快搜索速度和解的精確性，引入Powell算法對(duì)QPSO算法進(jìn)行改進(jìn)。采用測(cè)試函數(shù)對(duì)所提出的HQPSO LS-SVM建模方法進(jìn)行驗(yàn)證分析，并將該建模方法應(yīng)用于濕法煉鋅凈化過程離子濃度預(yù)測(cè)。

1 最小二乘支持向量機(jī)

對(duì)于訓(xùn)練集(xi，yi)(xi∈Rn，yi∈R，i=1，…，l)，其中l(wèi)為訓(xùn)練樣本個(gè)數(shù)，選擇一個(gè)非線性映射()φ·將n維輸入，1維輸出樣本向量，從原空間映射到高維特征空間，則LS-SVM回歸問題可表達(dá)為：

其中：ξi為松弛變量；φ (·)為映射函數(shù)；b為偏移量；w 為支持向量；ξ=(ε1，ε2，…，εl)；γ為用于平衡擬合誤差和模型復(fù)雜度的正則化參數(shù)。一般地，由于ω可能為無(wú)限維，直接求解式(1)的優(yōu)化問題極其困難，因此，將這一優(yōu)化問題轉(zhuǎn)化到其對(duì)偶空間中，引入拉格朗日函數(shù)對(duì)其進(jìn)行求解，可得：

式中：ai(i=1，2，3，…，l)為拉格朗日乘子，再根據(jù)Karush-Kuhn-Tucher(KKT)最優(yōu)化條件，可得線性方程組：

式中：Y=[y1，…，yl]T；ηl=[1，…，1]；a=[a1，…，al]；s=[1，…，1]T；I為單位矩陣；是滿足Mercer條件的對(duì)稱函數(shù)(核函數(shù))。

應(yīng)用最小二乘法求出a和b，得到LS-SVM函數(shù)回歸結(jié)果為：

RBF核函數(shù)又稱徑向核函數(shù)或高斯核函數(shù)，是具有全局收斂特性的線性學(xué)習(xí)算法前饋網(wǎng)絡(luò)，其學(xué)習(xí)速快，是應(yīng)用最廣泛的核函數(shù)，即：

其中：σ為核寬度。

核寬度σ和正則化參數(shù)γ是LS-SVM回歸模型的2個(gè)重要參數(shù)，它們的選取直接影響著算法的學(xué)習(xí)能力和泛化性能。為此，本文作者提出一種結(jié)合 QPSO算法和 Powell 算法的 HQPSO優(yōu)化算法，優(yōu)化選擇LS-SVM回歸模型中的2個(gè)重要參數(shù)，以提高模型的泛化性能。

2 基于HQPSO的LS-SVM方法

2.1 QPSO算法和Powell算法

Sun等[13]從量子力學(xué)的角度，通過對(duì)粒子收斂行為的研究，提出了量子粒子群優(yōu)化算法。在QPSO中，由于粒子滿足聚集態(tài)的性質(zhì)完全不同，使粒子能在整個(gè)可行解空間中搜索全局最優(yōu)解，因而QPSO算法在搜索能力上遠(yuǎn)比標(biāo)準(zhǔn)粒子群算法的優(yōu)。QPSO 中粒子的更新方式如下：

其中：mbest為所有個(gè)體當(dāng)前最佳位置的中心點(diǎn)；Pij為第i個(gè)個(gè)體在第j維上的最佳位置；Pgj為粒子群在第j維上的最佳位置；ijcP 為介于Pij與Pgj之間的隨機(jī)位置；M為粒子群規(guī)模；φ和u為(0，1)之間的隨機(jī)數(shù)；α為收縮擴(kuò)張系數(shù)，它是QPSO收斂的1個(gè)重要參數(shù)，第t次迭代時(shí)可?。?/p>

tmax為最大迭代次數(shù)。

Powell算法是以共軛方向?yàn)榛A(chǔ)收斂速度快的直接搜索法。對(duì)于n維極值問題，首先沿著n個(gè)坐標(biāo)方向求極小，經(jīng)過n次之后得到n個(gè)共軛方向，然后，沿n個(gè)共軛方向求極小，經(jīng)過多次迭代后便可求得最小值。對(duì)于給定的目標(biāo)函數(shù)，通過任意選定的初始點(diǎn)出發(fā)，利用共軛方向的概念和性質(zhì)逐次構(gòu)造共軛方向，并以此作為搜索方向而形成的一種算法。該算法具有較快的收斂速度，但容易陷入局部最優(yōu)。

在QPSO算法中引入Powell算法對(duì)其進(jìn)行局部尋優(yōu)，主要體現(xiàn)在以下3個(gè)部分：首先，在量子粒子群初始化時(shí)，對(duì)每個(gè)粒子的初始隨機(jī)位置進(jìn)行Powell尋優(yōu)；其次，在迭代過程中對(duì)QPSO的局部最優(yōu)解進(jìn)行Powell尋優(yōu)；最后，在QPSO搜索到全局最優(yōu)解后，對(duì)其進(jìn)行Powell尋優(yōu)，以加快QPSO的搜索效率和提高解的精確性。

2.2 HQPSO算法的實(shí)現(xiàn)

Powell算法搜索方法思路簡(jiǎn)單，使用方便，具有很好的局部收斂效果，故在QPSO算法全局收斂的基礎(chǔ)上，提出在 QPSO算法搜索過程中，使用 Powell搜索方法來提高 QPSO算法的尋優(yōu)能力和解的精確性。其步驟如下：

Step 1：初始化，迭代次數(shù)t=0，限制范圍內(nèi)隨機(jī)初始化粒子的初始速度和位置；

Step 2：對(duì)粒子的初始位置進(jìn)行Powell局部尋優(yōu)，得到更優(yōu)的初始位置；

Step 3：計(jì)算粒子的目標(biāo)函數(shù)值；

Step 4：更新每個(gè)粒子的新局部最優(yōu)位置Pij；

Step 5：對(duì)每個(gè)粒子的新局部最優(yōu)位置進(jìn)行Powell局部尋優(yōu)，得到更好的新局部最優(yōu)位置；

Step 6：更新全局最優(yōu)位置Pgj；

Step 7：根據(jù)式(6)計(jì)算mbest，ijcP ，并更新粒子的新位置；

Step 8：令t=t+1，重復(fù)執(zhí)行Step 3 ~Step 7，直到滿足迭代次數(shù)要求或精度要求；

Step 9：對(duì)Pgj進(jìn)行Powell局部尋優(yōu)，若最優(yōu)值在若干次內(nèi)保持不變，則結(jié)束尋優(yōu)操作。

在量子粒子群算法的尋優(yōu)過程中，對(duì)粒子隨機(jī)初始位置、粒子的新局部最優(yōu)位置以及全局最優(yōu)解，應(yīng)用Powell算法對(duì)其進(jìn)行局部尋優(yōu)，較大地提高QPSO算法的尋優(yōu)能力和解的精確性。

3 仿真實(shí)驗(yàn)

為了驗(yàn)證上述算法的有效性，利用加有噪聲的二維函數(shù) f(x1，x2)進(jìn)行仿真測(cè)試：f(x1，x2)= sin x1cos x2+σ0，x1，x2∈[-π，π]。其中：σ0是均值為 0、偏差為 0.01，0.05，0.10，0.15的高斯噪聲。對(duì)噪聲的每一個(gè)方差按x在區(qū)域內(nèi)均勻分布，取200對(duì)數(shù)據(jù)作為一個(gè)數(shù)據(jù)集，將每個(gè)數(shù)據(jù)集中的數(shù)據(jù)分為2組：一組用作LS-SVM模型的訓(xùn)練，另一組用作LS-SVM模型的測(cè)試。

分別采用HQPSO算法和PSO算法對(duì)LS-SVM進(jìn)行參數(shù)優(yōu)化，以均方差(MSE)和平均絕對(duì)誤差(MAD)作為兩種算法的比較指標(biāo)。設(shè)定HQPSO算法和PSO算法的迭代次數(shù)M=100，初始化群體個(gè)體數(shù)目N=30，LS-SVM 模型的初始化參數(shù)(σ，γ)范圍為：σ=[0，10]，γ=[0，1 000]，以避免盲目搜索。

表1 LS-SVM參數(shù)優(yōu)化平均結(jié)果比較Table1 Average results in parameters selection of LS-SVM

表 1所示為 PSO算法和 HQPSO算法分別對(duì)LS-SVM模型參數(shù)多次優(yōu)化平均結(jié)果對(duì)比。從表1可見：在不同噪聲干擾下，相比于PSO LS-SVM模型,HQPSO LS-SVM模型的 MSE和 MAD較小，說明HQPSO LS-SVM模型具有更高的精度和跟蹤效果，進(jìn)一步提高了模型的泛化性能；2種算法的MSE和MAD都比較小，說明 LS-SVM具有較強(qiáng)的泛化能力。

4 在濕法煉鋅凈化過程中的應(yīng)用

凈化過程[14]是濕法煉鋅生產(chǎn)流程中的重要工序之一，凈化的目的是盡可能除去對(duì)鋅電解及析出鋅的質(zhì)量可能造成不利影響的各種雜質(zhì)離子。凈化過程主要由8號(hào)、4號(hào)、5號(hào)、6號(hào)和7號(hào)5個(gè)凈化槽串聯(lián)而成，一段后液從8號(hào)槽進(jìn)入，依次經(jīng)過4號(hào)、5號(hào)、6號(hào)和7號(hào)槽，其中鋅粉和銻鹽由8號(hào)槽加入，如圖1所示?，F(xiàn)場(chǎng)操作工人主要根據(jù)4號(hào)槽鈷離子質(zhì)量濃度來確定鋅粉和銻鹽的添加量，因此，實(shí)時(shí)預(yù)測(cè)4號(hào)槽的鈷離子濃度對(duì)實(shí)際生產(chǎn)操作具有重要的現(xiàn)實(shí)意義。

鑒于濕法煉鋅凈化除鈷過程4號(hào)槽鈷離子質(zhì)量濃度預(yù)測(cè)的重要性，本文在深入研究?jī)艋^程機(jī)理的基礎(chǔ)上，提出基于HQPSO的LS-SVM離子濃度預(yù)測(cè)方法。以均方差(MSE)作為模型參數(shù)優(yōu)化選擇的標(biāo)準(zhǔn)，最優(yōu)化模型參數(shù)，使得HQPSO LS-SVM預(yù)測(cè)模型具有最小的均方差。

利用濕法煉鋅凈化過程連續(xù)生產(chǎn)的在線數(shù)據(jù)對(duì)所提出的預(yù)測(cè)模型進(jìn)行驗(yàn)證分析。隨機(jī)選取工業(yè)現(xiàn)場(chǎng)某一段時(shí)間的部分連續(xù)生產(chǎn)數(shù)據(jù)，經(jīng)過數(shù)據(jù)預(yù)處理得到300組有效數(shù)據(jù)，其中260組作為訓(xùn)練樣本，40組進(jìn)行預(yù)測(cè)。在訓(xùn)練前，首先對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理，模型參數(shù)優(yōu)化時(shí)，設(shè)定HQPSO迭代次數(shù)M=100，初始化群體個(gè)體數(shù)目N=30，初始化模型參數(shù)(σ，γ)的范圍：σ=[0，10]，γ=[0，1000]，以避免盲目搜索。

通過HQPSO算法對(duì)LSSVM模型參數(shù)進(jìn)行優(yōu)化選擇，得到最優(yōu)化參數(shù)值：核寬度σ=1.85，正則化參數(shù)γ=171，其仿真驗(yàn)證結(jié)果如圖2所示。

圖1 硫酸鋅溶液凈化工藝流程Fig.1 Purification process of zinc sulfate solution

圖2 4號(hào)槽Co離子濃度仿真結(jié)果Fig.2 Simulation result of cobalt concentration in No.4 tank

通過分析計(jì)算，可知均方差為0.034 8，最大相對(duì)誤差為10.56%，最大絕對(duì)誤差為0.544 6 mg/L，模型具有較高的預(yù)測(cè)精度。此外，凈化過程工業(yè)標(biāo)準(zhǔn)為在離子質(zhì)量濃度小于10 mg/L的情況下要求絕對(duì)誤差小于1 mg/L?？梢钥闯觯耗Ｐ皖A(yù)測(cè)結(jié)果滿足現(xiàn)場(chǎng)工藝生產(chǎn)的要求，為凈化過程的操作優(yōu)化創(chuàng)造了條件。

5 結(jié)論

(1) 所提出的基于HQPSO算法的LS-SVM參數(shù)選擇法，提高了LS-SVM模型的學(xué)習(xí)性能和泛化能力。

(2) 提出了結(jié)合 QPSO算法的全局優(yōu)化能力和Powell的局部尋優(yōu)能力的HQPSO算法。以QPSO算法為基礎(chǔ)，在QPSO算法尋優(yōu)過程中，分別對(duì)粒子的隨機(jī)初始位置、新局部最優(yōu)位置以及全局最優(yōu)解，應(yīng)用Powell算法對(duì)其進(jìn)行局部尋優(yōu)，以保證QPSO算法的求解速度和解的精確度。

(3) HQPSO LS-SVM模型的訓(xùn)練效果和預(yù)測(cè)效果好，驗(yàn)證了該支持向量機(jī)模型的有效性。利用濕法煉鋅凈化過程的實(shí)際生產(chǎn)數(shù)據(jù)進(jìn)行仿真?；谒岢龇椒?gòu)造的LS-SVM 預(yù)測(cè)模型具有較好的預(yù)測(cè)精度，預(yù)測(cè)結(jié)果滿足現(xiàn)場(chǎng)工藝要求，為生產(chǎn)過程的操作優(yōu)化創(chuàng)造了條件。

[1] Vapnik V N. The nature of statistical learning theory[M]. New York: Springer-Verlag, 1998: 17-34.

[2] Suykens J A K, Vandewalle J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3):293-300.

[3] YUAN Sheng-fa, CHU Fu-lei. Fault diagnostics based on particle swarm optimization and support vector machines[J].Mechanical Systems and Signal Processing, 2007, 21(4):1787-1798.

[4] HONG Wei-chiang. Chaotic particle swarm optimization algorithm in a support vector regression electric load forecasting model[J]. Energy Conversion and Management, 2009, 50(1):105-117.

[5] WANG Tai-yue, CHIANG Huei-min. One-against-one fuzzy support vector machine classifier: An approach to text categorization[J]. Expert Systems with Applications, 2009, 36(6):10030-10034.

[6] Exarchos K P, Papaloukas C, Exarchos T P, et al. Prediction of cis/trans isomerization using feature selection and support vector machines[J]. Journal of Biomedical Informatics, 2009, 42(1):140-149.

[7] Wu Y C, Lee Y S, Yang J C. Robust and efficient multiclass SVM models for phrase pattern recognition[J]. Pattern Recognition, 2008, 41(9): 2874-2889.

[8] 王凌云, 桂衛(wèi)華, 劉梅花, 等. 基于改進(jìn)在線支持向量回歸的離子濃度預(yù)測(cè)模型[J]. 控制與決策, 2009, 24(4): 537-541.

WANG Ling-yun, GUI Wei-hua, LIU Mei-hua, et al. Prediction model of ion concentration based on improved online support vector regression[J]. Control and Decision, 2009, 24(4):537-541.

[9] 吳景龍, 楊淑霞, 劉承水. 基于遺傳算法優(yōu)化參數(shù)的支持向量機(jī)短期負(fù)荷預(yù)測(cè)方法[J]. 中南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2009,40(1): 180-184.

WU Jing-long, YANG Shu-xia, LIU Cheng-shui. Parameter selection for support vector machines based on genetic algorithms to short-term power load forecasting[J]. Journal of Central South University: Science and Technology, 2009, 40(1):180-184.

[10] Osowski S, Siroic R, Markiewicz T, et al. Application of support vector machine and genetic algorithm for improved blood cell recognition[J]. Instrumentation and Measurement, 2009, 58(7):2159-2168.

[11] HUANG Cheng-lung, DUN Jian-fan. A distributed PSO–SVM hybrid system with feature selection and parameter optimization[J]. Applied Soft Computing, 2008, 8(4):1381-1391.

[12] ZHOU Lin-cheng, YANG Hui-zhong, LIU Chun-bo.QPSO-based hyper-parameters selection for LS-SVM regression[C]//Proceedings of Fourth International Conference on Natural Computation. Jinan: IEEE, 2008: 130-133.

[13] SUN Jun, FENG Bin, XU Wen-bo. Particle swarm optimization with particles having quantum behavior[C]// Proceedings of Congress on Evolutionary Computation. Portland: IEEE, 2004:325-331.

[14] Boyanov B S, Konareva V V, Kolev N K. Purification of zinc sulfate solutions from cobalt and nickel through activated cementation[J]. Hydrometallurgy, 2004, 73(1): 163-168.