基于改進灰狼優化算法的支持向量回歸預測

鐘世云，張 屹，戴 杰，錢 駿

(1.常州大學 機械與軌道交通學院，江蘇 常州 213164；2.常州星宇車燈股份有限公司，江蘇 常州 213022)

0 引言

目前，基于數據驅動的預測方法在各行業的數據預測領域中得到了廣泛的應用，其主要思想是從歷史的數據中得到預測模型，將模型看作一個黑匣子，無需過多地了解系統內部的機理，只需考慮輸入輸出，數據驅動方法主要有統計方法和機器學習方法等。SVR是基于支持向量機(SVM，support vector machine)的思想通過引入不敏感損失系數衍生出的一種機器學習回歸算法。近幾年，機器學習算法中的SVR被廣泛應用于預測領域，其能夠較好地處理小樣本數據、非線性特性及高維度等問題，且具有較強的泛化能力，不易過擬合[1]。

SVR在實際應用過程中，性能依賴于學習機的超參數設定，因此參數的選擇是支持SVR應用中的一個難題[2]。傳統的SVR參數優化方法主要有交叉驗證法[3]，網格搜索法[4]及梯度下降法[5]等。在國外的Olivier Chapelle等人[6]在2002年就提出運用梯度下降法來進行超參數的優化，此方法在計算方面相對較快，也得到了一定的推廣。但是這些傳統方法均存在一些弊端，如交叉驗證法計算量過大，不適合超參數優化；網格搜索法遍歷全體組合，非常耗時；相較于傳統參數選擇方法，群智能優化算法具有實現簡單，可擴充性、通用性、魯棒性強等特點，在非線性參數優化問題中表現出良好的性能[7]，群智能優化算法已經成為SVR參數優化的代表性方法。在國外的Abdulhamit Subasi[8]提出了用粒子群算法(PSO，particle swarm optimization)來優化支持向量機的參數并在醫學方面的應用中取得較好的效果。Yuan等人[9]以及Li等人[10]使用PSO算法對SVR超參數進行優化，創建的人群密度和水質參數預測模型均取得了較好的效果。國內的朱霄珣等人[11]利用遺傳算法(GA，genetic algorithm)對SVR超參數同步優化，建立SVR風速預測模型，使預測精確度大大提高。陳穎等人[12]提出一種基于灰狼優化算法的SVR預測模型，相較其他優化算法，迭代次數更少，擬合效果更好，預測誤差更小。在眾多的群智能優化算法中，GWO算法有著結構簡單、需要調節的參數少、容易實現等特點[13]，在參數優化領域展現出卓越的性能。然而，GWO算法也存在著如種群多樣性差，后期收斂速度慢，易陷入局部最優等問題。針對這些問題，很多學者對GWO算法進行了改進以提升性能。胡璇等人[14]采用了非線性的控制因子改進GWO算法，改善算法的后期收斂能力。方曉玉[15]等人使用自適應差分進化作為變異策略并引入萊維飛行改進更新位置公式改進GWO算法，取得了良好的效果，但以上兩種方法都沒有考慮到沒有考慮到種群初始化對于種群多樣性的影響。楊曉敏[16]通過使用自適應收斂因子以及改進的位置更新公式對GWO算法進行改進，應用于支持向量機的網絡流量預測，達到了較高的精度，但在改進過程中，沒有考慮到增強算法跳出局部最優解能力。本文針對以上問題，在種群初始化方式，算法收斂方式及跳出局部最優解的能力3個方面改進了GWO算法，再利用改進GWO算法優化SVR的超參數，建立IGWO-SVR模型，提升數據預測模型的性能。

1 支持向量回歸

對于回歸問題，給定訓練數據D={(x1，y1)，(x2，y2)， ，(xj，yj)}，?xi，yi∈R，期望通過學習得到一個回歸模型f(x)=wTx+b使得f(x)與y盡可能接近，其中wT為權重矢量，b為偏置，均是模型的參數。

(1)

(2)

(3)

其中：K(xi，xk)為核函數，常見的核函數主要有線性函數、多項式核函數、Sigmoid核函數和徑向基(radial basis function，RBF)核函數。因為RBF核函數本身具有非線性逼近能力強的特點，泛化能力比較優秀，所以一般選取RBF核函數作為SVR的核函數，最常用的RBF函數是高斯核函數，其表達式如下：

其中：g為核函數的參數。

式(1)是一個不等式約束的優化問題，結合其求解需滿足的KKT條件，支持向量回歸模型可以表示為：

(4)

由此可見，支持向量回歸模型的參數主要包括正則化參數C，不靈敏損失系數∈以及核函數K(xi，x)的參數g，其中，不敏感損失系數∈與支持向量的數目相關，懲罰參數C影響模型的復雜度和穩定性，核函數參數g反映樣本在特征空間分布情況，三者之間相互影響，共同決定 SVR 模型的復雜度和泛化性能[7]。因此選擇合適的C，∈，g能夠讓回歸模型的性能得到提升[17]。在實際應用中，C，∈，g3個參數之間存在著相互影響的關系，所以在選擇參數的過程中，單獨對每一個參數進行優化選擇既費時費力，又不夠準確，難以達到理想的結果，對3個參數形成的超參數(C，∈，g)綜合選取才是更加合理的選擇。

2 灰狼優化算法

SVR的超參數主要是依靠經驗自行設定，難以使模型獲得較佳的性能，雖然后續也發展了網格搜索法尋優，但沒有擺脫傳統算法的弊端，需要遍歷所有組合，計算量龐大、耗費時間長且精準度不高[18]，于是逐漸衍生出使用群智能優化算法全局優化超參數的方法。灰狼優化算法[19]是由Seyedali Mirjalili等人于2014年提出的一種智能群體優化算法，優點是收斂性強，參數較少且易于實現，適合用于參數優化領域。首先是在搜索空間中隨機產生灰狼族群，并按照每個個體的適應度高低劃分群體，適應度從第一到第三分別為α，β，δ，剩下的群體則為ω。灰狼群體捕獵的過程包括圍捕，狩獵和攻擊3個階段，最終獲取最優解，各個過程描述如下：

2.1 圍捕

捕獵過程中，灰狼群體會先包圍獵物，該行為的數學模型可以表示為：

(5)

(6)

2.2 狩獵

在群體包圍獵物之后，狩獵會在α狼，β狼，δ狼的領導下進行，每次迭代過程，保存α，β，δ的位置信息，群體則根據他們的位置信息來更新自身的位置。狩獵的數學模型表示為：

(7)

(8)

(9)

2.3 攻擊

3 改進灰狼優化算法

和大多數群智能算法類似，GWO算法也存在算法中后期收斂速度慢、易陷入局部最優[20]以及局部搜索能力較差等問題。本文通過引入Tent混沌映射序列來增強初始種群多樣性以提高算法尋優速度、改進非線性收斂因子以平衡算法全局和局部搜索能力、并結合模擬退火算法以增強算法跳出局部最優的能力，從而改進GWO算法，提升算法的性能。

3.1 Tent混沌映射序列

在群體優化算法領域，通常采用偽隨機數生成器對種群進行初始化，可能導致種群分布位置不均勻，從而降低種群的多樣性以及尋優速度[21]。相較于偽隨機數生成，混沌序列的隨機性與遍歷性更強，使用混沌方法對種群進行初始化通常能取得比偽隨機數更好的效果。用于群體智能算法領域的混沌序列主要有Logistic映射、Tent映射和Cubic映射等。其中Tent 混沌映射在遍歷性、均勻性、規律性和迭代速度方面具有更大優勢[22]。Tent映射又稱帳篷映射，其結構簡單、分布較均勻、遍歷性好，表達式如式(10)：

(10)

其中：k=0，1，2， ，n，表示種群中的個體；i=1，2，3， ，t，表示空間的維數，即需優化變量的個數。

隨機數生成器和Tent混沌映射初始化種群的分布直方圖對比如圖1所示。

圖1 隨機數改進為Tent混沌映射生成種群的分布直方圖對比

由圖1可知Tent混沌映射相較隨機數生成器生成的種群分布密度比較均勻，映射效果極佳，能達到較好的遍歷性。Tent映射用于初始化種群后，還需要將混沌變量轉化為設計變量，該逆映射的表達式如下：

(11)

Tent混沌映射初始化種群的主要步驟如下：

2)按照式(10)進行迭代產生下一個序列zk，k=k+1；

3)若達到最大迭代次數，即k=n時，結束迭代，產生混沌序列z；

4)將混沌序列z按照式(11)以及各參數的上下界轉化為設計變量序列，即初始種群x。

3.2 非線性收斂因子

GWO算法中，收斂因子α隨迭代次數增加線性遞減，無法對全局與局部搜索能力進行平衡[23]，不利于算法的求解。本文采用一種新型非線性收斂因子對GWO算法進行改進，該收斂因子函數表達式如式(12)所示：

(12)

其中：t為當前迭代次數，tmax為迭代次數。

改進后的非線性收斂因子與原線性收斂因子以及文獻[23]中使用的三角函數收斂因子的對比如圖2所示。三角函數收斂因子的表達式如式(13)所示：

(13)

其中：t為當前迭代次數，tmax為迭代次數，μ為調節系數，文獻中取μ=2.5。

圖2 迭代總次數50次時收斂因子對比

改進的非線性收斂因子在三者中前期遞減速度最慢，有利于增強算法的全局探索能力，能夠發現較多潛在的全局最優點；后期遞減速度變快，從而提高局部最優解的搜索能力，這樣有利于算法的收斂。因此，采用非線性收斂因子能有效地平衡算法的全局和局部搜索能力。

3.3 模擬退火算法

模擬退火算法[24]是由Metropolis等人在1953年提出的一種仿自然過程的算法，其思想來源于固體退火原理，其特點為在一定概率情況下保留劣質群體，增加種群多樣性，在一定程度上提高了算法跳出局部最優的能力[25]。模擬退火算法思想應用于GWO算法的原理是，對GWO算法每次迭代的解x添加隨機擾動，產生新的可行解x′，再計算適應度，并根據Metropolis準則決定是否接受新解，若其適應度優于原解，則直接接收新解；若其適應度相較原解差，則以一定概率接受新解，Metropolis準則接受新解概率的數學公式如式(14)所示：

(14)

其中：函數f(x)為適應度計算函數，f(x)越小表示解越優；T表示本次迭代的溫度，Tk+1=cTk，C為冷卻因子。

模擬退火思想應用于GWO算法的主要步驟如下：

3)利用替換后的種群xk產生下一代種群并重復步驟2)。

3.4 改進灰狼優化算法(IGWO)的實現過程

改進灰狼優化算法的具體實現步驟如下：

1)設置算法參數。包括灰狼種群個體數，最大迭代次數，優化參數的上下界，模擬退火的初始溫度以及冷卻因子；

2)利用Tent混沌映射結合優化參數的上下界初始化灰狼群位置；

3)計算各個灰狼個體的適應度并排序，選擇較好的個體組成初始群體，并將適應度最佳的3個個體定義為α，β，δ，剩下的群體則為ω，形成初始群體；

4)根據式(7)～(9)更新灰狼位置，其中用于更新位置的收斂因子使用式(12)的改進非線性收斂因子，計算適應度并排序，得到下一代狼群位置；

5)對這一代群體添加隨機擾動，產生新解，降低溫度；

6)計算新解的適應度，并以式(13)的概率替換原解；

7)若達到最大迭代次數，則輸出最優適應度解，若未達到，則返回步驟4)。

3.5 改進灰狼優化算法性能測試

3.5.1 算法參數及基準測試函數選擇

為驗證IGWO算法在參數優化方面的有效性，將本文改進的IGWO算法與GWO算法以及使用三角函數收斂因子的灰狼優化算法(以下簡稱IGWO-tf算法)進行對比，對不同的基準函數進行尋優，種群規模均設定為20，最大迭代次數為500次。

采用不同的算法對已有文獻中選擇的共4個基準函數進行尋優，基準函數f1和f2為單峰函數，f3和f4為多峰函數，各基準測試函數如表1所示。

表1 基準函數

3.5.2 測試結果分析

基于上述參數設置和基準函數選擇，對各個算法分別單獨運行20次，記錄最優值、平均值以及標準差。最優值和平均值反映了算法的尋優能力和收斂精度，標準差則反映了算法的穩定性。仿真實驗結果如表2，在每個函數上IGWO算法相較GWO和IGWO-tf算法尋優的效果均有提升，在基準函數f1上，IGWO尋優的平均值相較GWO以及IGWO-tf算法分別提升了11和5個數量級，在基準函數f2上，也分別提升了4和2個數量級，而在基準函數f3，f4兩個多峰函數上IGWO算法能在迭代結束前達到理論最優值。同時，IGWO算法在基準函數尋優中不僅最優值和平均值更加接近理論最優值，而且尋優的標準差也較低，表明IGWO算法的尋優能力和穩定性較強。

表2 各算法的基準函數尋優結果對比

圖3 f1迭代收斂曲線

圖4 f3迭代收斂曲線

f1和f3基準測試函數尋優迭代收斂曲線如圖3和圖4所示，橫坐標表示迭代的次數，縱坐標表示當前迭代次數下適應度的Log值。在單峰函數f1的迭代曲線上，IGWO算法的收斂速度在前期相較GWO算法和IGWO-tf算法較慢，有利于全局尋優，后期收斂速度加快，尋優精度得到提升；在多峰函數f3迭代曲線上，IGWO算法相較其他算法的尋優能力有明顯提高，能迅速達到理論最優點，而其他算法容易陷入局部最優，說明算法跳出局部最優的能力較強。

Friedman檢驗是一種利用秩的非參數檢驗方法，常用于檢驗多個整體分布是否存在顯著差異，為檢驗IGWO算法與GWO和IGWO-tf算法是否有著顯著性差異，對算法對基準函數尋優所得的平均值做Friedman統計檢驗，所得到的結果如表3所示，顯著性水平為0.018，且IGWO算法的秩均值最小，說明可以認為IGWO算法對比GWO和IGWO-tf算法有明顯優勢。

表3 IGWO算法和GWO算法的Friedman檢驗結果

4 IGWO-SVR模型的實現及仿真測試表現

4.1 IGWO-SVR模型

SVR模型需要優化的參數有正則化參數C，不靈敏損失參數∈以及核函數K(xi，x)的參數g，將訓練集上訓練的SVR模型在測試集上的R2作為IGWO算法的適應度函數來優化參數C，∈和g，R2的計算方式如式(15)所示：

(15)

IGWO-SVR模型的算法流程圖如圖5所示。

圖5 IGWO-SVR算法流程圖

4.2 鋰電池SOH仿真預測

本文的鋰電池數據集來源于NASA公開的鋰電池數據儲存庫，該電池數據集通過對鋰電池進行連續的充放電實驗獲得，充放電實驗由充電、放電和阻抗測試3個部分組成。充電過程首先對電池進行1.5 A恒定電流充電，并且充電過程中電池兩端電壓不斷升高，升高至2.5 V時，改為恒定電壓充電，此過程中電池兩端電流會開始下降，下降至20 mA時結束充電過程，在整個過程中，以一定的時間間隔記錄電池的電流、電壓和溫度等相關信息。放電過程則是以2 A的恒定電流放電至電壓達到設定數值。阻抗測量過程即是使用電化學阻抗譜按設定頻率掃描電池。本文將單次放電循環中的電池平均放電電壓以及平均放電溫度作為特征，將電池的健康狀態(state of health，SOH)作為預測值，SOH的定義如式(16)：

(16)

其中：C為此次循環的電池容量，CQ為電池的標稱容量。

選取數據集中的5號電池數據集進行SOH預測，通過將IGWO-SVR模型與遺傳算法優化SVR(GA-SVR)、粒子群算法優化SVR(PSO-SVR)以及灰狼優化算法優化SVR(GWO-SVR)進行對比，仿真檢驗IGWO-SVR模型的性能。選取模型在測試集上的R2、平均絕對百分比誤差MAPE及均方根誤差RMSE作為反映模型預測性能的指標，MAPE和RMSE的計算公式分別為式(17)和式(18)：

(17)

(18)

其中：fi表示第i個樣本的預測值，yi表示第i個樣本的真實值，j表示樣本個數。

4.3 仿真結果

各模型在鋰電池數據集SOH預測中的結果如表4所示，可得，相比其他模型，IGWO-SVR的R2最大，MAPE和RMSE最小，表示其在NASA鋰電池數據集上鋰電池SOH仿真預測中的性能優于其他幾種模型。

表4 各模型在鋰電池數據集SOH預測中的性能對比

5 IGWO-SVR預測車燈在不同溫度及電壓下電流實驗

5.1 車燈電流預測實驗

針對車燈在高溫下由內置的微控制單元以及負溫度系數熱敏電阻作用下降低電流散熱而導致工作中溫度與電壓對車燈電流的影響難以估計的問題，建立能反映各個溫度和電壓條件下的特定車燈電流預測模型，對IGWO-SVR模型的實際應用性進行評估。本次進行分析的數據來自于由某車燈企業對某款汽車遠光燈進行實驗提供，實驗中，將車燈放入高低溫試驗箱，用可變恒壓電源進行多級電壓供電，使用熱電偶測溫儀測量溫度、示波器測量電流。測試的溫度分布于25～105℃，電壓在9～16 V，共有227個樣本，模型訓練前，將227個樣本按照4：1的比例分為訓練集和測試集，并對特征進行歸一化預處理。而后，將訓練集樣本導入訓練模型進行訓練，并將訓練獲取的最優參數導入測試模型，對測試集樣本進行預測，以驗證模型的實際應用性，實驗環境如圖6所示。

圖6 車燈電流測試實驗

5.2 實驗結果及分析

進行對比試驗，對比IGWO-SVR模型與GA-SVR、PSO-SVR以及GWO-SVR模型的預測性能。在模型訓練后，將模型在測試集上的MAPE、RMSE及實驗測得的10組數據與預測值之間的平均相對誤差δ作為模型的評價標準。其中，平均相對誤差δ的計算公式如式(18)：

(18)

其中：fi表示第i個樣本的預測值，yi表示第i個樣本的真實值，j表示樣本個數。

對比實驗的結果如表5所示，可得，IGWO-SVR模型對比其他模型，MAPE、RMSE和δ均較低，表現出更好的預測效果，可以較為準確地預測車燈在不同溫度及電壓下的電流值。

表5 各模型在車燈電流預測中的性能對比

6 結束語

本文針對支持向量回歸精度不足的問題，通過引入Tent映射初始化種群，增加種群的多樣性從而提升尋優速度；使用非線性收斂因子改變算法前后期的收斂速度，平衡算法的全局和局部搜索能力；融合模擬退火算法的思想，增加算法跳出局部最優的概率，從3個方面改進了GWO算法，將其用于對SVR超參數進行優化，并提出IGWO-SVR預測模型。NASA鋰電池數據集上的仿真測試結果表明，IGWO-SVR模型的預測性能較優，IGWO算法對SVR的優化優于PSO、GA及GWO算法。使用IGWO-SVR模型對某車燈的電流值進行回歸預測實驗，獲得了較好的效果，表明IGWO-SVR模型在實際工程問題中具有良好的應用價值。