基于改進粒子群算法優化策略的核極限學習機方法研究

高 天 龔平順

（安徽理工大學電氣與信息工程學院，安徽 淮南 232000）

0 引言

隨著科技的進步，神經網絡已逐漸成為當前一大熱點，如人工神經網絡［1］、概率神經網絡［2］、決策樹［3］等。由于神經網絡模型架構存在缺陷，導致單一神經網絡存在著上限，而將多種神經網絡進行融合，成為一種新的解決方案。林培杰等［4］通過支持向量機來實現分類，并選取粒子群算法改進相關參數；王元章等［5］對L-M和BP神經網絡算法進行融合，并完善BP算法的參數；秦瓊等［6］、林濤等［7］、章勇高等［8］將極限學習機應用于新能源的功率預測中；任曉琳等［9］將蝙蝠算法與核極限學習機進行結合，從而優化KELM參數，增強模型的穩定性，提高診斷精度。本研究通過分析核極限學習機的基本原理，改進粒子群算法的學習策略來修正KELM參數，從而構建最佳模型。

1 核極限學習機

1.1 極限學習機

極限學習機（ELM）是一種可實現快速學習進化的獨特算法［10］。由于模型結構的特點，其學習速度極快。

網絡實際輸出值的計算公式見式（1）。

式中：ωi為ELM輸入節點和隱含層節點的權值；bi為ELM隱含層的偏置系數；βi為ELM隱含層和輸出層的輸出權值；gi為激活函數。

ELM模型的矩陣形式見式（2）。

式中：β為輸出權值矩陣；H為隱含層的輸出矩陣；T為期望輸出矩陣。

在確定H矩陣和T矩陣后，可求出輸出權值矩陣β，見式（3）。

式中：H+為矩陣H的廣義逆矩陣。

ELM網絡的隱含層節點數通常小于數據的樣本數，容易產生復共線性問題，導致求解出的權值矩陣β不一致，從而嚴重影響模型的穩定性［11］。

1.2 核極限學習機

Huang等［12］采用核函數的理論，通過核矩陣Ω來代替隨機矩陣HHT，從而改善極限學習機不穩定，并引出核極限學習機（KELM）。

核矩陣的計算公式見式（4）。

式中：h（x）為KELM隱含層輸出函數；K（xi，xj）為核函數。

KELM模型的輸出變為式（5）。

式中：I為對角矩陣；C為懲罰因子。

KELM通過引入核函數理論，得到β矩陣的確定值，從而提高極限學習機的可靠性。在KELM模型中，核參數σ和懲罰因子C是影響算法精度的關鍵因素，本研究采用改進粒子群算法進行優化處理。

2 改進粒子群算法

在粒子群算法（PSO）中，粒子位置和速度是算法的核心要素，速度為粒子下一步迭代時移動的方向和距離，位置為所求解問題的一個解。粒子速度和位置的更新公式見式（6）。

式中：i為種群的粒子；d為粒子的維度；k為算法的迭代次數；ω為慣性權重值；c1、c2為粒子學習因子；r1、r2為［0，1］內的隨機數。

通過分析PSO算法的原理和存在的問題，發現國內外學者對權值、學習因子和學習策略等進行改進。本研究選取標準的PSO算法和5種經典的改進PSO算法進行對比研究。

2.1 線性權值下降粒子群算法

在粒子速度更新原理不變的基礎上，采用線性權值下降粒子群算法（LDIW-PSO）來改進慣性權重參數，從而實現權值的線性下降，權值ω的計算公式見式（7）［13］。

式中：ωmax為最大慣性權值；ωmin為最小慣性權值；k為迭代次數；kmax為最大迭代次數。

LDIW-PSO可對權值實現實時調整，從而保證粒子在全局和局部中都有更加出色的搜索能力。

2.2 自適應權重調整粒子群算法

自適應權重調整粒子群算法（APSO）是用慣性權重值改進的粒子群算法。為滿足不同進化階段的搜索需求，APSO對權重值進行調整，見式（8）。

式中：Fit為種群中粒子的適應度值。

改進后的粒子群算法可通過粒子適應度值和最小適應度值來調整ω值，使粒子群算法能更快更合理地找出最優解。

2.3 骨干粒子群優化算法

骨干粒子群優化算法（BBPSO）修改了粒子的學習策略。粒子位置更新方程見式（9）。

式中：xij（t+1）為粒子在t+1時刻位于i位置的j維分量；uij（t）和σij（t）分別為粒子個體最優值與群體最優值的均值和標準差；N（uij，σij）為高斯分布；Pbesti為粒子i個體的最優值；Gbest為群體最優值。其中，Pbesti和Gbest的更新公式見式（10）。

式中：f（x）為種群的適應度函數。

BBPSO通過高斯采樣來處理均值和標準差，剔除不相關粒子，防止局部最優值對粒子更新產生不好的影響，從而提高粒子的尋優能力。

2.4 交叉亞種群混合粒子群算法

交叉亞種群混合粒子群算法（Breed-PSO）是一種交叉與亞種群相結合的混合粒子群優化算法。在每個維度中，子位置是通過交叉計算父代位置得到的，見式（11）。

式中：Pi為0到1之間的隨機數；parent（x）為父代粒子的位置量；child（x）為子代粒子的位置量。

歸一化父代粒子的速度矢量可得到子代粒子的速度矢量，見式（12）。

式中：parent（v）為父代粒子的速度量；child（v）為子代粒子的速度量。

交叉運算和子種群運算可增強種群粒子的尋優能力，避免陷入局部最優值，有利于實現最優值的求解。

2.5 綜合學習粒子群算法

綜合學習粒子群算法（CLPSO）是一種改進PSO的進化策略，這種新策略可防止過早收斂。粒子速度的更新公式見式（13）。

式中：c為粒子個體學習因子；pbest為粒子個體最佳值。CLPSO通過新的學習策略來防止粒子陷入局部值，提升算法搜索全局最優值的能力。

2.6 基于測試函數驗證算法

本研究選取2個基準測試函數進行比較驗證，測試函數分布圖見圖1。基于上述基準測試函數，為了便于比較不同算法的優異性，統一設置PSO算法和5種優化PSO算法的粒子種群數量為80、粒子維度為30，初步設定算法的慣性權重和學習因子的參數值，驗證6種粒子群算法在2種基準測試函數下的迭代尋優結果（見圖2）。

圖1 測試函數分布圖

圖2 函數尋優結果

由圖2可知，在函數求解過程中，CLPSO算法的結果較好，LDIW-PSO算法的收斂速度最快。為了實現隨著迭代次數的增加而實時調整權重值，本研究采用線性遞減慣性權重來優化CLPSO算法，見式（14）。

式中：ωmax和ωmin分別為最大和最小慣性權值；k為當前的迭代次數；kmax為種群中粒子能達到的迭代次數上限值。

通過對LDIW-PSO、CLPSO算法進行結合（以下簡稱“LCLPSO算法”），實現粒子群算法的完善與優化，在提高收斂速度的同時，可大幅增強粒子的尋優能力，選擇一個多峰函數Alpine來驗證LCLPSO算法的尋優能力（見圖3）。

圖3 LCLPSO與CLPSO對比圖

由圖3可知，在引入線性遞減慣性權重后，CLPSO算法在迭代次數超過4 000次時，適應度值逐漸趨于停滯狀態，難以繼續尋優；而LCLPSO算法的尋優過程近似于線性遞減，迭代次數達到4 000后，LCLPSO算法依然保持著較強的搜索能力，持續尋優，迭代次數達到10 000次時，得到最低的適應度值。

3 優化核極限學習機

由于KELM引入了核函數，對參數非常敏感，本研究通過L-CLPSO算法來優化KELM的核參數和懲罰因子，流程圖如圖4所示。

圖4 L-CLPSO優化KELM的流程圖

將KELM的故障檢測準確率設置為PSO算法中的適用度函數，通過不斷地迭代計算來求出全局最佳參數，得到最優的KELM模型，實現LCLPSO對KELM的優化處理，結果圖5所示。

圖5 LCLPSO優化KELM結果

4 結語

筆者通過研究KELM的基本原理，并分析6種不同類型的粒子群算法的優劣，采用CLPSO與LDIW-PSO算法相結合的方式，并用Aphere多峰函數來驗證算法的結果，證明LCLPSO算法具有可取之處，最后用于改進KELM參數，實現參數的優化。