基于布谷鳥優化算法的加權極限學習機模型

王琴

（海南醫學院，海南 海口 570102）

基于布谷鳥優化算法的加權極限學習機模型

王琴

（海南醫學院，海南 海口 570102）

鑒于極限學習機的待定參數對模型極大的影響力，利用布谷鳥優化算法對核參數和懲罰因子進行優化選擇，以進一步提高模型的預測精度，然后利用非線性權值函數對極限學習機的不同樣本數據進行加權，得到新的加權極限學習機模型，提高模型的魯棒性能。

極限學習機；核函數；加權矩陣；布谷鳥優化算法

極限學習機（ELM）［1］是訓練單向隱藏層神經網絡的一種算法。ELM通過隨機產生且不需要任何調整的隱藏層參數來實現非線性映射的逼近。ELM有很多優點，比如易于操作，快速的訓練速度，較好的泛化能力等。

近些年，核學習方法已經被廣泛研究并且在各個方面得到應用，如分類、函數逼近、異常檢測等。其最典型的特征就是Mercer核的運用，Mercer核通過從低維空間向高維空間實現特征變換，在再生核空間中將非線性問題線性化。在ELM中，隨機初始化隱藏層的處理可以看成是產生一個從輸入數據映射到特征空間的非線性映射。如果ELM核映射未知，ELM能定義核函數，隨之產生核極限學習機（KELM）［2］。在KELM中，隱藏層的個數即隱藏層特征空間的維數可以為無窮大，也不需要指定，這樣KELM就能獲得較好的泛化能力，且通過核技巧降低運算成本。

鑒于不同樣本點對ELM的輸出會有不同影響，為了更好地處理這些不平衡數據的預測，加權極限學習機［3］（WELM）通過對不同樣本進行加權，合理分配不同樣本的權值，大大提高ELM的學習能力。

權重函數的選擇對WELM的魯棒特性影響很大，ELM中的核參數γ和懲罰參數C的調整對降低泛化誤差，獲得精確的ELM模型也起著至關重要的作用。本文運用最新研究的布谷鳥優化算法（COA）［4］對ELM模型參數進行優化選擇，采用非線性權值對ELM進行加權，通過多次迭代最后輸出理想結果。

1 核極限學習機

ELM輸出為：

2 加權極限學習機

3 基于COA的參數調整

目前，有很多不同的演化算法已經廣泛地應用于ELM的參數優化，如遺傳算法、粒子群算法等。COA是基于布谷鳥特殊的孵育寄生行為而提出的一種新興仿生智能優化算法，COA具有全局搜尋能力強、聚集性更快、簡單易實現等優點，相比其他演化算法，更具潛力。

COA以初始化那些產卵于其他鳥類棲息地的布谷鳥種群開始，然后在宿主鳥巢內隨機產卵。布谷鳥的卵與宿主鳥的卵相似程度越高，則被宿主鳥孵化并長大成為成熟的布谷鳥的機會越大。宿主鳥會發現其中部分卵（約10%），然后將其移出巢穴。某個區域被孵化長出來的鳥卵數量就代表了這個區域的適度值。為了提高寄生卵的存活率，布谷鳥會遷移到更合適的環境去產卵。所以最終卵存活的最佳棲息地即為COA的優化目標。

布谷鳥隨機產下的卵置于一定數量的宿主鳥巢中，宿主鳥巢在一個大的范圍內，這個范圍叫做最大產卵半徑（ELR），其取決于鳥卵總數量，當前卵數以及變量上限與下限，所以ELR定義如下：

式（8）中，λ表示調節系數，Numcur和Numtotal分別表示鳥卵總數量和當前卵數，Varhi和Varlow分別表示優化問題中每個變量的上限和下限。

基于上述理論，COA的優化過程可描述如下：①初始化布谷鳥種群；②確定每只布谷鳥的產卵數，計算每個布谷鳥的ELR；③刪除被宿主鳥察覺的寄生鳥卵，使其他未被識別的卵被孵化并長大為成熟的布谷鳥；④計算環境適應度，限定布谷鳥數量的最大值，剔除適應度小的布谷鳥；⑤聚類布谷鳥種群，尋找遷徙的目標棲息地；⑥新的布谷鳥種群遷徙至目標棲息地；⑦重復②至⑥直至滿足迭代終止條件。

4 基于COA的WELM

如上所述，基于COA的WELM算法步驟如下：①對給定數據，利用COA尋找到ELM的最佳參數組合γ和C，確定ELM模型；②通過ELM模型計算ξi，然后確定；③通過式（6）確定加權矩陣W，得到WELM模型；④根據WELM再次計算ξi和，重新得到W；⑤若vk=vk+1，則算法結束，建立WELM，否則再回到步驟3。

5 結語

本文將COA對ELM的參數進行綜合尋優，獲得最佳的WELM參數組合，基于COA的參數優化選擇不僅可以縮短WELM的訓練時間，也降低了初值選擇對模型輸出的影響，并對ELM采用非線性的權值對樣本進行處理，降低奇異數據對模型輸出的影響，提高ELM模型的魯棒性能。

［1］Huang GB，Zhu QY，Siew CK.Extreme learning machine: Theory and applications［J］.Neurocomputing，2006（1）：489-501.

［2］Huang GB，Zhou H，Ding X，et al.Extreme learning machine for regression and multiclass classification［J］.IEEE Transactions on Systems,Man and Cybernetics part B,Cybernetics，2012（2）：513-529.

［3］Zong W，Huang GB，Chen Y.Weighted Extreme learningmachine for imbalance leaming［J］.Neurocomputing，2013（3）：229-242.

［4］Rajabioun R.Cuckoo optimization algorithm［J］.Applied Soft Computing，2011（8）：5508-5518.

［5］陶莉莉，鐘偉民，羅娜，等.基于粗差判別的參數優化自適應加權最小二乘支持向量機在PX氧化過程參數估計中的應用［J］.化工學報，2012（12）：3943-3950.

Weighted Extreme Learning Machine Optimized by Cuckoo Optimization Algorithm

Wang Qin
（Hainan Medical University，Haikou Hainan 570102）

In view of the great influence of undetermined parameters of extreme learning machine on the model,cuckoo optimization algorithm was utilized to optimize the kernel parameter and penalty factor in order to improve the prediction accuracy,novel weighted extreme learning model was obtained through weighing different sample data of extreme learning machine by nolinear weighting function afterwards,consequently,the robustness of the model was enhanced.

extreme learning machine；kernel function；weighted matrix；cuckoo optimization algorithm

TP393.08

A

1003-5168（2017）05-0036-02

2017-04-15

王琴（1984-），女，講師，研究方向：機器學習及信號處理。