摘 要:針對基本海洋捕食者算法在求解復雜優(yōu)化問題時存在收斂速度慢、解精度低和易陷入局部最優(yōu)的缺點,提出一種改進的海洋捕食者算法。一方面,該算法在迭代前期引入當前全局最優(yōu)個體引導群體中其他個體進行搜索的策略,從而加快算法的收斂速度;另一方面,在迭代后期引入平面鏡反射成像學習策略,從而幫助群體逃離局部最優(yōu)和提高求解精度。將改進算法應用于12個基準測試函數(shù)的尋優(yōu),結果表明,該算法比在求解精度和收斂速度方面均獲得了顯著提高。再將改進算法應用于求解21個特征選擇問題,結果表明,該算法能有效去除冗余特征,提高數(shù)據(jù)分類的準確度。通過以上對比實驗,顯示出該改進算法的性能具有較強競爭力。
關鍵詞:海洋捕食者算法;平面鏡反射成像學習;函數(shù)優(yōu)化;特征選擇
中圖分類號:TP301.6 文獻標志碼:A 文章編號:1001-3695(2023)02-013-0394-05
doi: 10.19734/j.issn.1001-3695.2022.07.0342
Planar-mirror reflection imaging learning based marine predators algorithm and feature selection
Xu Minga, Long Wena,b, Yang Yanga
(a. School of Mathematics amp; Statistics, b. Key Laboratory of Economics System Simulation, Guizhou University of Finance amp; Economics, Guiyang 550025, China)
Abstract:The basic marine predators algorithm (MPA) has some drawbacks such as slow convergence speed, low precision, and easy to fall into local optima when solving complex optimization problems. In order to overcome these shortcomings, this paper proposed a planar-mirror reflection imaging learning-based MPA (PRIL-MPA). In the early stage of the iteration, the PRIL-MPA introduced the strategy that the current global optimal individual guides other individuals in the group to search, so as to accelerate the convergence speed of the algorithm. In the later stage of the iteration, the PRIL-MPA introduced the planar mirror reflection imaging strategy to escape from the local optimization and improve the accuracy of the solution. On the one hand, a comparison of PRIL-MPA with four other algorithms on 12 benchmark test functions shows that the proposed algorithm achieves significant improvement in terms of the solution precision and convergence speed. On the other hand, this paper applied PRIL-MPA to solve 21 feature selection problems, which shows that the proposed algorithm can effectively remove redundant features and improve the accuracy of data classification. Compared with other algorithms, the performance of the proposed algorithm is more competitive.
Key words:marine predators algorithm; planar-mirror reflection imaging learning; function optimization; feature selection
0 引言
以最小化或最大化給定函數(shù)為目標,找到最佳解決方案稱為優(yōu)化。隨著技術的進步,優(yōu)化問題出現(xiàn)在科學研究、工程、生物信息學、運籌學、地球物理學等各個領域。 群體智能算法是一類求解優(yōu)化問題的有效方法。與確定性優(yōu)化方法相比,群體智能算法具有原理簡單、容易編程實現(xiàn)、適用性強、潛并行性等特點。在過去的幾十年中,群體智能算法在各種不同類型優(yōu)化問題中得到廣泛的應用。
海洋捕食者算法(marine predators algorithm,MPA)是由澳大利亞學者Faramarzi等人[1]于2020年提出的一種新型群體智能優(yōu)化算法,它源于對海洋捕食者覓食策略的模擬。MPA具有實現(xiàn)簡單、需調整的參數(shù)少、強大的搜索能力等特點,在圖像分割[2]、燃料電池參數(shù)辨識[3]、0-1背包問題[4]、光伏模型參數(shù)估計[5]、分類[6]、組合熱電系統(tǒng)性能優(yōu)化[7]、特征選擇[8]、電網優(yōu)化[9]、運行參數(shù)優(yōu)化[10]、多目標優(yōu)化[11]、傳感器網絡優(yōu)化[12]等領域中得到成功的應用。然而,MPA在求解復雜優(yōu)化問題時存在解精度低、收斂速度慢和容易陷入局部最優(yōu)等缺點。因此,研究者們提出了一系列改進方案以提高基本MPA的性能。Elaziz等人[13]利用量子理論中的薛定諤波函數(shù)確定每個粒子的位置,從而加強MPA的探索和開發(fā)能力;Oszust[14]引入一種局部逃離算子以平衡算法的全局搜索和局部搜索能力,提出一種改進版本的MPA;Yousri等人[8]將分數(shù)階微積分綜合學習策略和記憶機制嵌入基本MPA中,實現(xiàn)個體間的信息共享,幫助群體逃離局部最優(yōu);張磊等人[15]提出一種多子群改進的MPA,根據(jù)個體適應度值將種群分為三個子群體,分別執(zhí)行不同的搜索策略。盡管上述改進算法試圖通過使用一些新的算子或機制來提高 MPA 的搜索性能,但它們在解決高度復雜的多模態(tài)優(yōu)化問題時仍然存在解精度低和容易陷入局部最優(yōu)的問題。
為了改善MPA在搜索中前期階段收斂速度慢和后期階段容易出現(xiàn)早熟收斂的缺陷,本文提出一種基于平面鏡反射學習策略的改進MPA(PRIL-MPA)。該算法分別在高速比和等速比階段將群體當前最優(yōu)個體嵌入到位置更新方程中以指導群體搜索進程,從而加快算法的收斂;在低速比階段引入平面鏡反射成像學習策略以降低算法陷入局部最優(yōu)的概率。對12個基準函數(shù)和21個特征選擇問題進行實驗,結果表明,PRIL-MPA具有更高的尋優(yōu)精度和更強的魯棒性。
1 海洋捕食者算法
MPA模擬了海洋捕食者的覓食行為,通過搜索、跟蹤和攻擊獵物執(zhí)行優(yōu)化過程。與大多數(shù)基于種群迭代的群體智能優(yōu)化算法一樣,MPA通過式(1)在搜索空間中隨機產生一組解,構成初始種群P0:
其中:LB和UB分別是搜索空間的下界和上界;rand是[0,1]的隨機數(shù)。
MPA優(yōu)化過程主要分為三個階段,即高速比階段(tlt;T/3)、等速比階段(T/3lt;tlt;2T/3)和低速比階段(tgt;2T/3)。對于每個階段,MPA模仿自然界中捕食者和獵物的運動來定義搜索規(guī)則以完成優(yōu)化過程。算法詳細描述過程如下:
在高速比階段,獵物的移動速度要快于捕食者,這種情況通常發(fā)生在算法迭代初期。獵物以布朗運動形式搜索整個解空間,捕食者保持不動,此規(guī)則的數(shù)學模型為
其中:RB表示基于布朗運動的隨機向量;為逐項乘法運算符;i=1,2,…,N,N為種群規(guī)模;Ei代表捕食者;Pi代表獵物;p=0.5是一個常數(shù);R是[0,1]的隨機向量;t為當前迭代次數(shù)。
在等速比階段,捕食者和獵物以相同的速度移動,這種情況發(fā)生在算法迭代中期,探索和開發(fā)能力同等重要。因此,一半種群以布朗運動規(guī)則移動負責全局探索,另一半種群以萊
其中:RL為基于Lévy飛行的隨機向量;CF是用來控制捕食者步長的參數(shù);T為最大迭代次數(shù)。
在低速比階段,捕食者的轉移速度要遠快于獵物,這種情況發(fā)生在算法迭代后期。為了避免被捕食,獵物以Lévy飛行進行運動,其數(shù)學模型為
另外,魚類聚集裝置(fish aggregating devices,F(xiàn)AD)效應也會影響海洋捕食者的行為,它可視為MPA的局部最優(yōu),其數(shù)學模型為
2 改進海洋捕食者算法
基本MPA在求解復雜優(yōu)化問題時顯示出精度低、收斂速度慢和后期容易陷入局部最優(yōu)等缺陷,本文使用兩種策略對其進行改進:在迭代前期利用全局最優(yōu)個體引導群體中其他個體進行搜索,以加快算法的收斂速度;在迭代后期引入平面鏡反射成像學習策略以幫助群體逃離局部最優(yōu)。
2.1 全局最優(yōu)指導個體位置更新規(guī)則
對于群體智能優(yōu)化算法,有必要在搜索過程中平衡它的多樣性和收斂速度。不難發(fā)現(xiàn),基本MPA在搜索前期階段個體的分布比較分散,種群具有較好的多樣性,但收斂較慢。因此,如何適當加速算法收斂是此階段的主要改進目標。一般來說,全局最優(yōu)個體信息在搜索中對加速群體智能優(yōu)化算法的收斂非常有幫助[16]。然而,全局最優(yōu)個體信息在基本MPA中并沒有得到充分利用。因此,本文將當前全局最優(yōu)個體位置信息嵌入到MPA中以加快算法收斂速度,對高速比和等速比階段的位置更新式(3)和(5)分別進行改進,其數(shù)學表達式為
其中:Pg為當前群體中全局最優(yōu)個體。
2.2 平面鏡反射成像學習策略
特征選擇本質上是一個組合優(yōu)化問題。當問題規(guī)模較大時,通過窮舉法來搜索所有可能的特征組合比較困難,通過啟發(fā)式群體智能優(yōu)化算法求解大規(guī)模特征選擇是一條有效途徑。但是,群體智能優(yōu)化算法求解特征選擇問題也存在一定的缺點。一方面,特征選擇往往比較復雜,可能存在許多局部最優(yōu)解;另一方面,群體智能優(yōu)化算法在尋優(yōu)過程中容易陷入局部最優(yōu),從而很難找出更好的解。
在MPA搜索后期,所有個體均向當前群體中最優(yōu)個體所在區(qū)域靠攏,導致群體多樣性受損。如果當前最優(yōu)個體不是在全局最優(yōu)解附近,則算法很容易陷入局部最優(yōu),這也是群體智能優(yōu)化算法的固有缺點。為了克服這個缺點,研究者在群體智能優(yōu)化算法中引入許多策略,如小孔成像學習策略[16]、變異算子[17]、反向學習[18]、透鏡成像學習[19]和平面鏡反射成像學習策略[20]等。
平面鏡反射成像是一種常見的物理現(xiàn)象,它描述了光線從某點斜射于平面鏡,由于光的反射而形成與實物相同的虛像。圖1給出了光線平面鏡反射成像過程。
在圖1中,θ1和θ2分別稱為入射角和反射角。根據(jù)光線的反射成像定律,入射角等于反射角,即θ1=θ2。
受反向學習策略[18]啟發(fā),基于光的平面鏡反射成像規(guī)律,本文引入一種平面鏡反射成像學習策略[20],其實現(xiàn)原理如圖2所示。
式(17)就是作用在Pg上的一般反向學習公式[18],換句話說,反向學習策略是平面鏡反射成像學習策略的一種特殊情形。
一般地,式(16)可推廣到D維搜索空間:
基于以上描述,本文提出的PRIL-MPA流程如圖3所示。
3 函數(shù)優(yōu)化問題測試及比較
為了驗證PRIL-MPA的有效性,本文選取12個常用的基準測試函數(shù)進行數(shù)值實驗,測試函數(shù)及其相關屬性如表1所示。
利用PRIL-MPA對表1中的12個基準測試函數(shù)進行數(shù)值實驗,并與均衡優(yōu)化(equilibrium optimizer,EO)算法[21]和海鷗優(yōu)化算法(seagull optimization algorithm,SOA)[22]、基本MPA、改進MPA (IMPA)[6]進行比較。為了公平比較,五種算法的種群規(guī)模設為30,最大迭代次數(shù)設為500。其他參數(shù)設置詳見各自文獻。每種算法均對每個基準測試函數(shù)獨立運行30次。表2列出了五種算法對12個基準測試函數(shù)(D=30)的實驗結果(平均值和標準差)比較。所有算法均由MATLAB R2014a軟件實現(xiàn),實驗硬件條件為Microsoft Windows 8 64位操作系統(tǒng),處理器為Intel CoreTM i5-5200U CPU @ 2.20 GHz,內存為4 GB RAM。
從表2中的結果可知,除了f5和f8,PRIL-MPA在其他10個基準測試函數(shù)上均獲得了理論最優(yōu)值(0)。與SOA相比,PRIL-MPA在11個基準測試函數(shù)上顯示出優(yōu)越的性能,對于函數(shù)f7,兩種算法的實驗結果相同;PRIL-MPA、EO、MPA和IMPA在兩個基準測試函數(shù)(f7和f9)上得到了相似的尋優(yōu)結果,然而,PRIL-MPA在其他10個函數(shù)上獲得了比EO、MPA和IMPA更優(yōu)的仿真結果。另外,圖4給出了五種算法對6個代表性基準測試函數(shù)(即f1,f4,f5,f8,f10和f12)的迭代收斂曲線。
從圖4可以清晰地看出,與其他四種算法相比,PRIL-MPA在6個函數(shù)上的收斂速度更快。
為了進一步驗證PRIL-MPA的綜合性能,基于五種算法30次運行結果的最優(yōu)值,進行顯著水平臨界值5%的Wilcoxon符號秩檢驗和基于表2中各種算法比較結果的平均值進行Friedman排名檢驗,結果如表3和4所示。表3中符號+、-和=分別表示PRIL-MPA的性能要優(yōu)于、劣于和相似于其他參與比較的算法。
由表3中Wilcoxon符號秩檢驗的p值可以看出,PRIL-MPA與SOA在12個基準測試函數(shù)上的p值均小于5%,這說明PRIL-MPA的性能明顯優(yōu)于SOA;除了函數(shù)f7和f9,PRIL-MPA與EO、MPA和IMPA在其他10個函數(shù)上的p值低于5%,這充分顯示PRIL-MPA的綜合性能在10個測試函數(shù)上明顯要優(yōu)于其他三種算法,而四種算法在f7和f9上獲得了相似的性能。
根據(jù)表4中五種算法對12個基準測試函數(shù)的Friedman排名檢驗結果可知,PRIL-MPA排名第一,隨后依次是EO、IMPA、MPA和SOA。
4 基于PRIL-MPA的特征選擇
特征選擇是利用機器學習模型處理高維數(shù)據(jù)的一個重要環(huán)節(jié),它是指從原數(shù)據(jù)集的M個特征中選擇出N個特征以降低數(shù)據(jù)集的維數(shù),從而提高機器學習模型的分類效率。特征選擇通過數(shù)學建模后可轉換為求解一個多目標函數(shù)優(yōu)化問題,其目標(適應度)函數(shù)可描述為
fitness=(1-ρ)×E+ρ×[|l|/|L|](19)
其中:E為分類器的分類錯誤率;ρ是權重系數(shù);|l|表示算法所選擇的特征數(shù);|L|為原始數(shù)據(jù)集的特征數(shù)。
為了驗證PRIL-MPA求解特征選擇問題的有效性,本文從UCI數(shù)據(jù)庫中選取21個數(shù)據(jù)集進行實驗,它們的詳細信息及實驗結果如表5~7所示。
從表6可以看出,PRIL-MPA在6個UCI數(shù)據(jù)集(即CongressEW、Exactly、M-of-n、PenglungEW、WineEW和Zoo)上的平均分類精度達到100%。與EO算法相比,PRIL-MPA分別在14和3個(即M-of-n、PenglungEW和WineEW)數(shù)據(jù)集上獲得了較好和相似的分類精度。然而,對于4個數(shù)據(jù)集如Clean1、HeartEW、Semeion和SpectEW,EO得到了較優(yōu)的結果。PRIL-MPA在18個數(shù)據(jù)集上得到了比SOA更好的分類精度。SOA在Semeion和Vote上顯示出較好的分類精度。對于Exactly,兩種算法獲得了相似的精度。除了數(shù)據(jù)集M-of-n,PRIL-MPA在其他20個數(shù)據(jù)集上表現(xiàn)出比MPA更優(yōu)的性能。與IMPA相比,PRIL-MPA分別在15個和5個數(shù)據(jù)集(即Exactly、IonosphereEW、M-of-n、PenglungEW和WineEW)上獲得了較好的和相似的平均分類精度。對于數(shù)據(jù)集SpectEW,IMPA取得了較好的分類結果。關于分類精度的Friedman平均排名檢驗結果,PRIL-MPA在平均分類精度上排名第一,依次是IMPA、EO、SOA和MPA。從表7中結果可知,在所選特征數(shù)上,PRIL-MPA的總體性能是最好的。EO、SOA、MPA、IMPA和PRIL-MPA的Friedman平均排名結果分別為2.52、4.29、3.57、2.95和1.38。
5 結束語
為了克服基本MPA在迭代中前期收斂慢的缺陷,引入全局最優(yōu)個體信息指導當前群體中其他個體進行搜索;受反向學習策略概念啟發(fā),設計了一種基于平面鏡反射成像規(guī)律的學習策略以避免算法陷入局部最優(yōu)。組合上述兩個策略,提出了一種改進的MPA。首先選取12個復雜基準函數(shù)優(yōu)化問題對改進MPA的性能進行測試,并與EO、SOA、MPA和IMPA進行比較,結果顯示,該算法在求解精度和收斂速度指標上均獲得了較大的提升。然后,利用改進MPA對21個UCI數(shù)據(jù)集進行特征選擇。結果表明,與其他四種算法相比,本文算法在分類精度和所選特征數(shù)方面具有較強的競爭力。下一步的研究方向是將改進算法應用于約束優(yōu)化、多目標優(yōu)化、動態(tài)優(yōu)化以及工程應用領域中。
參考文獻:
[1]Faramarzi A,Heidarinejad M,Mirjalili S,et al. Marine predators algorithm: a nature-inspired metaheuristic [J]. Expert Systems with Applications,2020,152: 113377.
[2]Xing Zhikai,He Yigang. Many-objective multilevel thresholding image segmentation for infrared images of power equipment with boost marine predators algorithm [J]. Applied Soft Computing,2021,113: 107905.
[3]Yousri D,Hasanien H M,F(xiàn)athy A. Parameters identification of solid oxide fuel cell for static and dynamic simulation using comprehensive learning dynamic multi-swarm marine predators algorithm [J]. Energy Conversion and Management,2021,228: 113692.
[4]Abdel B M,Mohamed R,Chakrabortty R K,et al. New binary marine predators optimization algorithms for 0-1 knapsack problems [J]. Computers amp; Industrial Engineering,2020,151(9): 106949.
[5]Ridha H M. Parameters extraction of single and double diodes photovoltaic models using marine predators algorithm and Lambert W function [J]. Solar Energy,2020,209: 674-693.
[6]Houssein E H,Hassaballah M,Ibrahim I E,et al. An automatic arrhythmia classification model based on improved marine predators algorithm and convolutions neural networks [J]. Expert Systems with Applications,2022,187: 115936.
[7]Sun Xianke,Wang Gaoliang,Xu Liuyang,et al. Optimal performance of a combined heat-power system with a proton exchange membrane fuel cell using a developed marine predators algorithm [J]. Journal of Cleaner Production,2021,284(10): 124776.
[8]Yousri D,Elaziz M A,Oliva D,et al. Fractional-order comprehensive learning marine predators algorithm for global optimization and feature selection [J]. Knowledge-Based Systems,2022,235: 107603.
[9]Eid A,Kamel S,Abualigah L. Marine predators algorithm for optimal allocation of active and reactive power resources in distribution networks [J]. Neural Computing and Applications,2021,33(3): 14327-14355.
[10]Rezk H,Inayat A,Abdelkareem M A,et al. Optimal operating parame-ter determination based on fuzzy logic modeling and marine predators algorithm approaches to improve the methane production via biomass gasification [J]. Energy,2022,239(12): 122072.
[11]Zhong Keyu,Zhou Guo,Deng Wu,et al. MOMPA: multi-objective marine predator algorithm [J]. Computer Methods in Applied Mechanics and Engineering,2021,385(1): 114029.
[12]陳龍,金可仲,蔡雪冰,等. 基于改進MPA的分層無線傳感器網絡優(yōu)化部署 [J]. 傳感技術學報,2021,34(1): 109-117. (Chen Long,Jin Kezhong,Cai Xuebing,et al. Optimized deployment of hierar-chical wireless sensor networks based on improved MPA[J]. Chinese Journal of Sensors and Actuators,2021,34(1): 109-117.)
[13]Elaziz M A,Mohammadi D,Oliva D,et al. Quantum marine predators algorithm for addressing multilevel image segmentation [J]. Applied Soft Computing,2021,110: 107598.
[14]Oszust M. Enhanced marine predators algorithm with local escaping operator for global optimization [J]. Knowledge-Based Systems,2021,232: 107467.
[15]張磊,劉升,高文欣,等. 多子群改進的海洋捕食者算法 [J]. 微電子學與計算機,2022,39(2): 51-59. (Zhang Lei,Liu Sheng,Gao Wenxin,et al. Improved marine predators algorithm with multi-sub-population[J]. Micro-Electronics amp; Computer,2022,39(2): 51-59.)
[16]Long Wen,Jiao Jianjun,Liang Ximing,et al. Pinhole-imaging-based learning butterfly optimization algorithm for global optimization and feature selection[J]. Applied Soft Computing,2021,103: 107146.
[17]Zuo Mingcheng,Dai Guangming,Peng Lei. A new mutation operator for differential evolution algorithm [J]. Soft Computing,2021,25(21): 13595-13615.
[18]Rahnamayan S,Tizhoosh H R,Salama M M A. Opposition-based differential evolution [J]. IEEE Trans on Evolutionary Computation,2008,12(1): 64-79.
[19]龍文,伍鐵斌,唐明珠,等. 基于透鏡成像學習策略的灰狼優(yōu)化算法 [J]. 自動化學報,2020,46(10): 2148-2164. (Long Wen,Wu Tiebin,Tang Mingzhu,et al. Grey wolf optimizer algorithm based on lens imaging learning strategy [J]. Acta Automatica Sinica,2020,46(10): 2148-2164.)
[20]Zhang Yiying. Backtracking search algorithm with specular reflection learning for global optimization [J]. Knowledge-Based Systems,2021,212: 106546.
[21]Faramarzi A,Heidarinejad M,Stephens B et al. Equilibrium optimizer: a novel optimization algorithm [J]. Knowledge-Based Systems,2020,191: 105190.
[22]Dhiman G,Kumar V. Seagull optimization algorithm: theory and its applications for large-scale industrial engineering problems [J]. Knowledge-Based Systems,2019,165: 169-196.
收稿日期:2022-07-05;修回日期:2022-08-23 基金項目:國家自然科學基金資助項目(61463009);貴州省自然科學基金資助項目(黔科合基礎[2020]1Y012);貴州省教育廳創(chuàng)新群體重大研究項目(黔教合KY字[2021]015)
作者簡介:徐明(1976-),男,湖北荊州人,教授,碩導,博士,主要研究方向為智能計算、機器學習、智能優(yōu)化等;龍文(1977-),男(通信作者),湖南隆回人,教授,碩導,博士,主要研究方向為智能優(yōu)化算法、機器學習、特征選擇(lw227@mail.gufe.edu.cn);羊洋(1997-),男,湖南永州人,助教,碩士,主要研究方向為機器學習、統(tǒng)計優(yōu)化及應用.