多學習教與學優化算法

李志南　南新元　李　娜　史德生

1(新疆大學電氣工程學院　新疆 烏魯木齊 830047)

2(國網山東利津縣供電公司　山東 東營 257400)

?

多學習教與學優化算法

李志南1南新元1李娜1史德生2

1(新疆大學電氣工程學院新疆 烏魯木齊 830047)

2(國網山東利津縣供電公司山東 東營 257400)

摘要針對教與學優化算法(TLBO)局部開發能力差，易陷入局部最優的缺點，提出一種基于反向學習的多學習教與學優化算法(MTLBO)。通過反向學習技術拓展搜索空間，增加解的多樣性，進一步增強算法的全局搜索能力。引入多學習機制，使其更有效地進行局部搜索，加快收斂速度。同時提出一種小概率變異策略，增加跳出局部最優的可能性。在基準測試函數上進行驗證實驗，結果表明，與TLBO算法、ITLBO算法以及其他優化算法相比，該算法在低維和高維函數上都取得了較好的優化效果。

關鍵詞教與學優化算法反向學習技術多學習機制變異策略

TEACHING-LEARNING-BASED OPTIMISATION ALGORITHM WITH MULTI-LEARNING STRATEGY

Li Zhinan1Nan Xinyuan1Li Na1Shi Desheng2

1(School of Electrical Engineering,Xinjiang University,Urumqi 830047,Xinjiang,China)2(Lijinxian Power Supply Company,State Grid,Dongying 257400,Shandong,China)

AbstractWe proposed a teaching-learning-based optimisation algorithm (TLBO) with multi-learning mechanism (MTLBO), which is based on the opposition-based learning, aimed at the drawbacks of basic TLBO in poor local development ability and solutions being prone to falling into local optima. It broadens the search space through opposition-based learning technology to increase the diversity of solutions and further improve the global search ability of the algorithm. The introduction of multi-learning mechanism makes the local search more effective and speeds up the convergence rate. Meanwhile we presented a small probability mutation strategy to increase the likelihood of solutions jumping out of local optima. Verification experiments were carried out on benchmark test functions, results indicated that compared with basic TLBO, ITLBO and other optimised algorithms, the proposed MTLBO algorithm achieved better optimisation effect on both low and high dimensional functions.

KeywordsTeaching-learning-based optimisation algorithmOpposition-based learning technologyMulti-learning mechanismMutation strategy

0引言

教與學優化算法TLBO是一種新的元啟發式優化算法，由印度學者Rao R V等人[1]在2011年提出，它主要模擬教師的教學過程和學生之間的相互學習和交流過程。TLBO算法包括兩個重要階段，第一是教學階段，教師將自己的知識傳授給學生，提高班級的整體水平；第二是學習階段，學生通過課下的交流來提高自己的學習成績。TLBO算法結構簡單，易于理解，參數少，有極強的收斂能力和較好的全局搜索能力，已成功應用于很多工程問題，如非線性連續大規模優化[2]，平面鋼框架優化設計[3]，電力經濟調度[4]和熱交換器優化[5,6]等問題。

TLBO算法全局搜索能力強，收斂速度快，但局部收索能力差，易陷入局部最優。學者們針對該缺陷先后提出了一系列改進算法，如Rao R V等人提出了一種基于多個老師的教與學優化算法[7](ITLBO)和帶有精英策略的教與學優化算法[8](MO-ITLBO)，前者應用于無約束優化問題，后者應用于多目標優化問題。這些改進算法雖然在一定程度上提高了TLBO算法的優化性能，但還是存在易陷入局部最優的問題。

針對TLBO算法局部搜索能力較弱的缺陷，本文提出了一種多學習教與學優化(MTLBO)算法。采用多種學習方式來增強算法的局部搜索能力；利用反向學習技術[9]擴展解空間，增加種群的多樣性，進一步增強算法的全局探索能力；同時引入小概率的擾動策略，提高跳出局部最優的可能性。最后，通過對比實驗驗證了該算法的有效性。

1基本TLBO算法

基本TLBO算法[1]是受老師的教學過程和學生的互相學習過程的啟發而提出來的，包括教學和學習兩個階段。在教學階段，學生通過老師與學生的平均水平值之間的差異來提高自己的成績；學習階段學生根據自身情況，與優秀學生進行交流學習，提高自己的成績。

1.1教學階段

教學階段是模擬老師的教學過程，選擇種群中的最優個體作為老師，老師盡最大努力使得學生的平均水平向自己靠近，提高班級的整體水平。教學過程的數學表達式如式(1)所示：

Xnew=Xold+rand·(Xteacher-TF·Mean)

(1)

1.2學習階段

在相互學習的過程中，從種群中隨機選擇兩個不同的個體Xr1和Xr2，比較兩個個體的優劣，然后選擇較優個體進行學習。假設所要解決的問題為最小值問題，學習過程的表達式如(2)所示：

(2)

2多學習TLBO算法

由于基本TLBO算法在解決低維簡單問題時，有較好的全局搜索能力，但局部搜索能力差；在解決高維復雜問題時，全局搜索能力弱，易陷入局部最優。為了克服基本TLBO 算法的上述不足，本文提出了一種多學習策略的教與學優化(MTLBO)算法。首先提出一種新的多學習策略，增強其局部開發能力；繼而采用反向學習技術，拓寬搜索空間，增加種群多樣性，提高其全局勘探能力；同時為了避免陷入局部最優，引入小概率的變異策略，更好地均衡算法的勘探和開發能力，增加其跳出局部最優的可能性。

2.1反向學習技術

針對TLBO算法在解決高維復雜問題時，全局搜索能力較弱，無法找到較優解，易陷入局部最優的缺點，引入反向學習技術[10,11]。反向學習的概念是在2005年由Tizhoosh[9]提出，隨后應用于差分進化算法[12]，其基本思想是比較當前解和反向解，若反向解優于當前解，則反向解取代當前解。反向學習技術可以快速擴大搜索空間，豐富種群多樣性，增加尋找到全局最優解和跳出局部最優的可能性。

定義1全局反向數：設x∈(a,b)是一個實數，與其對應的全局反向數的表達式如式(3)所示：

xo=a+b-x

(3)

定義2全局反向點：設xi∈(x1,x2,…,xD)為D維空間內的一個點，那么其全局反向點的表達式如下所示:

(4)

為提高TLBO算法的收斂速度和尋優精度，在種群初始化時，應用反向學習技術即式(4)對初始種群行反向學習，并各取一半較優的個體來組成初始種群。在每一次迭代后，運用反向學習技術對種群進行反向學習，并取各種群中的一半較優個體來組成一個新的種群，進入下一次循環。種群在當前解空間和反向解空間內同時進行搜索，保留各種群的較優個體，使得種群始終在較優個體附近進行搜索，避免了在較差解鄰近區域的無效迭代，提高算法的全局收斂速度和尋優精度。

2.2隨機多學習策略

基本TLBO算法采用向鄰近較優個體進行學習的方式，該學習方式比較單一，局部開發能力弱，容易陷入局部最優。為此，本文提出了一種新的多學習策略；即個體在向鄰近較優個體學習的同時，通過差異學習過程，彌補自身的不足，從而提高自己。兩種學習策略的引入，大大增強了算法的局部搜索能力，降低了算法易陷入局部最優的可能。改進的多學習方式表示如式(5)和式(6)所示：

if rand<0.5

(5)

else

(6)

end

其中，Xr1和Xr2為種群中不同于Xold的兩個隨機個體。

2.3小概率的變異策略

在多學習教與學優化算法中，種群在當前解空間和反向解空間內同時進行搜索，并各保留一半較優個體組成新的種群，因此算法始終在種群相對較好解的鄰近區域進行搜索。雖然反向學習技術能有效地擴大搜索空間，增加種群多樣性，加快算法的收斂速度，但搜索后期過度集中在一個相對較好的區域內，種群容易陷入局部最優，不能搜索到全局最優值。針對該問題，本文引入小概率的擾動策略,具體表達式如下：

if rand

xi,j=xj,min+rand·(xmax-xmin)

end

其中：Mr為隨機變異概率，由于這種操作是小概率事件，本文取Mr的值為0.005。

當算法進入迭代后期，算法搜索到一個相對較優值時，由于鄰近區域搜索不到比其更優的值時，就會陷入局部最優，這時算法迫切需要跳出局部最優。小概率發生的變異策略即隨機擾動，可以增強算法跳出局部最優的能力，有效地防止算法在搜索后期陷入局部最優。

3多學習教與學優化算法的基本步驟

本文提出的多學習教與學優化算法的實現步驟如下：

步驟1種群初始化

根據式(7)進行種群初始化，得到一個初始種群。按式(4)對初始種群進行反向學習，得到一個反向群體。計算兩個種群中個體的適應值，取各自種群一半的較優個體組成新的初始種群。

xi,j=xj,min+rand·(xmax-xmin)

(7)

步驟2老師教學過程

找出種群中的最優個體作為老師，每個學生根據式(2)向種群中最好的個體即老師進行學習，提高自己的知識水平，從而提高全體學生的整體水平。

步驟3學生互相學習過程

經過老師教學之后，同學之間進行隨機的交流和學習，并進行小概率的隨機擾動，其具體流程如下所示：

if rand<0.5

if f(Xr2)

else

end

else

if f(Xold)

else

end

end

if rand

xi,j=xj,min+rand·(xmax-xmin)

end

步驟4種群更新

相互學習完成以后，利用式(4)對新產生的種群進行反向學習，得到反向種群。計算兩個種群中個體的適應值，取各自種群一半的較優個體組成新的種群，進入下一次迭代循環。

步驟5終止判斷

判斷是否滿足終止條件，若不滿足，繼續循環執行步驟2到步驟4，若滿足，則終止迭代過程。

4數值實驗及分析

4.1實驗方法

本文選取文獻[7]和文獻[15]中的13個測試函數對本文提出的改進算法進行函數優化測試，并選擇基本TLBO算法[1]、I-TLBO算法[7]、ABC算法[13]、I-ABC算法[14]進行對比實驗。測試的硬件環境為聯想筆記本電腦，主板CPU為i5-3230M-2.6 GHz，內存為4 GB，采用Matlab2009b軟件平臺編程實現。實驗中對比算法的參數設置按原文獻進行設置，仿真結果亦直接取自各文獻。本文算法參數設置如下：NP=20，D=30、50、100，Mr=0.005，每組實驗獨立運行30次。

13個測試函數的具體表達式如下所示：

F1.Sphere function:

F2.Schwefel 2.22 function:

F3.Schwefel1.2 function:

F4.Schwefel 2.21 function:

F5.Step function:

F6.Quaritic function:

F7.Rastrigin function:

F8.Ackley function:

F9.Griewank function:

F10.Penalized function:

F11.帶有噪音的 shifted Schwefel’s problem 1.2:

F12.Rotated hyper-ellipsoid function:

F13.Zakharov function:

4.2仿真結果與分析

表1所示為函數F1-F10在維數為30和50時的比較結果，其中最優結果進行了加粗處理。從表1可以看出，對于所測函數,除函數F6和F10外，MTLBO均能找到其最優值，而ABC算法無法找到其中的任何一個，其他算法僅能找到其中的少數幾個。對于函數F1、F2和F9，除ABC外，其余4種算法均能找到其最優值。雖然MTLBO在函數F6和F10上略差于I-TLBO，但I-TLBO無法找到函數的最優值，而MTLBO也能搜索到最優解附近的較優解。對于函數F4-F5，MTLBO能搜索到其全局最優值，性能優于其他幾種算法。MTLBO算法能找到函數F7-F9的全局最優值，具有較好的尋優能力和較快的收斂速度。從整體上看，MTLBO優于其他對比算法。

表1　F1-F10維數為30和50時的比較結果

針對上述10個測試函數，MTLBO能夠搜索到其中8個函數的全局最優值，也搜索到其他2個函數最優解附近較好的解，這充分說明了算法的有效性。綜上分析，本文算法具有較強的局部搜索能力，能夠有效地跳出局部最優。

由于教與學優化算法在解決高維復雜問題時，其全局搜索能力差，易陷入局部最優，本文引入反向學習技術，增加了種群的多樣性，提高其全局收索能力，還增加了一種相互學習方法，提高了局部搜索能力，避免陷入局部最優。接下來在6個高維復雜測試函數上對MTLBO算法進行測試，并與最近文獻中較優的NGHS[15]算法和OLHS[16]算法進行比較。所選的6個測試函數中，F7-F9多峰函數，F11為帶噪聲和偏移的函數，F12是旋轉函數，F13函數是測試高維復雜函數的經典函數。

從表2可以看出，本文提出的MTLBO算法每次均能夠準確地找到相對應的全局最優解。這說明本文算法無論在優化高維多峰函數，還是帶噪音和偏移的函數，都有較好的尋優能力。對于函數F13，本文算法能找到其全局最優值，進一步說明本文算法在優化高維復雜問題具有較好的尋優能力。而NGHS算法僅能找到函數F11的全局最優解，對于其他4個函數無法找到比較靠近全局最優解的解，易陷入維數災難。對于OLHS算法，不僅無法找到函數F8和F13的全局最優解，同時多次運行的方差較大，搜索到最優解的成功率低，算法穩定性差。

從尋優效率看，NGHS、OLHS在尋優過程中最大迭代次數均超過50 000次，而本文算法僅需40 000次，這說明本文算法收斂速度快、搜索效率高，具有較好的全局搜索和局部鄰域搜索能力。

綜上，本文所提算法具有較強的魯棒性和較好的穩定性，同時具有較快的收斂速度和較高的搜索效率，該算法為優化問題的求解提供了一種新的選擇，具有廣闊的發展前景。

表2　高維復雜測試函數對比結果(d=100)

5結語

本文針對基本教與學優化算法中學習方式單一的問題，提

出多學習策略，有效地增強了算法局部開發能力；引入反向學習技術，充分挖掘反向種群中個體包含的信息；提出小概率的擾動策略，有效降低了迭代后期陷入局部最優的可能性。實驗結果表明，本文算法不僅對低維簡單問題有較好的尋優能力，而且在解決高維復雜優化問題時展現出了更明顯的優勢，有效地解決了基本TLBO算法在解決高維問題易陷入局部最優的問題，為解決高維復雜問題提供了一個良好的選擇。在今后的研究工作中，繼續對算法的學習階段作進一步的探索和改進，同時對算法的參數自適應問題進行探究，進一步提高算法的性和應用領域。

參考文獻

[1] Rao R V,Savsani V J,Vakharia D P.Teaching-learning-based optimization: a novel method for constrained mechanical design optimization problems[J].Computer-Aided Design,2011,43(3):303-315.

[2] Rao R V,Savsani V J,Vakharia D P.Teaching-learning-based optimization:An optimization method for continuous non-linear large scale problems [J].Information Sciences,2012,183(1):1-15.

[3] Togan V.Design of planar steel frames using teaching-learning based optimization[J].Engineering Structures,2012,34(1):225-232.

[4] Wu Wei,Hu Jingtao,Zhang Jilong.Prognostics of machine health condition using an improved ARIMA-based prediction method[C].Proc of the 2nd IEEE Conference on Industrial Electronics and Applications,2007:1062-1067.

[5] Rao R V,Patel V.Multi-objective optimization of heat exchangers using a modified Teaching-learning-based optimization algorithm[J].Applied Mathematical Modeling,2013,37(3):1147-1162.

[6] Rao R V,Patel V.Multi-objective optimization of two stage thermoelectric coolers using a modified teaching-learning-based optimization algorithm [J].Engineering Applications of Artificial Intelligence,2013,26(1):430-445.

[7] Rao R V,Patel V.An improved teaching-learning-based optimization algorithm for solving unconstrained optimization problems[J].Scientia Iranica,2013,20(3):710-720.

[8] Rao R V,Patel V.An elitist teaching-learning-based optimization algorithm for solving complex constrained optimization problems[J].International Journal of Industrial Engineering Computations,2012,3(4):535-560.

[9] Tizhoosh R.Opposition-based learning:a new scheme for machine intelligence[C]//Proceeding of International Conference on Computational Intelligence Modeling Control and Automation,Vienna,2005:695-701.

[10] Rahnamayan S,Tizhoosh H R,Salama M M A.Quasi-oppositional differential evolution[C]//Proceeding of the IEEE congress on evolutionary computation,2007:29-36.

[11] Roy P K,Mandal D.Quasi-oppositional biogeography-based optimization for multi-objective optimal power flow[J].Electric Power Components and Systems,2011,40(2):236-56.

[12] Rahaamayan S,Tizhoosh H R,Salama M M A.Opposition-Based differential evolution[J].IEEE Transations on Evolutionary Computation,2008,12(1):64-79.

[13] Li G,Niu P,Xiao X.Development and investigation of efficient Artificial Bee Colony algorithm for numerical function optimization[J].Applied Soft Computing,2012,12(1):320-332.

[14] Yang J G,Zhuang Y B.An improved ant colony optimization algorithm for solving a complex combinatorial optimization problem[J].Applied Soft Computing,2010,10(2):653-660.

[15] Zou Dexuan,Gao Liqun,Wu jianhua,et al.Novel global harmony search algorithm for unconstrained problems[J].Neurocomputing,2010,73(16-18):3308-3318.

[16] 歐陽海濱,高立群,鄒德旋,等.反向學習和聲搜索算法優化高維函數問題[J].小型微型計算機系統,2014,35(3):571-578.

中圖分類號TP3

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.057

收稿日期：2014-06-29。新疆“十二五”制造業信息化科技示范工程項目(201130110)。李志南，碩士生，主研領域：智能優化算法。南新元，副教授。李娜，碩士生。史德生，本科生。