基于混合策略的自適應教與學優(yōu)化算法

畢曉君，李月，陳春雨

(哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001)

?

基于混合策略的自適應教與學優(yōu)化算法

畢曉君，李月，陳春雨

(哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001)

摘要：為提高教與學優(yōu)化算法的綜合性能，提出一種基于混合策略的自適應教與學優(yōu)化算法。將隨機性學習與有向性學習融合，提出一種自適應綜合交叉學習策略，根據(jù)進化的不同階段自適應地選擇學習方式，增強算法對解的搜索能力；加入一種方向性的擾動策略，增大種群多樣性，較大程度地加大了對搜索空間的探索力度，降低了種群陷入局部最優(yōu)的可能。基于標準測試函數(shù)的仿真實驗結(jié)果表明，本文算法可有效避免算法陷入局部最優(yōu)，在收斂精度和收斂速度上有較大提高。

關(guān)鍵詞：教與學優(yōu)化算法；自適應；綜合交叉學習；擾動策略；混合策略

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20160421.1040.016.html

教與學優(yōu)化算法(teaching learning based optimization, TLBO)是2011年由Rao等提出的一種新型群智能優(yōu)化算法[1]。該算法模擬了以班級為單位的教學和學習的過程，通過老師對學生的教學以及學生之間的相互學習兩個階段來達到提高班級整體平均成績的目的。由于TLBO算法參數(shù)設(shè)置少、計算簡單，目前已在處理函數(shù)優(yōu)化[2]、工程參數(shù)優(yōu)化[3]、多目標優(yōu)化[4]等問題上得到了廣泛的應用。

文獻[1]已經(jīng)證明TLBO在收斂精度和收斂速度上明顯優(yōu)于粒子群優(yōu)化算法、人工蜂群進化算法、差分進化算法等。但是該算法在搜索過程中仍然存在著易陷入局部最優(yōu)以及收斂速度慢的問題。為此，許多學者對其進行了改進。文獻[5]將自適應學習因子取代原有學習因子，提出一種改進的教與學優(yōu)化算法。文獻[6]將差分算法與教與學優(yōu)化算法結(jié)合，提出了一種帶有交叉操作的教與學優(yōu)化算法。文獻[7]將整個種群分成若干小組進行教與學兩個過程，提出了一種基于分組的的教與學優(yōu)化算法。上述的改進方法在一定程度上降低了算法陷入局部最優(yōu)的可能，但是算法收斂精度與收斂速度仍有提升的空間。

為此，本文提出一種基于混合策略的自適應教與學優(yōu)化算法(self-adaptive teaching learning based optimization with mixed-strategy, MSTLBO)。采用綜合交叉學習策略代替原有學習機制，增強算法對解的搜索能力，加快收斂速度；提出一種具有一定方向性的擾動策略，增強算法跳出局部最優(yōu)的能力，避免陷入局部最優(yōu)。

1教與學優(yōu)化算法的基本理論

TLBO算法模擬了班級中以提高平均學習成績?yōu)槟康牡慕處熃虒W和學員之間相互學習這兩個階段。在教階段，教師(適應度值最好的學員)將自己的知識全部傳授給其他學員，所有學員向教師學習，逐步減小與教師之間的差距；在學階段，學員之間互相取長補短、相互學習、共同進步。TLBO算法的主要步驟包括：教階段和學階段[1]。

1.1教階段

教階段模擬教師向?qū)W員傳授知識的過程，學員通過平均值與教師之間的差異性進行學習，逐步提高學員學習成績。具體實現(xiàn)過程如下：

1)計算教師與平均值之間的差距。

difference=ri·(Xteacher-Tf·mean)

(1)

2)學員利用差異性進行學習。

(2)

教階段學員通過向老師學習來提升自身學習成績。

1.2學階段

學階段模擬學生之間類似于互相討論、研究、演講等相互交流的學習方式，通過向成績更好的學員學習進而提高學員的自身成績。

對于學員Xi，隨機抽取與之不同的學員Xj進行交流學習。通過比較二者適應度值，對學習進行調(diào)整：

(3)

式中：r=rand(0,1)代表每個學員的學習因子，取值0～1的隨機數(shù)，這是因為在一個班級中，每個學員的學習能力有所差異，所以每個學員擁有不同的學習因子，可以更好地模擬現(xiàn)實中的學習情況。

學階段通過學生之間的交流學習提升學員學習成績。

TLBO算法流程圖如圖1所示。

圖1　TLBO算法流程圖Fig.1　The flow char of TLBO

2基于混合策略的自適應教與學優(yōu) 化算法

TLBO算法因其具有較強的收斂能力以及參數(shù)設(shè)置少等優(yōu)點被廣泛應用，但是通過深入研究發(fā)現(xiàn)TLBO算法仍存在易陷入局部最優(yōu)以及收斂速度慢等缺點。為此，本文首先在文獻[7]的基礎(chǔ)上將學員分成若干小組進行教學與學習，而后從兩方面進行改進，提出一種基于混合策略的自適應教與學優(yōu)化算法，下面分別進行詳細介紹。

2.1自適應綜合交叉學習策略的提出

在TLBO算法學階段，過分注重全局性探索的學習方式，使得在搜索過程中局部開發(fā)能力較差，對解的搜索速度較慢。事實上為更好地平衡TLBO算法全局搜索與局部開發(fā)能力，進化的不同階段需要不同的學習方式。進化前期注重加強學員之間的信息交流，保證種群多樣性，增大搜索范圍，降低算法陷入局部最優(yōu)的可能；進化后期注重群體進化的方向性，加快算法收斂速度，提高收斂精度。據(jù)此，本文提出將隨機性學習與有向性學習融合的自適應綜合交叉學習策略，即根據(jù)進化的不同階段自適應的選擇學習方式。兩種學習方式在進化過程中起到不同的作用，較好的平衡了算法的全局搜索能力和局部開發(fā)能力。

(4)

這種隨機性的學習方式保證了每個學員可以獲得多元化的信息，增大種群的多樣性。但是這種方式過分地注重全局搜索，具有一定盲目性，導致在進化后期算法在對解空間搜索時，收斂速度過慢，局部開發(fā)能力較差。基于以上分析，本文采用一種有向性學習方式用以彌補隨機性學習在搜索過程中存在的不足。在有向性學習方式中，對于已完成分組后的學員Xi，不再是隨機向?qū)W員Xj學習，而是向Xi所在學習小組內(nèi)適應度值最優(yōu)的XGroupteacher學習，令較優(yōu)解參與進化產(chǎn)生新解，使得進化具有一定的方向性，總是向著較好的方向進行，逐漸向著最優(yōu)值逼近，從而提高算法收斂速度與收斂精度。有向性學習方式：

(5)

考慮到算法進化的過程中，前期側(cè)重全局探索后期更加注重局部開發(fā)，故結(jié)合以上兩種學習方式的優(yōu)點，提出將這兩種學習方式融合的自適應綜合交叉學習策略為

(6)

2.2自適應擾動策略的提出

學階段的分組教學方式為種群多樣性做出了一定貢獻，但是隨著進化進行，種群仍然會出現(xiàn)“趨同”現(xiàn)象[8-9]，尤其到了進化后期，粒子逐漸聚集到某一點(非全局最優(yōu)值點)，進化幾乎停滯，種群處于一種相對平衡狀態(tài)，易陷入局部最優(yōu)。針對這種情況，本文提出一種自適應擾動策略：算法進化前期，學員比較分散多樣性較好，為提高種群的局部搜索能力，圍繞當前粒子進行擾動以期得到更優(yōu)個體。隨著迭代進行，學員逐漸聚集，種群多樣性逐漸變差，種群陷入局部最優(yōu)的可能逐漸增加，此時應逐漸增大最優(yōu)個體對當前個體的影響力度，進而增大種群多樣性，擴大種群的搜索空間，增強算法跳出局部最優(yōu)的能力。基于以上分析，本文在文獻[10]的基礎(chǔ)上進行改進，提出擾動公式為

(7)

2.3MSTLBO算法執(zhí)行步驟

綜合以上兩個方面的改進措施，本文提出的MSTLBO算法具體步驟如下：

1)初始化班級中學員數(shù)目(NP),變量維數(shù)d,小組成員數(shù)目m,動態(tài)分組頻率p；

2)將所有學員分組[7]，計算每個小組的XGroupteacher；

3)教階段，每個小組學員按照式(1)、(2)產(chǎn)生新個體，如果新個體適應度值優(yōu)于未更新個體，則保留更新后的個體；

6)按照式(6)，產(chǎn)生自適應綜合交叉學習后的新學員；

7)學員按照式(7)進行擾動，將擾動后得到的新個體與擾動前的個體進行比較，保留適應度值較好的個體；

8)如果mod(t,p)==0,則返回2)，否則返回3)，t=t+1；

9)若滿足終止條件，輸出當前最優(yōu)個體，算法結(jié)束。

3實驗結(jié)果與分析

為驗證本文所提出算法的整體性能，在10個典型 Benchmark 函數(shù)[11]上進行測試，并與TLBO算法[1]以及目前改進效果較好的ITLBO算法[5]、CTLBO算法[6]、DGSTLBO算法[7]進行對比。Benchmark 函數(shù)的取值范圍以及理論最優(yōu)值已經(jīng)在表1中給出。根據(jù)函數(shù)性質(zhì)將其分為單峰和多峰兩大類，其中函數(shù)f1～f6為復雜連續(xù)型單峰函數(shù)，主要用來測試算法的尋優(yōu)精度，考察算法的執(zhí)行性能。f7～f10是非線性多峰函數(shù)，具有多個局部極值點，一般算法很難找到全局最優(yōu)值因此可用來測試算法的全局搜索性能和避免早熟的能力[12]。

仿真實驗在Intel(R).Pentium(R).CPU G260@2.60GHZ.2G內(nèi)存的計算機上進行，開發(fā)環(huán)境為Matlab 2011a。

3.1實驗參數(shù)設(shè)置

所有算法的種群大小為50，決策變量維數(shù)為30，所有測試函數(shù)上的最大迭代次數(shù)為1 000次。本文算法中兩個參數(shù)m=5，p=5。其他所有對比算法中涉及到的參數(shù)均與對比文獻中相同。為避免偶然因素的影響，每個測試函數(shù)的尋優(yōu)實驗都獨立運行30次。通過測試結(jié)果的最優(yōu)值、最差值、平均值，標準差、函數(shù)評價次數(shù)、運行時間以及成功率來評價函數(shù)的尋優(yōu)性能。

3.2實驗仿真與結(jié)果分析

為驗證本文算法中兩點改進的有效性以及MSTLBO算法的整體性能，將從以下兩方面進行仿真實驗。

3.2.1自適應綜合交叉學習策略的有效性測試

為驗證本文提出的自適應綜合交叉學習策略的有效性，選取單峰函數(shù)f1以及非常難找到全局最優(yōu)值的多峰函數(shù)f7進行測試。得到的均值、方差，達到求解精度的函數(shù)評價次數(shù)以及成功率已在表2中給出，各算法均獨立運行30次。其中，TLBO-m代表本文提出的基于自適應綜合交叉學習策略的TLBO改進算法。

從表2中可以看出，對于單峰函數(shù)f1，TLBO-m算法收斂到理論最優(yōu)值，相比于TLBO算法得到了更小的平均值和方差，函數(shù)評價次數(shù)也較少，說明改進的算法在收斂精度和收斂速度上都有提升。對于多峰函數(shù)f7，雖然TLBO-m算法沒有收斂到理論最優(yōu)值但是相對于TLBO算法也得到了較小的均值、方差、函數(shù)評價次數(shù)。以上實驗結(jié)果表明，本文提出的自適應綜合交叉學習策略是有效的。

表1　標準測試函數(shù)

表2　自適應綜合交叉學習方式對算法影響

3.2.2自適應擾動策略的有效性測試

為驗證本文提出的自適應擾動策略的有效性，在測試函數(shù)f5和f9上將加入擾動策略的TLBO算法與TLBO算法進行對比，其中TLBO-s代表加入擾動后的算法。為了更直觀的表現(xiàn)兩算法的對比結(jié)果，將其進化曲線圖表示如圖2，其中橫坐標代表進化代數(shù)，縱坐標代表每代最優(yōu)適應度值的對數(shù)。

從圖2中可以看出在對單峰函數(shù)f5以及多峰函數(shù)f9的尋優(yōu)過程中，改進后的算法在收斂速度和收斂精度兩方面都優(yōu)于對比算法。尤其在多峰函數(shù)f9的尋優(yōu)上，標準TLBO已陷入局部最優(yōu)，而TLBO-s較快的收斂到最優(yōu)值，尋優(yōu)精度和收斂速度有較大提升，從而證明了本文提出的自適應擾動策略的有效性。

(a) 測試函數(shù)f5進化曲線 　　　　　　　　　　　(b)測試函數(shù)f9進化曲線 圖2　改進的擾動策略效果圖Fig.2　Result of improved disturbance strategy

3.2.3MSTLBO算法整體性能測試

為驗證本文所提出MSTLBO算法的整體性能，現(xiàn)與TLBO算法、CTLBO算法、ITLBO算法以及DGSTLBO算法進行對比，各算法均獨立運行30次。對比算法性能的考察將從以下兩個方面進行：通過結(jié)果中最優(yōu)值、最差值、平均值、標準差來評價尋優(yōu)精度；通過運行時間，函數(shù)評價次數(shù)以及成功率來評價算法收斂速度。各函數(shù)求解精度為VTR=10-8。算法性能對比結(jié)果如表3所示，表中空白處代表對應算法未收斂到規(guī)定求解精度。

從表3所得結(jié)果可以得出以下結(jié)論：

1)尋優(yōu)精度：在對復雜連續(xù)型單峰函數(shù)f1、f2的尋優(yōu)過程中，MSTLBO算法和DGSTLBO算法收斂到了理論最優(yōu)值。對于函數(shù)f3～f5，MSTLBO算法相較于TLBO、ITLBO、CTLBO、DGSTLBO算法收斂到了理論最優(yōu)值而且具有較好的穩(wěn)定性。對于函數(shù)f6，只有MSTLBO算法、CTLBO算法以及DGSTLBO算法收斂到了理論最優(yōu)值。以上結(jié)果表明MSTLBO算法在尋優(yōu)精度上具有較大優(yōu)勢。

對于具有多個局部極值點的多峰函數(shù)f7～f10而言，由于這些函數(shù)的自身特點很容易陷入局部最優(yōu)而較難搜索到最優(yōu)值。由表3可知，對于多峰函數(shù)f7～f10，TLBO、ITLBO、CTLBO算法過早陷入局部最優(yōu)并沒有搜索到理論最優(yōu)值，而DGSTLBO算法只在函數(shù)f7、f9上收斂到理論最優(yōu)值，而本文提出的MSTLBO算法在函數(shù)f7、f9、f10上都收斂到了理論最優(yōu)值。但是對于函數(shù)f8，MSTLBO算法收斂精度略次于DGSTLBO，但是相對于TLBO、ITLBO、CTLBO算法收斂精度大幅度改善。所以本文提出的MSTLBO算法幾乎都可以收斂到理論最優(yōu)值且算法穩(wěn)定性較好，收斂精度相對于對比算法有較大提高。

2)收斂速度：所得結(jié)果中函數(shù)評價次數(shù)較小的算法說明其收斂速度較快，成功率較高說明其達到規(guī)定收斂精度成功次數(shù)較多。由表3可知，對于函數(shù)f1、f2、f4、f5，MSTLBO相較于TLBO、ITLBO、CTLBO以及DGSTLBO運行時間和函數(shù)評價次數(shù)均較少，成功率較高。對于函數(shù)f3、f6、f7、f9、f10，MSTLBO相較于TLBO、ITLBO、CTLBO運行時間和函數(shù)評價次數(shù)均較少，但是較DGSTLBO運行時間較多，這是由于MSTLBO計算復雜度對比于DGSTLBO算法略有提高，使得單次收斂速度也有上升，但由于MSTLBO的函數(shù)評價次數(shù)較少使得總的計算效率與DGSTLBO相差不大。對于多峰函數(shù)f7、f9、f10，MSTLBO較TLBO、ITLBO、CTLBO、DGSTLBO函數(shù)評價次數(shù)大大減小，說明本文所提算法不易陷入局部最優(yōu)且可以快速收斂到理論最優(yōu)值。對于函數(shù)f8雖然MSTLBO的收斂精度略差于DGSTLBO但是函數(shù)評價次數(shù)以及運行時間均較小。總體上本文提出的MSTLBO算法收斂速度相對于對比算法有較大提高。

綜合以上分析，本文提出的MSTLBO算法在收斂速度以及收斂精度兩方面優(yōu)于其他對比算法，尤其對于多峰函數(shù)尋優(yōu)效果更為明顯，有效避免了算法陷入局部最優(yōu)的現(xiàn)象，較好地平衡了全局探索以及局部開發(fā)能力。

表3　算法性能對比

續(xù)表3

4結(jié)論

1)本文提出了一種自適應綜合交叉學習策略，從而加快算法對最優(yōu)解的搜索速度；

2)本文提出的自適應擾動策略，增強了種群多樣性，從而降低種群陷入局部最優(yōu)的可能。

3)本文所提出算法具有較好的收斂精度和收斂速度，尤其在多峰函數(shù)的尋優(yōu)上效果更佳，具有較好的推廣價值。

參考文獻：

[1]RAO R V, SAVSANI V J, VAKHARIA D P. Teaching-learning-based optimization: a novel method for constrained mechanical design optimization problems[J]. Computer-aided design, 2011, 43(3): 303-315.

[2]RAO R V, SAVSANI V J, VAKHARIA D P. Teaching-learning-based optimization: an optimization method for continuous non-linear large scale problems[J]. Information sciences, 2012, 183(1): 1-15.

[3]RAO R V, PATEL V. Multi-objective optimization of heat exchangers using a modified teaching-learning-based optimization algorithm[J]. Applied mathematical modelling, 2013, 37(3): 1147-1162.

[4]RAO R V, PATEL V. Multi-objective optimization of two stage thermoelectric cooler using a modified teaching-learning-based optimization algorithm[J]. Engineering applications of artificial intelligence, 2013, 26(1): 430-445.

[5]RAO R V, PATEL V. An improved teaching-learning-based optimization algorithm for solving unconstrained optimization problems[J]. Scientia iranica, 2013, 20(3): 710-720.

[6]高立群, 歐陽海濱, 孔祥勇, 等. 帶有交叉操作的教 與學優(yōu)化算法[J]. 東北大學學報:自然科學版, 2014, 35(3): 323-327.

GAO Liqun, OUYANG Haibin, KONG Xiangyong Y, et al. Teaching-learning based optimization algorithm with crossover operation[J]. Journal of northeastern university: natural science, 2014, 35(3): 323-327.

[7]ZOU Feng, WANG Lei, HEI Xinhong, et al. Teaching-learning-based optimization with dynamic group strategy for global optimization[J]. Information sciences, 2014, 273: 112-131.

[8]LI Jianping, BALAZS M E, PARKS G T, et al. A species conserving genetic algorithm for multimodal function optimization[J]. Evolutionary computation, 2002, 10(3): 207-234.

[9]LI Xiaodong. Efficient differential evolution using speciation for multimodal function optimization[C]//Proceedings of the 7th Annual Conference On Genetic and Evolutionary Computation. New York, USA, 2005: 873-880.

[10]伍大清, 鄭建國. 基于混合策略自適應學習的并行粒子群優(yōu)化算法[J]. 控制與決策, 2013, 28(7): 1087-1093.

WU Daqing, ZHENG Jianguo. Improved parallel particle swarm optimization algorithm with hybrid strategy and self-adaptive learning[J]. Control and decision, 2013, 28(7): 1087-1093.

[11]YAO Xin, LIU Yong, LIN Guangming. Evolutionary programming made faster[J]. IEEE transactions on evolutionary computation, 1999, 3(2): 82-102.

[12]OMRAN M G H, ENGELBRECHT A P, SALMAN A. Self-adaptive barebones differential evolution[C]//Proceedings of the IEEE Congress on Evolutionary Computation. Singapore, 2007: 2858-2865.

本文引用格式：

畢曉君，李月，陳春雨. 基于混合策略的自適應教與學優(yōu)化算法[J]. 哈爾濱工程大學學報， 2016, 37(6): 842-848.

BI Xiaojun，LI Yue，CHEN Chunyu. A self-adaptive teaching-and-learning-based optimization algorithm with a mixed strategy[J]. Journal of Harbin Engineering University, 2016, 37(6): 842-848.

收稿日期：2015-05-27.

基金項目：國家自然科學基金項目(61175126)；中央高校基本科研業(yè)務(wù)費專項資金項目(Heucfx041306)；教育部博士點基金項目( 20112304110009).

作者簡介：畢曉君(1964-)，女，教授，博士生導師； 李月(1990-)，女，碩士. 通信作者：李月，E-mail:2272167256@qq.com

DOI:10.11990/jheu.201505076

中圖分類號：TN919.4

文獻標志碼：A

文章編號：1006-7043(2016)06-0842-07

A self-adaptive teaching-and-learning-based optimization algorithm with a mixed strategy

BI Xiaojun，LI Yue，CHEN Chunyu

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Abstract：In order to improve the overall performance of teaching-and-learning-based optimization (TLBO), in this paper, we propose a new self-adaptive teaching-and-learning-based optimization algorithm that uses a mixed strategy (MSTLBO). This strategy combines adaptive integrated cross learning with random and directional learning. These learning methods are chosen adaptively to enhance the searching ability for different evolutionary stages. We adopt a kind of directional disturbance strategy to increase the population diversity, and to avoid the possibility of the population falling into a local optimum. The experimental results on the benchmark functions show that the MSTLBO exhibits good performance in avoiding premature convergence, and both the convergence accuracy and convergence rate are significantly improved.

Keywords：teaching-and-learning based optimization; self-adaptation; comprehensive cross learning; disturbance strategy; mixed-strategy

網(wǎng)絡(luò)出版日期：2016-04-21.