基于非線性收斂因子和標桿管理的改進教與學優化算法

陳雪芬， 葉春明

（上海理工大學 管理學院，上海 200093）

群智能優化算法是一類基于種群的全局優化技術，同傳統的精確算法不同，它們更擅長于求解具有大規模、非線性、多極值、不可導及不可微等特征的非常規問題。隨著人工智能、大數據以及云計算等技術的快速發展，復雜優化問題的數量和規模與日俱增，這些問題往往難以用常規數學方法求解，而群智能算法則成為相對可行的解決方案。自1992 年遺傳算法(genetic algorithm,GA)[1]提出以來，眾多模擬自然規模或者物種動態演化的群智能算法相繼被提出。在群智能算法“家族”中，具有很多知名的成員，它們深受研究者的青睞， 如粒子群算法(particle swarm optimization, PSO)[2]、和聲搜索算法(harmony search algorithm, HS)[3]、人工蜂群算法(artificial bee colony algorithm, ABC)[4]、 引 力 搜 索 算法(gravity search algorithm, GSA)[5]、蛾焰優化算法(moth-flame optimization algorithm, MFO)[6]、哈里斯鷹算法(Harris hawks optimization, HHO)[7]和灰狼算法(grey wolf optimization algorithm)[8]等。這些算法各有利弊，適合解決不同的工程優化問題。然而，隨著新問題的不斷產生，它們有可能都不再適用。面對不斷產生的復雜問題，群智能算法的主要發展方向可分為兩個，其一是設計新的算法去更好地解決問題，其二是對現有群智能技術進行改進以使其在求解問題時性能更佳。

教與學優化算法(teaching-learning-based optimization algorithm, TLBO)[9]是2011 年Rao 等基于一個自然班級中老師與學生間的教學行為而提出的一種群智能優化算法。人類是自然界最聰明的生物，因為，他們可以通過不斷地學習獲得豐富的知識和技能，課堂教育是學生獲取知識的重要途經。在課堂上，教師通過設計課程、設計教學計劃、實施教學活動和反思等一系列教學活動，努力提高班級平均成績。同時，學生也通過努力學習和與其他人交流來提高自己的表現，實現整個團隊的動態優化。TLBO 很好地表征了人類的教學行為，而且具有不需要其他特殊參數、計算量小、一致性高等優勢。但是，它依然存在著收斂速度不夠快、解的質量不夠高、在某些問題上局部最優避免性差等問題。因此，許多學者對其進行了改性研究。例如，為提高TLBO 的求解質量以及加快TLBO 的收斂速度和運行時間，Li等[10]于2013 年提出了一種改良的教與學優化算法A-TLBO，并利用A-TLBO 對最小二乘支持向量機的超參數進行了優化調整及驗證；為提升算法性能，于坤杰等[11]于2014 年提出一種基于線性衰減收斂因子和信任權重的改進TLBO；為解決TLBO尋優精度低、穩定性差的問題，閆苗苗等[12]于2019 年設計了一種多班級交互式教學優化算法（multi-classes interaction TLBO, MCITLBO）。然而，這些改性算法的設計要么使得計算成本增高，要么添加了一些需要調整的特殊參數。因此，本研究基于新的優化策略提出一種改進教與學優化算法。

2 種改進策略分別是非線性收斂因子調整策略以及標桿管理策略。對于收斂因子，在標準TLBO 中，收斂因子是隨機取值為1 或2，這種策略顯然不符合實際，因為，隨著教學經驗的累積，教師的教學水平也應該得以提升。從算法角度來看，為加快收斂，算法的收斂因子應該隨種群所獲得的信息量進行動態調整，而不是籠統地設為1 或2。此外，標桿管理是一種先進的管理學思想，針對學習階段隨機學習所導致的“無效學習”等問題，在班級中推選精英組，進而建立班級學習標桿，可以更好地幫助班級成員學習到更多“有用”的知識。從算法角度來看，標桿管理策略進一步主導了種群朝著正確的方向進化，從而加快了算法的收斂速度，使得算法有更多的精力致力于全局最優解的局部開發。為驗證改進策略的有效性，基于2 種策略的部署組合提出了3 種改進教與學優化算法（modified teaching-learningbased optimization algorithm，MTLBO）的變體，并通過11 個基準測試函數進行了實驗對比。隨后，為進一步驗證提出算法的性能，使用性能最優的MTLBO與其他著名的優化算法進行了實驗驗證與分析。

1 教與學優化算法

TLBO 的靈感來源主要是課堂上師生之間的教與學行為，其設計思想主要是基于一個典型的優化系統（即教學活動）的構建。在該系統中，TLBO將一個自然班級視為動態演化的種群，老師和學生都可作為種群中的搜索代理，他們的知識水平或考試成績作為群智能優化算法的適應值。

在TLBO 中，以正態分布來表示班級學生的成績分布情況，如式(1)所示。

圖1 不同教師的教學效果分布圖Fig.1 Distribution of grades obtained by students taught by two different teachers

圖2 展示了教學活動前、后的班級成績的變化情況。其中，曲線A 和曲線B 分別表示在教學活動之前和之后的全班成績分布，MA和MB分別表示教學前后的全班平均成績，TA和TB分別表示教學前后的最佳個體，即班級教師。

圖2 教學活動前后班級學生成績分布圖Fig. 2 Distribution of grades obtained by students taught by a teacher

假設班級人數為N，則其基本種群的數學表示如式(2)所示。

簡單來講，教與學優化算法可劃分為2 個階段：教學階段與學習階段。

1.1 教學階段

在教學階段，班上最優秀的個體被指定為老師。 教師的目標是向所有學生傳授知識，并嘗試將班級的平均成績提高到自身水平。假設當前的迭代次數為k， 并且令Mk為所有個體的平均成績，而Tk為迭代次數為k時的教師。 當前班級平均成績與教師水平之間的差異

1.2 學習階段

在學習階段，學生之間通過兩兩交流學習來增長知識，交流的方法主要包括小組討論以及個人經驗介紹等。這一階段具體的算法實施步驟如下：(6)，否則表示為式(7)。

2 改進的教與學優化算法

2.1 非線性收斂因子

在教學階段，教師的教學因子TF是一個關鍵參數，它可以決定學生個體在多大程度上依據均值Mk進行位置更新。在基礎TLBO 中，TF在每一次迭代中等概率地取值為1 或者2。然而，這種隨機改變并不能科學地表征群體行為。在設想中，學生隨著學習進程的推進其自主性更強，隨著知識和學習方法的積累其學習能力也會得到相應的強化。在經過大量數值實驗之后，發現TF大于2 更有利于群體收斂，算法能夠更快地逼近全局最優解。從現實角度來講，TF大于2 意味著這個班級的教師教學水平和學生學習能力都很強，這是一個高效的班級，可以類比學校中的“重點實驗班”或“尖子班”。同時，隨著教學活動的不斷深化與推進，教師的教學水平也會相應地得以提升，而不是一貫地隨意分配為1 或者2。為更好地表征上述現象，本文設計了一種隨著迭代進行非線性變化的收斂因子，如式(8)所示。

式中：k表示當前迭代次數；T表示最大迭代次數。

2.2 標桿管理策略

在傳統TLBO 的學習者階段，班級成員通過相互交流和學習來增加他們的知識。然而，這種學習方法有一定的缺點。最重要的一點是，班級成員缺乏優秀個人的指導。這種相互交流和學習是雜亂無章的，沒有一定的基準和標準，因此，可能會導致很多無用的“學習”。從種群進化的角度來看，這種無效學習策略的存在會使種群在一定程度上朝著錯誤的方向進化。

為解決上述問題，引入了標桿管理的概念。標桿管理又稱為基準管理，是管理學中的一種重要思想，一般用于企業管理當中。具體地，標桿管理是指企業將自身情況與行業內龍頭企業進行比較，從而得以借鑒他人先進經驗，改善自身缺陷[13-15]。這一理念同樣適用于群智能優化算法的種群進化，對于TLBO，場景類似度極高。因此，將之引入到TLBO 的學習階段，即對學習階段進行“標桿管理”。

首先，需要在當前種群中選擇合適的標桿個體，該個體代表著班級中的精英組[16]所具有的知識，具體算法設計與建模過程如下：每次迭代中，對通過教學階段的新班級按照個體的成績(即適應值) 進行排序，選擇成績最好Xs和第二的Xc個體組成精英組。標桿個體由精英組內推選產生，其為當前班級中成績最佳的個體。現介紹標桿個體推選的具體實施步驟。

推選精英組，如式(9)所示。對組內個體求均值得到備選標桿Xb，在備選標桿和最佳個體之間依適應值最佳原則選出最終標桿。如果f(Xb)＜f(X)，則選定Xb為最終標桿Xe；否則，選定Xs作為最終標桿Xe。

式中：Gl為精英組。

然后，班級個體依據推選出的標桿進行學習。算法實施中，其他個體依據標桿進行位置更新的公式如式(10)所示。

2.3 MTLBO 算法

綜合使用改進策略的改進教與學優化算法(MTLBO)步驟如下：

a. 參數初始化。設定種群規模N，總迭代次數T。

b. 待解問題參數空間范圍內進行班級種群初始化，并計算每個個體的適應值。

c. 令t=1，迭代開始。

d. 教學階段開始，計算Mk，依據式(8)計算TF。

e. 計算D，班級個體依據D更新位置。

f. 更新班級所有個體適應值，教學階段結束。

g. 學習階段開始，推選標桿個體Xe。

h. 班級個體以Xe為榜樣根據式(10)更新位置。

i. 更新班級所有個體適應值，學習階段結束。

j. 判斷是否滿足循環終止條件，若是，返回全局最佳解；否則，令t=t+1，返回步驟d。

3 實驗與分析

為驗證非線性收斂因子和標桿管理策略的引入對算法性能的影響，選擇11 個著名的基準測試函數進行2 組對比實驗。在第1 組對比實驗中，依據對2 種改進策略的不同部署情況，構建了3 種MTLBO 的變體，新設計的MTLBOs 與標準TLBO 進行了實驗對比與分析。在第2 組對比實驗中，為進一步驗證設計策略的有效性，選擇了其他幾種應用廣泛的群智能優化技術進行對比實驗與分析。所有實驗涉及代碼均是使用Python 3.7 編程實現，且所有實驗均在Window 操作系統下實施。為全面衡量算法性能，使用了多個維度的基準測試函數進行實驗。同時，為保證測試結果的魯棒性，每個測試實驗均以30 次獨立運行得到的均值和標準差作為最終的衡量依據。

測試中的11 個基準測試函數包含6 個單峰測試函數以及5 個多峰測試函數，如表1 所示。單峰測試函數為F1～F7，它們在搜索空間中只有一個嚴格局部最優值，因而可以用于測量算法的收斂性；多峰測試函數為F8～F12，它們在搜索空間中往往具有多個局部最優解，因而可以用于度量算法的局部最優避免能力。

表1 基準測試函數Tab.1 Benchmark function

3.1 MTLBOs 與標準TLBO 的比較

對比算法為TLBO 和MTLBOs，這2 種算法本身不需要其他參數，但在實驗前，首先要對2 個群智能優化算法的超級參數進行設定。對于種群尺寸和最大迭代次數，分別設定為20，1 000。表2 列出了待比較的TLBO 和3 種MTLBO 的變體MTLBO1，MTLBO2，以及MTLBO3，表3和表4分別展示了4 種對比算法在11 個10 維和30 維基準測試函數上的實驗結果，表5 展示了各算法30次獨立運行中的運行總時間（單位：s）。在表3～5中，粗體表示獲得的最佳結果。

表2 對比算法及描述Tab.2 Comparison algorithms and description

從表3 和表4 可以看出，對于函數F1 和F3，MTLBO2 和MTLBO3 在2 個維度上均獲得理論最優解，同時，標準差為0 說明算法在解決問題F1 和F3 時的魯棒性非常高。對于函數F1 和F3，MTLBO3 效果最佳，MTLBO2 次之，標準TLBO最差。對于函數F5，MTLBO1 的結果優于其對比者。對于函數F6，MTLBO3 和MTLBO2 的結果排在前兩位，其中，當維度為10 時，MTLBO3 略勝一籌；當維度為30 時，MTLBO2 的結果要更好。對于函數F9 和F11，所有算法均取得其理論最佳解，后文將從收斂速度方面進行進一步比較分析。對于函數F8，MTLBO3 和MTLBO2 求得更好的數值結果。對于函數F10，當維度為10 時，MTLBO2 結果最優，MTLBO3 次之；當維度為30 時，MTLBO3 結果最優，MTLBO2 次之。對于函數F11，標準TLBO 的結果勝過其他對比算法。

表3 TLBO 和MTLBOs 在10 維基準函數上的實驗結果Tab.3 Experimental results of TLBO and MTLBOs on 10-dimensional benchmark functions

表4 TLBO 和MTLBOs 在30 維基準函數上的實驗結果Tab.4 Experimental results of TLBO and MTLBOs on 30-dimensional benchmark functions

從表5 可知，在不同維度下各算法的計算效果差異明顯。當函數維度為10 時，MTLBO1 在函數F1，F2，F3，F7 上運算效果更快，MTLBO2在函數F4，F6 上計算時間最短，MTLBO3 在函數F4，F5，F10 和F11 上優于其他算法，TLBO則在函數F8 和F9 取得最短的運算時間。當函數維度為30 時，MTLBO1 在函數F7，F8，F9 上效果最佳， MTLBO3 在函數F10，F11 上具有最高的計算效果，TLBO 在單峰測試函數F1—F6 上的運行時間優于其余算法。

表5 對比算法運行時間Tab.5 Comparison of running time for algorithms s

根據以上分析，綜合使用前面2 種改進策略的MTLBO3 表現最優，它在大多數問題上獲得最佳數值結果。同時，僅使用標桿管理策略的MTLBO2 表現頗佳，僅在少數問題上稍弱于MTLBO3。綜合來看，MTLBO3 和MTLBO2 明顯改進了標準TLBO 的求解性能。此外，僅使用非線性收斂因子策略的MTLBO1 也在大多數問題上勝過標準TLBO，盡管從數值上來看提升的幅度不大。從計算效率的角度來看，TLBO 和3 種MTLBOs在不同維度的不同問題上存在一定差異，當函數維度較低時，MTLBO1 和MTLBO3 具有更高的運算效率；當維度較高時，TLBO 在單峰測試函數上的運行時間優于其余算法，MTLBO1 和MTLBO3在多峰測試函數上表現頗佳。綜上所述，改進算法在不增加時間成本的前提下改進了TLBO 的性能，本文所提出的2 種策略都是有效的，尤其是標桿管理策略。

3.2 與其他群智能優化算法的比較

第一組實驗主要對MTLBOs 和TLBO 進行了實驗比較與分析，基于分析結果，選擇表現最佳的MTLBO3 進行后續實驗。選擇一些其他著名的優化器，如HS，PSO，MFO 和GA 實施對比實驗。表6 列出了對比算法和相應的參數設定值。依據表6 所列， PSO，MFO 和GA 的種群規模設為40，TLBO 和MTLBOs 的種群規模設為20，這是因為TLBO 和STLBO 在一次迭代中共有2N（種群規模）次函數評估，而在PSO，MFO 和GA 的運行過程中每次迭代僅有N（種群規模）次函數評估。在這類算法中，算法的函數評估環節是其時間復雜度的主要部分，因為，為保證各對比算法時間復雜度一致，必須要保證各對比算法的函數評估次數一致。另外，除HS 外其余算法的種群總迭代次數均為1 000。對于HS，最佳種群規模為5～7，且在一次迭代中僅有一次函數評估，因此，HS 的種群規模和迭代次數分別設為40 000 和6。總而言之，為保證無偏性，經過種群規模和總迭代次數的設定，各算法的總函數評估次數均設定為40 000 次，這保證了各對比算法的時間復雜度大致相同。

表6 對比算法及參數集Tab.6 Comparison algorithms and parameter sets

如表6 所示，HS，PSO 以及GA 這3 種算法還存在一些特殊參數。對于HS，HMCR，PAR和BW分別表示和聲記憶庫取值概率、音調調整概率和調音帶寬，取值分別為0.9，0.3 和0.1；對于PSO，vmax代表粒子移動的最大速度，w1，w2表示初始權重和最終權重，c1，c2分別表示認知參數和社會參數，5 種參數的取值依次為20，0.9，0.4，1.2 和1.2；對于GA，選擇輪盤賭染色體復制策略、均勻交叉策略以及隨機選擇變異策略，其中，pc，pm分別表示染色體交叉概率、變異概率，取值分別為0.7 和0.3。以上算法中各個特殊參數的取值均是在原始論文基礎上多次實驗的經驗值。

表7 列出了對比算法在40 維測試函數上的實驗結果，粗體顯示最佳結果。由表7 可知，MTLBO3在函數F1—F4 上遠勝過其他對比方法，其次是TLBO，其中，對于函數F1 以及F4，MTLBO3 獲得的均值和標準差均為0，這說明該方法每次實驗均可以得到理論最優解，其魯棒性較強。對于函數F5 和F11，TLBO 略勝于MTLBO3，獲得最好的數值結果。對于函數F6 和F10，MTLBO3 的數值結果勝過其他對比方法。最后，對于F7 和F9，TLBO 和MTLBO3 均得到理論最優解，優劣無法從數值結果得出，下面將進一步利用收斂曲線進行對比。可以看出，MTLBO3 的數值結果在大多數問題上優于其他對比算法，且在4 個函數優化問題（F1，F3，F7 以及F9）上1 000 次迭代內均收斂到理論最佳解。此外，MTLBO3 在大多數問題上具有最小的方差，這說明算法性能穩定，魯棒性較好。

表7 6 種對比算法在基準函數上的實驗結果Tab.7 Experimental results of six algorithms on the benchmark functions

HS，PSO，GA，MFO，TLBO 以及MTLBO3這6 種算法在11 個測試函數上30 次獨立運行的總時間列于表8。由表8 可知，TLBO 和MTLBO 的運行時間明顯優于其他算法。具體地，TLBO 在函數F1，F2，F3，F6 以及F8 上取得最短的運行時間，而MTLBO3 則在函數F4，F5，F7，F9，F10以及F11 具有最高的計算效率。總體上講，MTLBO3和TLBO 計算效率差異不大，MTLBO3 略勝一籌，同時前者在計算精度上優于后者。

表8 6 種對比算法在11 個測試函數上的運行時間Tab.8 Running time of 6 comparison algorithms on 11 test functions s

為進一步對比算法性能，畫出了6 種對比算法在部分基準測試函數上的收斂曲線，如圖3 所示。可以看出，MTLBO3 在所有問題上均具有最高的收斂速度。綜合表7 中的數值結果，盡管在函數F5 上TLBO 數值結果更優，但是，MTLBO3的收斂速度更快。此外，在函數F7 和F9 上，MTLBO3 的收斂速度都快于TLBO。綜上所述，MTLBO 明顯改進了標準TLBO 的搜尋性能。

圖3 6 種比較算法在部分測試函數上的收斂曲線Fig.3 Convergence curves of 6 comparison algorithms on some test functions

3.3 約束優化問題

由于函數F1—F11 均為無約束優化問題，為進一步驗證本文所設計策略的有效性，使用一個約束優化問題-拉伸/壓縮彈簧設計優化問題進行實驗。該優化問題的目的是彈簧質量的最小值，其中，包含線徑d，平均線圈直徑D'和有效線圈數N'這3 個設計變量，以及與剪應力、彈簧顫動頻率和最小撓度相關4 個約束條件。拉伸/壓縮彈簧設計優化問題的物理模型如圖4 所示，數學模型如下：

圖4 拉伸/壓縮彈簧設計優化問題Fig. 4 Tension/compression spring design problem

設計變量范圍

所有算法在30 次獨立運行中所得到的最佳實驗結果如表9 所示。其中，算法HS，PSO，GA，MFO 以及MHHO 的實驗結果直接來源于文獻[17]。由表9 可知，基于非線性收斂因子策略的MTLBO1的結果優于其他對比算法，MTLBO2 和MTLBO3的實驗結果卻要差于原始TLBO。因此，在使用教與學優化算法解決拉伸/壓縮彈簧設計優化問題時，非線性收斂因子策略依然是一種有效的策略，而標桿管理策略不再適用。綜上可知，在使用教與學優化算法求解無約束優化問題時，設計的2 種策略均是有效的，特別是標桿管理策略效果顯著，而在求解無約束優化問題時，僅有非線性收斂因子策略有效。

表9 拉伸/壓縮彈簧問題結果對比Tab.9 Comparison of results for tension/compression spring problem

4 結束語

針對標準TLBO 尋優精度不高、局部最優避免性差以及收斂速度較慢的問題，本文在TLBO的基礎上引入2 種改進策略：非線性收斂因子調整策略以及標桿管理策略。隨后，基于2 種策略的數學組合設計了3 種MTLBO 的變體，為驗證改進算法的性能，通過一組函數優化問題與標準TLBO 進行了實驗對比與分析。結果顯示，3 種MTLBO 都勝過標準TLBO，其中，引入2 種改進策略的MTLBO3 表現最優，其很好地平衡了算法的全局搜索性和局部開發性，數值結果遠勝于標準TLBO。為增強說服力，使用著名的群智能優化算法與MTLBO3 進行了實驗對比與分析。數值結果、計算效率和收斂曲線表明，MTLBO3 在尋優精度、局部最優避免性以及收斂速度等性能上優于其他對比算法。最后，基于工程設計約束優化問題進一步驗證2 種策略的有效性。結果表明，在無約束優化問題中，非線性收斂因子調整策略依然能改進TLBO 的性能，而標桿管理策略可能不再適用。