嵌入共軛梯度的二次學(xué)習(xí)教與學(xué)優(yōu)化算法*

王培崇，彭菲菲，錢　旭1.河北地質(zhì)大學(xué) 信息工程學(xué)院，石家莊 05001.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京 10008.北京郵電大學(xué) 圖書館，北京 10008

?

嵌入共軛梯度的二次學(xué)習(xí)教與學(xué)優(yōu)化算法*

王培崇1,2+，彭菲菲3，錢旭2
1.河北地質(zhì)大學(xué) 信息工程學(xué)院，石家莊 050031
2.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京 100083
3.北京郵電大學(xué) 圖書館，北京 100083

WANG Peichong,PENG Feifei,QIAN Xu.Improved teaching-learning based optimization algorithm with conjugate gradient methods and second study.Journal of Frontiers of Computer Science and Technology, 2016,10(6)：891-900.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2015-11-24,http://www.cnki.net/kcms/detail/11.5602.TP.20151124.1414.006.htmland GL(Gaussian learning)will be executed to them.Finally,some experiments on test functions show that the improved TLBO algorithm has higher precision and better global convergence than TLBO,fitting to solve higher dimension optimization functions.

摘要：教與學(xué)優(yōu)化算法通過模擬自然班的教與學(xué)行為實(shí)現(xiàn)復(fù)雜問題的求解，已經(jīng)得到較為廣泛的應(yīng)用。為了克服該算法容易早熟，解精度低的弱點(diǎn)，提出了一種改進(jìn)的混合混沌共軛梯度法教與學(xué)優(yōu)化算法。改進(jìn)算法應(yīng)用Chebyshev混沌映射初始化種群，以提高初始種群對(duì)解空間的覆蓋。為了保持種群多樣性，引入動(dòng)態(tài)學(xué)習(xí)因子，使學(xué)生個(gè)體能夠在早期主要向教師學(xué)習(xí)，并逐漸提高個(gè)人知識(shí)對(duì)其進(jìn)化的影響比例。每次迭代后，教師個(gè)體將執(zhí)行共軛梯度搜索。種群內(nèi)適應(yīng)度較差的學(xué)生個(gè)體如果長(zhǎng)時(shí)間狀態(tài)難以改變，則基于反向?qū)W習(xí)和高斯學(xué)習(xí)進(jìn)行二次學(xué)習(xí)優(yōu)化。最后在多個(gè)典型測(cè)試函數(shù)上的實(shí)驗(yàn)表明，改進(jìn)算法對(duì)比相關(guān)算法具有較佳的全局收斂性，解精度較高，適用于求解較高維的函數(shù)優(yōu)化問題。

關(guān)鍵詞：教與學(xué)優(yōu)化算法；Chebyshev映射；動(dòng)態(tài)自適應(yīng)學(xué)習(xí)；共軛梯度法；二次學(xué)習(xí)

ISSN 1673-9418CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(06)-0891-10

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

1　引言

2012年印度學(xué)者Rao等人[1]通過研究、模擬班級(jí)的群體學(xué)習(xí)現(xiàn)象，提出了一種新穎的演化算法——教與學(xué)優(yōu)化（teaching learning based optimization，TLBO）算法[1-2]。在該算法中，執(zhí)行演化的種群被劃分為教師和學(xué)生兩類。教師是種群內(nèi)適應(yīng)度最佳個(gè)體，教師通過“教”對(duì)學(xué)生進(jìn)行教學(xué)，學(xué)生通過“學(xué)”實(shí)現(xiàn)學(xué)生間的相互學(xué)習(xí)。該算法由于原理簡(jiǎn)單，容易理解，參數(shù)較少，一經(jīng)提出即吸引了較多學(xué)者圍繞它展開相關(guān)研究，并被成功應(yīng)用于神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化[3]、熱點(diǎn)冷卻器優(yōu)化和熱交換器優(yōu)化[4]、平面鋼框架的設(shè)計(jì)優(yōu)化[5]、電力系統(tǒng)經(jīng)濟(jì)負(fù)荷調(diào)度問題[6]、機(jī)械設(shè)計(jì)優(yōu)化問題[7]、烯裂解爐裂解運(yùn)行效益優(yōu)化[8]等領(lǐng)域。

研究表明，TLBO算法在求解較低維度函數(shù)時(shí)，表現(xiàn)出較好的求解效果，而在求解高維問題時(shí)，往往容易出現(xiàn)早熟，解精度較低等現(xiàn)象[9]。為了克服算法的這些弱點(diǎn)，Rao等人提出了一種精英教學(xué)優(yōu)化算法（elitist TLBO，ETLBO）[9]，每次迭代前，利用精英個(gè)體替換種群內(nèi)的最差個(gè)體，同時(shí)通過變異機(jī)制刪除重復(fù)的學(xué)生個(gè)體。文獻(xiàn)[10]提出了一種帶有交叉操作的教與學(xué)優(yōu)化算法（cross-TLBO，C-TLBO），即在TLBO算法中引入遺傳算法中的交叉操作，將“教”和“學(xué)”兩個(gè)階段進(jìn)行了有效融合，算法的局部搜索得到增強(qiáng)，平衡了算法的開采和勘探能力。Rajasekhar等人提出了一種相對(duì)精英教學(xué)優(yōu)化算法（opposite ETLBO，OETLBO）[11]，有效避免了種群容易聚集在局部最優(yōu)個(gè)體周圍的弱點(diǎn)，在算法后期能夠較好地保持種群多樣性。于坤杰等人[12]在ETLBO算法基礎(chǔ)上增加了針對(duì)快速提升較差學(xué)生分?jǐn)?shù)的精英反饋機(jī)制，利用精英個(gè)體的較強(qiáng)引導(dǎo)能力，加快種群的收斂速度，提升了算法的精度。

為了改善TLBO的全局收斂能力，提高解精度，本文對(duì)標(biāo)準(zhǔn)TLBO進(jìn)行了如下4個(gè)方面的改進(jìn)。首先，利用Chebyshev混沌[13]機(jī)制的初始化種群，提高種群對(duì)解空間的覆蓋率。第二，為了體現(xiàn)學(xué)生學(xué)習(xí)知識(shí)過程的動(dòng)態(tài)性，引入一個(gè)動(dòng)態(tài)自適應(yīng)因子，使算法早期學(xué)生主要向教師學(xué)習(xí)，快速提升自己的能力，后期逐漸增加自身知識(shí)對(duì)其進(jìn)化的影響。第三，為了加強(qiáng)對(duì)最優(yōu)解空間的局部搜索，以教師個(gè)體所在點(diǎn)為起始點(diǎn)，執(zhí)行共軛梯度[14]搜索。第四，種群內(nèi)的部分劣質(zhì)個(gè)體，如果經(jīng)過多次迭代之后仍然難以提高，則應(yīng)用反向?qū)W習(xí)（opposition-based learning，OBL）[15]和高斯學(xué)習(xí)（Gaussian learning，GL）[16]對(duì)其進(jìn)行二次強(qiáng)化學(xué)習(xí)，使其跳出局部極值的約束。

2　標(biāo)準(zhǔn)教與學(xué)優(yōu)化算法

假設(shè)問題的解空間為D維，將班級(jí)內(nèi)的教師和學(xué)生看作待求解問題的候選解，標(biāo)準(zhǔn)TLBO算法就是將優(yōu)化問題求解看成是在該D維空間內(nèi)的一個(gè)搜索過程。班級(jí)內(nèi)每一個(gè)人所具有的知識(shí)被看作一個(gè)可能的候選解，相應(yīng)解的適應(yīng)度對(duì)應(yīng)知識(shí)的質(zhì)量。

不失一般性，以最小化問題minf(x1,x2,?,xn)為研究實(shí)例，其中xi∈[Lj,Uj]，1≤j≤n。標(biāo)準(zhǔn)教與學(xué)優(yōu)化算法，首先在解空間內(nèi)隨機(jī)初始化產(chǎn)生N個(gè)個(gè)體，組成教學(xué)班級(jí)。完成種群初始化，最大迭代次數(shù)等設(shè)置后，算法進(jìn)入迭代演化過程。該算法包含3個(gè)基本操作。

（1）以式（1）在解空間進(jìn)行種群初始化。

其中rand(0,1)為(0,1)上的隨機(jī)數(shù)，xi∈[Lj,Uj]。

（2）教師教學(xué)階段。計(jì)算班級(jí)內(nèi)全部個(gè)體的平均值 Xmean(t)，設(shè)教學(xué)因子為 β=round(1+rand(0,1))（注：round()為四舍五入），對(duì)種群中所有個(gè)體執(zhí)行式（2）生成其子個(gè)體的第d維，并以優(yōu)勝劣汰的方式更新Xi(t)。

（3）學(xué)生互相學(xué)習(xí)階段。從種群中隨機(jī)選擇兩互不相同的個(gè)體Xr1(t)、Xr2(t)，令個(gè)體Xi(t)向其中優(yōu)秀的個(gè)體進(jìn)行學(xué)習(xí)。以式（3）生成子個(gè)體，同樣優(yōu)勝劣汰更新Xi(t)。

3　TLBO算法的改進(jìn)

影響TLBO算法早熟的主要原因之一是所求問題的解空間分布。由于種群數(shù)量有限，且分布具有一定的隨機(jī)性，對(duì)于較復(fù)雜的問題而言，當(dāng)前優(yōu)質(zhì)解的收斂方向不一定就是全局最優(yōu)解的收斂方向。求單峰問題中，下面兩種情況容易發(fā)生算法的提前收斂。第一，最優(yōu)解區(qū)域附近種群個(gè)體適應(yīng)度跨度變化較大；第二，最優(yōu)個(gè)體和次優(yōu)個(gè)體的適應(yīng)度相差較小。而在多峰問題中，如果解與解之間相距較遠(yuǎn)，也很難保證種群能夠覆蓋到全部最優(yōu)區(qū)域。

在實(shí)際應(yīng)用中，為了保證運(yùn)算速度，種群規(guī)模設(shè)置有限，種群中個(gè)體采用隨機(jī)初始化產(chǎn)生，故種群所覆蓋的解空間存在不確定性。在初始種群沒有覆蓋到全局最優(yōu)解的情況下，如果在有限迭代次數(shù)內(nèi)，無法搜索到最優(yōu)解所在區(qū)域，則算法早熟是難以避免的。因此，為了改善算法的性能，一方面要提高種群的多樣性，擴(kuò)大搜索范圍；另一方面要加強(qiáng)對(duì)最優(yōu)解所在區(qū)域的搜索，平衡全局搜索與局部搜索。

3.1Chebyshev混沌種群初始化

大自然中的混沌現(xiàn)象，是一種確定性系統(tǒng)中存在的隨機(jī)狀態(tài)，具有非常強(qiáng)的遍歷性、隨機(jī)性和規(guī)律性。混沌行為本質(zhì)上是由確定性的規(guī)則導(dǎo)致，對(duì)初始條件敏感，為無固定周期的一種長(zhǎng)期行為。在一定范圍內(nèi)，混沌行為能夠使個(gè)體不重復(fù)地遍歷自身所有狀態(tài)。常見的混沌擾動(dòng)方程為L(zhǎng)ogistic方程和Chebyshev映射。Chebyshev映射的方程為式（4）。

式中取k≥2，無論初始值的選擇如何，迭代產(chǎn)生的數(shù)據(jù)序列均不會(huì)相交。相關(guān)研究表明，Chebyshev映射的分布范圍較廣，能夠比較均勻地分布在[-1,1]區(qū)間上。因此，采用Chebyshev映射機(jī)制初始化的種群，分布會(huì)比較均勻且覆蓋廣泛。改進(jìn)TLBO算法中應(yīng)用Chebyshev混沌映射產(chǎn)生初始化種群，方法如下所述。

3.2學(xué)生的動(dòng)態(tài)自適應(yīng)學(xué)習(xí)

在學(xué)生進(jìn)行學(xué)習(xí)的過程中，學(xué)生自身所具有的知識(shí)和教師的“教”行為共同對(duì)該學(xué)生自身狀態(tài)的提高產(chǎn)生影響。在初始階段，學(xué)生本身的知識(shí)較少，比較多地受到教師“教”行為的影響，而隨著學(xué)生不斷的學(xué)習(xí)，自身知識(shí)的提升，教師的“教”行為往往對(duì)學(xué)生知識(shí)素質(zhì)的提升逐漸減少。但是，標(biāo)準(zhǔn)TLBO算法中學(xué)生自身狀態(tài)的進(jìn)化通過式（2）來實(shí)現(xiàn)，并沒有體現(xiàn)這一學(xué)習(xí)過程。為了體現(xiàn)這一學(xué)習(xí)過程，本文在式（2）中引入一個(gè)動(dòng)態(tài)學(xué)習(xí)因子ω。改進(jìn)后的教師“教”行為見式（5）。

考慮公式中的比例因子ω∈[ωmin,ωmax]動(dòng)態(tài)變化，并且應(yīng)該與算法迭代次數(shù)有關(guān)，設(shè)置其依據(jù)式（6）進(jìn)行變化。

其中,ωstart、ωend是該因子的變化范圍。

通過式（5）可以看出，在算法迭代初期，由于ω因子較小，種群中的學(xué)生個(gè)體主要是向教師學(xué)習(xí)，由于教師是種群內(nèi)的最優(yōu)個(gè)體，種群迅速向教師個(gè)體所在空間靠近。隨著迭代的進(jìn)行，ω逐漸增加，學(xué)生個(gè)體自身知識(shí)在其進(jìn)化過程中所占比例不斷增加，算法種群多樣性保持較好，避免學(xué)生群體過早聚集于教師周圍，造成算法早熟。

3.3教師的共軛梯度搜索

最初的共軛梯度法主要用于求解正定系數(shù)矩陣的線性方程組。后來，在基本共軛梯度法基礎(chǔ)上，F(xiàn)letcher和Reeves對(duì)該方法進(jìn)行了改進(jìn)和完善，使得該算法能夠用于求解大型非線性無約束最優(yōu)化問題[14]。在該方法中，主要應(yīng)用目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息，通過多次迭代對(duì)某個(gè)節(jié)點(diǎn)的周圍進(jìn)行搜索，既克服了最速下降法收斂速度慢的弱點(diǎn)，又有效克服了牛頓迭代法需要存儲(chǔ)和計(jì)算Heslan矩陣及求逆的缺點(diǎn)，能夠快速收斂到所求問題的最優(yōu)解。

算法1共軛梯度法（conjugate gradient method, CGM）

輸入：初始點(diǎn)X0，精度eps。

輸出：最優(yōu)點(diǎn)Xk+1。

步驟1迭代次數(shù)計(jì)數(shù)器t=0，初始搜索方向d0=-g0。

步驟3計(jì)算ak和Xk+1，使得式（7）成立：

步驟4應(yīng)用Fletcher和Reeves方法計(jì)算dk+1：

步驟5令t=t+1，goto步驟2。

在TLBO算法中，教師個(gè)體Xteach(t)一定程度上代表了種群的前進(jìn)方向，由TLBO算法原理可以看出，學(xué)生個(gè)體通過式（2）、（3）學(xué)習(xí)進(jìn)化，一方面向Xteach(t)所在空間靠近，一方面通過互相學(xué)習(xí)保持種群多樣性。但是TLBO算法一個(gè)明顯的缺點(diǎn)是教師個(gè)體缺少學(xué)習(xí)機(jī)制，即沒有對(duì)教師Xteach(t)所在空間進(jìn)行精細(xì)的局部搜索。以最小化minf(x)示例，如果使教師個(gè)體按照下降的方向進(jìn)行搜尋，將會(huì)提高算法的效率。共軛梯度算法恰好能夠按照負(fù)梯度方向?qū)ふ蚁乱粋€(gè)結(jié)點(diǎn)，因?yàn)樨?fù)梯度方向是個(gè)體的下降方向，所以尋找到的結(jié)點(diǎn)要優(yōu)于初始結(jié)點(diǎn)。

共軛梯度法局部搜索能力強(qiáng)，但是該算法搜索到的最優(yōu)點(diǎn)不一定是全局最優(yōu)點(diǎn)。因此為了提高算法的整體效率，設(shè)置共軛梯度算法的終止條件為兩種：第一種是解的精度。但是考慮在某些問題的求解過程中，即使設(shè)置較低的精度要求，共軛梯度算法的迭代次數(shù)仍然很高，因此算法的第二個(gè)終止條件是設(shè)定固定的迭代次數(shù)。搜索完畢后，直接應(yīng)用所得到的點(diǎn)Xk+1替換教師個(gè)體Xteach(t)。

3.4劣質(zhì)個(gè)體的二次強(qiáng)化學(xué)習(xí)

觀察TLBO的原理，可知TLBO算法通過應(yīng)用班級(jí)的平均值與教師的差引導(dǎo)種群的進(jìn)化，提升種群的平均值。

在實(shí)際算法運(yùn)行過程中，觀察到在求解高維的多峰函數(shù)優(yōu)化時(shí)，存在部分劣質(zhì)個(gè)體經(jīng)過多次迭代學(xué)習(xí)后，仍然難以進(jìn)化，或者進(jìn)化幅度非常低，影響種群平均值的快速提高。這與現(xiàn)實(shí)的學(xué)習(xí)過程中，班級(jí)中通常會(huì)存在個(gè)別學(xué)生難以提升有相似性。針對(duì)此現(xiàn)象，通常會(huì)對(duì)學(xué)習(xí)較差的學(xué)生采取多種方法進(jìn)行輔導(dǎo)，以提升這些學(xué)生的素質(zhì)。

本文為了提高劣質(zhì)個(gè)體的進(jìn)化能力，改善其自身的狀態(tài)，加速算法收斂，對(duì)這些長(zhǎng)時(shí)間沒有得到提高的劣質(zhì)個(gè)體采取兩種學(xué)習(xí)機(jī)制進(jìn)行二次學(xué)習(xí)，然后基于模擬退火機(jī)制進(jìn)行輪盤賭選擇學(xué)習(xí)后的新狀態(tài)。

定義1[15]（反向解）設(shè)在區(qū)間[a,b]上存在一個(gè)實(shí)數(shù)x，則x的反向數(shù)定義為x′=a+b-x。鑒于此，假設(shè)在R域上存在某N維點(diǎn)X=(x1,x2,?,xi,?,xN)，并且xi∈[ai,bi]，則定義X′=(x1′,x2′,?,xi′,?,xN′)為X的反向點(diǎn)。其中，xi′=k×(ai+bi)-xi，k為[0,1]之間分布均勻的隨機(jī)數(shù)，稱作一般化系數(shù)。

算法2反向?qū)W習(xí)算法（OBL）

輸入：個(gè)體Xi(t)，限制區(qū)間[a,b]，最大迭代次數(shù)Itermax。

步驟1設(shè)置迭代次數(shù)為t=0。

步驟2生成一般化系數(shù)k∈[0,1]，依據(jù)定義1生成反向解Xt′(t)。

步驟3迭代次數(shù)沒有滿足結(jié)束條件，則t=t+1, 并goto步驟2。

借鑒參考文獻(xiàn)[16]中的高斯學(xué)習(xí)概念。

定義2[16]（高斯學(xué)習(xí)）設(shè)D是問題的解空間維數(shù)，則個(gè)體Xi(t)在d維上的高斯學(xué)習(xí)定義：

Gussian(μ,σ2)產(chǎn)生一個(gè)服從高斯分布的隨機(jī)數(shù)，均值為μ，方差為σ2，λ∈(0,1)。

教師是種群中的最優(yōu)個(gè)體，一定程度上代表了種群的演化方向，因此模擬退火的選擇機(jī)制設(shè)置如下。

設(shè)當(dāng)前溫度是k，則可以通過式（10）得到某個(gè)體Xi(t)對(duì)于教師個(gè)體Xteach(t)的突跳概率，并利用式（11）得到Xi(t)替換Xteach(t)的概率。

基于替換概率pic以輪盤賭方式選擇一個(gè)個(gè)體更新Xi(t)。

為了提高算法效率，本文設(shè)定為每隔100代，針對(duì)種群中的最差個(gè)體進(jìn)行一次檢查，當(dāng)該個(gè)體的變化幅度低于閾值σ=0.01時(shí)執(zhí)行二次強(qiáng)化學(xué)習(xí)。

3.5改進(jìn)算法的步驟

算法3 CCGTLBO（chaotic and conjugate gradient TLBO）

輸入：個(gè)體X0(0)，種群數(shù)目N。

輸出：最優(yōu)個(gè)體Xgbest(t)。

步驟1以X0(0)為起點(diǎn)，依據(jù)式（4）進(jìn)行迭代，直至產(chǎn)生N個(gè)個(gè)體，組成初始種群POP(0)，迭代計(jì)數(shù)器t=0。

步驟2在種群中搜索適應(yīng)度最佳個(gè)體，設(shè)為教師Xteach(t)，并計(jì)算班級(jí)的平均值Xavg(t)。

步驟3依據(jù)式（5）進(jìn)行教師的“教”行為。

步驟4依據(jù)式（3）實(shí)現(xiàn)學(xué)生的互相“學(xué)”行為。

步驟5對(duì)教師個(gè)體Xteach(t)實(shí)施共軛梯度算法搜索。

步驟5.1設(shè)定共軛梯度算法的相應(yīng)參數(shù)，迭代次數(shù)k=0；

步驟5.2如果滿足共軛梯度法終止條件，goto步驟6；

步驟5.3a=1；

步驟5.5應(yīng)用Fletcher和Reeves方法計(jì)算dk+1，k=k+1，goto步驟5.2。

步驟6更新教師個(gè)體Xteach(t)=Xk+1。

步驟7種群內(nèi)的最差個(gè)體在100次迭代后，如果其變化幅度小于指定的閾值σ，則對(duì)其執(zhí)行3.4節(jié)中設(shè)定的二次強(qiáng)化學(xué)習(xí)，否則goto步驟8。

步驟8算法滿足結(jié)束條件，則輸出Xgbest(t)，結(jié)束算法；否則goto步驟2。

4　仿真實(shí)驗(yàn)與分析

4.1實(shí)驗(yàn)1

將CCGTLBO算法應(yīng)用C語言編程實(shí)現(xiàn)，在VC6的環(huán)境下編譯運(yùn)行，以測(cè)試算法的性能。計(jì)算機(jī)的硬件配置是AMD Turion64雙核CPU，2.0 GHz主頻，2 GB內(nèi)存。測(cè)試函數(shù)選擇6個(gè)經(jīng)典Benchmark[12]函數(shù)，其中包括 f1-Sphere、f2-Rosenbrock、f3-Schwefel、f4-Rastrigin、f5-Ackley、f6-GireWank，分別測(cè)試6個(gè)函數(shù)的30維和100維度兩個(gè)維度，以驗(yàn)證改進(jìn)算法在低維度和高維度兩種情況下的求解性能。參與對(duì)比的算法包括TLBO、ITLBO[17]（improved TLBO）、ETLBO、AFSA[18]（artificial fish swarm algorithm）等。CCGTLBO的種群設(shè)置為20，迭代次數(shù)設(shè)為1 000，嵌入的共軛梯度搜索的迭代次數(shù)是100，精度為0.001，自適應(yīng)學(xué)習(xí)算子上下界限是λstart=0.1，λend=1.5。ITLBO、ETLBO兩個(gè)算法的參數(shù)設(shè)置遵循相關(guān)文獻(xiàn)。AFSA算法的參數(shù)設(shè)置如下：魚群規(guī)模 fish_number= 20，視野范圍visual=5，移動(dòng)步長(zhǎng)step=1，擁擠度因子delta=0.5，嘗試次數(shù)try_number=3，迭代次數(shù)itermax=1 000。

為體現(xiàn)公平，減少算法的偶然性所帶來的誤差，將上述參與對(duì)比的算法分別獨(dú)立運(yùn)行30次，取它們的解平均值及解標(biāo)準(zhǔn)差，求解結(jié)果列于表1。在表2中列出了5個(gè)算法在測(cè)試函數(shù)上收斂成功的次數(shù)、平均收斂代數(shù)、運(yùn)行時(shí)間等指標(biāo)。因?yàn)锳FSA算法在所有的測(cè)試函數(shù)上均沒有成功收斂，所以表2中只給出了TLBO以及相關(guān)算法的數(shù)據(jù)。

觀察表1、表2中的數(shù)據(jù)，人工魚群算法的表現(xiàn)較TLBO算法的解精度相差較多，在全部6個(gè)測(cè)試函數(shù)上都沒有找到最優(yōu)解，但是人工魚群算法解的標(biāo)準(zhǔn)差相比較TLBO算法并不低多少，尤其在單峰的 f1函數(shù)上，AFSA算法的解標(biāo)準(zhǔn)差還要比TLBO算法優(yōu)秀，說明人工魚群算法要比TLBO穩(wěn)定，亦是一個(gè)優(yōu)秀的演化算法，在解精度要求不高的情況下可以用來快速獲得可行解。

在 f1函數(shù)的維度為30時(shí)，CCGTLBO算法正確找到了函數(shù)的最優(yōu)解，而參與對(duì)比的ETLBO、ITLBO、TLBO算法均沒有找到全局最優(yōu)解。函數(shù)維度為100時(shí)，4個(gè)算法均沒有在迭代次數(shù)內(nèi)尋找到全局最優(yōu)解，但是CCGTLBO算法的精度是最高的，要遠(yuǎn)遠(yuǎn)超過其他3個(gè)算法。 f2函數(shù)在局部極值附近存在陡峭的峽谷，4個(gè)算法均沒有找到最優(yōu)值。但是CCGTLBO算法的解精度、標(biāo)準(zhǔn)差仍然是最好的。注意到這4個(gè)算法，在30維的結(jié)果與100維的結(jié)果幾乎都是一個(gè)數(shù)量級(jí)，變化很小，說明在求解 f2函數(shù)時(shí)，TLBO系列算法較難克服局部極值的約束，解精度較低，需要引入其他優(yōu)秀的演化算法機(jī)制進(jìn)行改進(jìn)。函數(shù) f3是一個(gè)單峰函數(shù)，主要用于對(duì)比算法的解精度。在兩種維度上，改進(jìn)后的3個(gè)算法均較為輕松地尋找到了全局最優(yōu)值，較標(biāo)準(zhǔn)TLBO算法有較大幅度提高。對(duì)比表2中所列出的3個(gè)算法的其他指標(biāo)，CCGTLBO算法收斂成功的迭代次數(shù)要小于ETLBO、ITLBO算法。函數(shù) f4同樣是一個(gè)多峰函數(shù)，存在較多的極值點(diǎn)，需要算法具有較好的跳出局部極值約束的能力。與 f3函數(shù)的結(jié)果一樣，改進(jìn)后的3個(gè)算法均找到了全局最優(yōu)值，CCGTLBO算法在該函數(shù)上的表現(xiàn)是最好的，所需迭代次數(shù)最少。在多峰的 f5函數(shù)上，參與對(duì)比的算法均沒有找到全局最優(yōu)值，在30維時(shí)，CCGTLBO算法的求解結(jié)果甚至稍劣于ETLBO算法，與ITLBO算法基本相當(dāng)。但是當(dāng)函數(shù)維度升為100時(shí)，CCGTLBO算法的求解結(jié)果較30維時(shí)基本沒有下降，而ETLBO、ITLBO算法均有所下降，說明CCGTLBO算法的穩(wěn)定性要更好一些。另外，其成功收斂的次數(shù)是最多的，且所需平均收斂代數(shù)最少。 f6函數(shù)也是一個(gè)多峰函數(shù)，CCGTLBO算法的表現(xiàn)優(yōu)異，與ETLBO、ITLBO算法一樣都成功收斂30次，找到了函數(shù)的全局最優(yōu)解，并且所需迭代次數(shù)較少。

Table 1　Comparison of mean for unconstrained benchmark functionsf1～f6(Std)表1　無約束測(cè)試函數(shù) f1～f6上的結(jié)果平均值對(duì)比（標(biāo)準(zhǔn)差）

Table 2　Success number,average convergence iterations and average time for unconstrained benchmark functionsf1～f6表2　無約束測(cè)試函數(shù)f1～f6上成功次數(shù)、平均收斂代數(shù)、平均時(shí)間

為了更直觀地觀察算法在函數(shù)上的收斂效果，繪制了其中4個(gè)算法分別在 f1、f2、f5、f6上的收斂曲線，如圖1、圖2、圖3、圖4所示。從4個(gè)圖展示的收斂曲線可以看出，本文提出的CCGTLBO算法在4個(gè)函數(shù)上，均能夠快速收斂。在 f1函數(shù)上，CCGTLBO、ITLBO、ETLBO算法的收斂曲線基本一致，較TLBO算法收斂到全局最優(yōu)值更加迅速。

在另外的3個(gè)算法上，標(biāo)準(zhǔn)TLBO算法的收斂曲線比較緩慢，尤其是在 f2函數(shù)上還有跳躍，而3個(gè)改進(jìn)算法收斂曲線比較平滑，尤其是CCGTLBO算法的收斂曲線更為平穩(wěn)，能夠快速收斂。

Fig.1　Convergence curves off1圖1　f1函數(shù)上的收斂曲線

Fig.2　Convergence curves off2圖2　f2函數(shù)上的收斂曲線

Fig.3　Convergence curves off5圖3　f5函數(shù)上的收斂曲線

Fig.4　Convergence curves off6圖4　f6函數(shù)上的收斂曲線

從上面的分析可以看到，CCGTLBO算法的解精度在所測(cè)試的6個(gè)函數(shù)上，較TLBO算法有較大提高，尤其在TLBO算法表現(xiàn)較差的高維度函數(shù)上，優(yōu)勢(shì)更加明顯。在大部分的函數(shù)上，也較ETLBO、ITLBO兩個(gè)算法優(yōu)秀。在時(shí)間的對(duì)比上，CCGTLBO算法相比較其他算法不占優(yōu)勢(shì)，幾乎所有測(cè)試函數(shù)所需時(shí)間均是最長(zhǎng)的。主要是因?yàn)樵摳倪M(jìn)算法中融入了多種改進(jìn)機(jī)制和相關(guān)算法，增加了整個(gè)算法的計(jì)算時(shí)間。綜合考慮，該算法仍然可以認(rèn)為是一個(gè)優(yōu)秀的算法，對(duì)TLBO的改進(jìn)是成功的。

4.2實(shí)驗(yàn)2

繼續(xù)選擇兩個(gè)非線性方程進(jìn)行測(cè)試，以檢測(cè)改進(jìn)后算法的可行性及其優(yōu)勢(shì)，所選擇的兩個(gè)測(cè)試實(shí)例分別來自實(shí)際工程和科學(xué)計(jì)算領(lǐng)域。在這項(xiàng)測(cè)試中，選擇了TLBO和CCGTLBO兩個(gè)算法，并分別獨(dú)立執(zhí)行50次，算法的參數(shù)設(shè)置同實(shí)驗(yàn)1。對(duì)比結(jié)果見表3。

例1

Table 3　Results comparison of TLBO and CCGTLBO for solving nonlinear equations表3　TLBO與CCGTLBO求解非線性方程組的結(jié)果對(duì)比

該方程理論精確解是x*=(4,3,1)T，求解范圍是x∈[0,10]。

通過表3所列數(shù)據(jù)可以看出，在兩個(gè)示例上，CCGTLBO算法的解精度和搜索成功率均要優(yōu)于標(biāo)準(zhǔn)TLBO，證明改進(jìn)后算法的穩(wěn)定性和全局收斂能力較標(biāo)準(zhǔn)教與學(xué)優(yōu)化算法有了很大的提高。

5　結(jié)束語

本文針對(duì)教與學(xué)優(yōu)化算法在求解高維問題時(shí)，容易出現(xiàn)早熟，解精度較低的弱點(diǎn)，通過引入4點(diǎn)改進(jìn)機(jī)制提升算法的性能。首先，通過利用Chebyshev混沌優(yōu)化機(jī)制實(shí)現(xiàn)種群初始化，提高原始種群對(duì)于解空間的覆蓋。為了加強(qiáng)算法的局部搜索能力，嵌入精英個(gè)體的共軛梯度搜索機(jī)制。通過引入一個(gè)動(dòng)態(tài)自適應(yīng)學(xué)習(xí)因子，使種群的多樣性得以保持。針對(duì)多次迭代后仍然難以提高的劣質(zhì)個(gè)體，采用反向?qū)W習(xí)和高斯學(xué)習(xí)對(duì)其進(jìn)行二次強(qiáng)化學(xué)習(xí)，協(xié)助它們跳出局部極值的約束。最后一系列的實(shí)驗(yàn)表明，改進(jìn)算法在收斂精度、成功率方面均優(yōu)于標(biāo)準(zhǔn)TLBO算法，適合于求解高維的函數(shù)優(yōu)化問題。

教與學(xué)優(yōu)化算法出現(xiàn)時(shí)間較短，但已經(jīng)引起國內(nèi)外專家學(xué)者的注意。今后將會(huì)針對(duì)其收斂性進(jìn)行理論方面的論證，以及研究如何借鑒傳統(tǒng)的演化算法優(yōu)點(diǎn)，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，拓展其應(yīng)用領(lǐng)域。

References:

[1]Rao RV,SavsaniVJ,Vakharia D P.Teaching-learning-based optimization:an optimization method for continuous nonlinear large scale problems[J].Information Sciences,2012, 183:1-15.

[2]?repin?ek M,Liu S H,Mernik L.Anote on teaching-learningbased optimization algorithm[J].Information Sciences,2012, 212:79-93.

[3]Tuo Shouheng.A modified teaching-learning-based optimization algorithm and application in neural networks[J]. CAAI Transactions on Intelligent Systems,2013,8(4):327-332.

[4]Rao R V,Patel V.Multi-objective optimization of heat exchangers using a modified teaching-learning-based optimization algorithm[J].Applied Mathematical Modeling,2013, 37(3):1147-1162．

[5]To?an V.Design of planar steel frames using teaching-learning based optimization[J].Engineering Structures,2012,34(1): 225-232.

[6]Krishnanand K R,Panigrahi B K,Rout P K,et al.Application of multi-objective teaching-learning-based algorithm to an economic load dispatch problem with incommon-surable objectives[C]//LNCS 7076:Proceedings of the 2nd International Conference on Swarm,Evolutionary,and Memetic Computing,Visakhapatnam,India,Dec 19-21,2011.Berlin, Heidelberg:Springer,2011:697-705．

[7]Rao R V,Savsani V J,Vakharia D P.Teaching-learning-based optimization:a novel method for constrained mechanical design optimization problems[J].Computer-Aided Design, 2011,43(3):303-315．

[8]Yu Kunjie,Wang Xin,Wang Zhenlei.Study and application of improved teaching-learning-based optimization algorithm[J]. Chemical Industry and Engineering Progress,2013,33(4): 850-854.

[9]Rao R V,Patel V.An elitist teaching-learning-based optimization algorithm for solving complex constrained optimization problems[J].International Journal of Industrial Engineering Computations,2012,3(4):535-560.

[10]Gao Liqun,Ouyang Haibin,Kong Xiangyong,et al.Teachinglearning based optimization algorithm with crossover operation[J],Journal of Northeastern University:Natural Science,2014,35(3):323-327.

[11]Rajasekhar A,Rani R,Ramya K,et al.Elitist teaching-learning opposition based algorithm for global optimization[C]//Proceedings of the 2012 IEEE International Conference on Systems,Man,and Cybernetics,Seoul,Korea,Oct 14-17,2012. Piscataway,USA:IEEE,2012:1124-1129.

[12]Yu Kunjie,Wang Xin,Wang Zhenlei.Elitist teaching learningbased optimization algorithm based on feedback[J].Acta Automatica Sinica,2014,40(9):1976-1983.

[13]Yu Shuhao,Su Shoubao.Research and application of chaotic glowworm swarm optimization algorithm[J].Journal of Frontiers of Computer Science and Technology,2014,8(3): 352-358.

[14]Wu Xiaoping,Wang Tongtong.A 3-D finite-element resitivity forward modeling using conjugate gradient algoritm[J]. Chinese Journal of Geophysics,2003,46(3):428-432.

[15]Tizhoosh H R.Opposition-based learning:a new scheme for machine intelligence[C]//Proceedings of the 2005 IEEE International Conference on Computational Intelligence for Modelling,Control and Automation,Vienna,Austria,Nov 28-30,2005.Piscataway,USA:IEEE,2005:695-701.

[16]Zhan Zhihui,Zhang Jun,Li Yun,et al.Adaptive particle swarm optimization[J].IEEE Transaction on Systems,Man, and Cybernetics,2009,39(6):1362-1381.

[17]Rao R V,Patel V.An improved teaching-learning-based optimization algorithm for solving unconstrained optimization problems[J].Scientia Iranica,2013,20(3):710-720.

[18]Wang Peichong.Swarm intelligence algorithms and their apllications[M].Beijing:Publishing House of Electronics Industry,2015.

附中文參考文獻(xiàn)：

[3]拓守恒.一種優(yōu)化神經(jīng)網(wǎng)絡(luò)的教與學(xué)優(yōu)化算法[J].智能系統(tǒng)學(xué)報(bào),2013,8(4):327-332.

[8]于坤杰,王昕,王振雷.改進(jìn)的教學(xué)優(yōu)化算法及其應(yīng)用[J].化工進(jìn)展,2013,33(4):850-854.

[10]高立群,歐陽海濱,孔祥勇,等.帶有交叉操作的教-學(xué)優(yōu)化算法[J].東北大學(xué)學(xué)報(bào):自然科學(xué)版,2014,35(3):323-327.

[12]于坤杰,王昕,王振雷.基于反饋的精英教學(xué)優(yōu)化算法[J].自動(dòng)化學(xué)報(bào),2014,40(9):1976-1983.

[13]郁書好,蘇守寶.混沌螢火蟲優(yōu)化算法的研究及應(yīng)用[J].計(jì)算機(jī)科學(xué)與探索,2014,8(3):352-358.

[14]吳小平,汪彤彤.利用共軛梯度算法的電阻率三維有限元正演[J].地球物理學(xué)報(bào),2003,46(3):428-432.

[18]王培崇.群體智能算法及其應(yīng)用[M].北京:電子工業(yè)出版社,2015.

WANG Peichong was born in 1972.He received the Ph.D.degree in computer science and technology from China University of Mining and Technology(Beijing)in 2010.Now he is an associate professor at School of Information Engineering,Hebei Dizhi University.His research interests include evolutionary computation,machine learning and pattern recognize,etc.He has published more than 30 papers in domestic and international journals and conferences.

王培崇（1972—），男，河北辛集人，2010年于中國礦業(yè)大學(xué)（北京）計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)獲得博士學(xué)位，現(xiàn)為河北地質(zhì)大學(xué)信息工程學(xué)院副教授，主要研究領(lǐng)域?yàn)檫M(jìn)化計(jì)算，機(jī)器學(xué)習(xí)，模式識(shí)別等。發(fā)表學(xué)術(shù)論文30余篇。

PENG Feifei was born in 1986.She received the Ph.D.degree in computer science and technology from China University of Mining and Technology(Beijing)in 2012.Now she is a lecturer at Information Center of Library,Beijing University of Posts and Telecommunications.Her research interests include evolutionary computation and machine learning,etc.She has published more than 20 papers in domestic and international journals and conferences.

彭菲菲（1986—），女，山東青島人，2012年于中國礦業(yè)大學(xué)（北京）計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)獲得博士學(xué)位，現(xiàn)為北京郵電大學(xué)圖書館信息中心講師，主要研究領(lǐng)域?yàn)檫M(jìn)化計(jì)算，機(jī)器學(xué)習(xí)等。發(fā)表學(xué)術(shù)論文20余篇。

QIAN Xu was born in 1962.He received the Ph.D.degree in control science and engineering from China University of Mining and Technology in 1996.Now he is a professor and Ph.D.supervisor at School of Mechanical Electronic and Information Engineering,China University of Mining and Technology(Beijing).His research interests include software engineering and machine learning,etc.He has published more than 100 papers in domestic and international journals and conferences.

錢旭（1962—），男，江蘇南京人，1996年于中國礦業(yè)大學(xué)控制科學(xué)與工程專業(yè)獲得博士學(xué)位，現(xiàn)為中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)檐浖こ?，機(jī)器學(xué)習(xí)等。發(fā)表學(xué)術(shù)論文100余篇。

+Corresponding author:E-mail:wpeichong@126.com

文獻(xiàn)標(biāo)志碼：A

中圖分類號(hào)：TP18

doi:10.3778/j.issn.1673-9418.1508071

Improved Teaching-Learning Based OptimizationAlgorithm with Conjugate Gradient Methods and Second Study*

WANG Peichong1,2+,PENG Feifei3,QIAN Xu2
1.School of Information Engineering,Hebei Dizhi University,Shijiazhuang 050031,China
2.School of Mechanical Electronic and Information Engineering,China University of Mining and Technology,Beijing 100083,China
3.Library,Beijing University of Posts and Telecommunications,Beijing 100083,China

Abstract:Teaching-learning based optimization(TLBO)algorithm can solve the complex optimization problems by simulating teaching and learning,and has been applied in many fields.To overcome the weakness of premature,low precision of solution,this paper proposes an improved hybrid chaotic and conjugate gradient method TLBO.This improved algorithm initializes its population by Chebyshev mapping to improve bestrow rate of solution space.To keep the diversity of population,this paper introduces a dynamic learning coefficient to make that students can mainly learn from teacher in early,and improves gradually the ability of affecting itself evolvement of student?s knowledge.In its iteration,teacher individual executes conjugate gradient methods after“teaching”and“l(fā)earning”.If the states of those student indivduals which are worst can not be changed,second study based on OBL(opposition-based learning)

Key words:teaching-learning based optimization;Chebyshev mapping;dynamic self-adaptive learning;conjugate gradient method;second study

*The Social Science Foundation of Hebei Province under Grant No.HB16TQ001(河北省社會(huì)科學(xué)基金). Received 2015-08,Accepted 2015-11.