基于高斯過程和改進教與學優(yōu)化算法的甲醇合成轉化率軟測量

雙翼帆,　張凌波,　顧幸生

(華東理工大學化工過程先進控制與優(yōu)化技術教育部重點實驗室,上海 200237)

?

基于高斯過程和改進教與學優(yōu)化算法的甲醇合成轉化率軟測量

雙翼帆,張凌波,顧幸生

(華東理工大學化工過程先進控制與優(yōu)化技術教育部重點實驗室,上海 200237)

針對高斯過程軟測量建模過程中,常用的共軛梯度法難以完成高維協(xié)方差矩陣的超參數確定等問題,引入了教與學優(yōu)化算法(TLBO)對高斯過程的訓練過程進行了優(yōu)化,提高了模型訓練速度。并對基本的教與學優(yōu)化算法做出了相應的改進:一是改進了算法的“學生階段”;二是增加了“課外閱讀階段”,提高了算法的性能。將這一建模方法應用于甲醇合成轉化率測量中,結果表明,該方法具有較好的估計精度。

高斯過程; 軟測量; 甲醇轉化率; 建模; 教與學優(yōu)化算法

甲醇是一種重要的化工產品,它有著廣泛的用途。在甲醇合成生產過程中,甲醇合成塔出口的粗甲醇轉化率是一個重要指標,它直接反應了甲醇生產的經濟效應。因此,對甲醇合成轉化率進行及時、精準的測量意義重大。目前,常見的測量方法主要有:離線采樣分析、采用在線分析儀器儀表以及依靠經驗進行估算等。這些方法仍然存在許多不足。例如,離線采樣分析會造成控制滯后問題;投入在線分析儀器儀表會加大生產成本;依靠生產經驗進行估算難以保證精度等。如果能夠找到更加適合的測量方法,那么將會大大地提高生產水平。為此,軟測量技術得到了極大的發(fā)展,它利用待測變量(主導變量)和可測變量(輔助變量)之間的數學關系來實現對待測變量的估計[1]。軟測量建模方法主要有:基于機理的建模方法,也稱白箱建模方法;基于數據驅動的建模方法,也稱黑箱建模方法;混合建模方法等。相對于復雜的基于機理的建模方法,基于數據驅動的建模方法有著無比的優(yōu)越性。因此,后者是目前的主要建模方法。

近年來,許多研究學者嘗試著將不同學科、不同領域的方法引入到基于數據驅動的建模方法中,并取得了較大的成功。常見的方法主要有人工神經網絡(ANN)[2]、支持向量機(SVM)[3]以及高斯過程(GP)[4]等。然而,這些方法仍然存在缺陷。例如,人工神經網絡存在著模型復雜、容易出現過度擬合等問題;支持向量機碰到大規(guī)模訓練樣本時算法難以進行,并且參數不易確定。

高斯過程是近年來興起的一種統(tǒng)計學習方法,它具有優(yōu)化參數少、易收斂、學習速度快等特點,并且為預測結果提供了概率意義。目前已被廣泛地應用于分類[5]和回歸[6]等問題中。以往高斯過程的超參數確定過程基本上使用的是共軛梯度法[4],這種方法適用于維數較小的訓練樣本,但在復雜的工業(yè)過程中,為了得到理想的模型精度,通常需要使用足夠數量的訓練樣本,并且輔助變量的維數較大。由于高斯過程超參數確定函數具有高度非線性特征,如果訓練樣本維數過大,訓練過程很難進行,得到的超參數很難保證模型精度。

針對上述問題,本文將教與學優(yōu)化算法[7-9]這一新穎的智能優(yōu)化算法引入到了高斯過程的超參數訓練階段，并對該算法進行了改進,提升了算法的性能。本文算法的引入,極大地降低了高斯過程模型訓練所消耗的時間,提高了所建模型的精度。最后,將該方法應用于甲醇合成裝置中粗甲醇轉化率的測量當中，結果表明,本文方法具有良好的模型精度。

1　高斯過程軟測量建模方法

1.1高斯過程原理

高斯過程是基于貝葉斯學習理論[10]和高斯隨機過程的一種新型的機器學習方法,它具有嚴格的統(tǒng)計學理論基礎。其輸出由均值函數和協(xié)方差函數唯一確定,適合處理維數較高、非線性特性較強等復雜問題,在非線性回歸、分類、概率估計領域取得了成功應用。

對于樣本集D={(xi,yi)|i=1,2,…,n},其中xi∈Rd是d維的輸入向量,yi是樣本輸出向量,n是樣本的數量。即D={X,y},其中X為n×d維的樣本輸入矩陣,y為n×1維的樣本輸出矩陣。高斯過程回歸即是根據給定的輸入樣本,去確定目標輸出的條件分布[11]。

設f為一個高斯過程,它的特性由均值函數和協(xié)方差函數共同決定,即

(1)

式中：m為均值函數；k為協(xié)方差函數。

(2)

式中：K(X,X)為訓練樣本自身的n×n階對稱協(xié)方差矩陣；K*(X,x*)為訓練樣本X與測試樣本x*之間的n×1階協(xié)方差矩陣；k*(x*,x*)為測試樣本自身的協(xié)方差。即

(3)

(4)

(5)

(6)

(7)

1.2高斯過程超參數學習

高斯過程中,協(xié)方差函數反映了輸入向量之間的相關性,常用的協(xié)方差函數有高斯白噪聲協(xié)方差函數、神經網絡協(xié)方差函數以及平方指數協(xié)方差函數。本文采用平方指數協(xié)方差函數,即

(8)

考慮到有噪聲的情況,則協(xié)方差函數為

(9)

為了簡化計算,可以將式(9)適當修改,如式(10)所示:

(10)

(11)

參數集合θ={v1,ω1,ω2,…,ωd,v2}為超參數,可以根據樣本數據D求取最優(yōu)超參數集合θ。通常可以使用極大似然法,首先建立訓練樣本條件概率的負對數似然函數,接著運用共軛梯度算法求出超參數的最優(yōu)集合[4]。其負對數似然函數為

(12)

通過求取式(12)的最小值,得到最優(yōu)超參數集合θ。在獲得θ之后,對于測試輸入x*就可以通過式(6)和式(7)得到預測輸出和方差。

然而,針對復雜工業(yè)軟測量建模問題,為了保證模型精度,通常需要選取足夠數量的訓練樣本。此時,若使用共軛梯度法尋求最優(yōu)超參數,則在每次計算過程中,維數較大的符號矩陣K會占據相當大的內存空間,除此之外,式(12)還包含求逆運算,因此整個計算過程非常耗時,難以得到好的效果。因此,當訓練樣本維數較大時,應該使用智能優(yōu)化算法,將迭代過程中的高維符號矩陣轉化為數值矩陣,這樣可以極大地提高運算速度,從而可以得到更高精度的最優(yōu)超參數。

2　教與學優(yōu)化算法

2.1基本的TLBO算法

教與學優(yōu)化算法(Teaching-DearningBasedOptimization,TLBO)是由Rao[7]等提出的一種新型的群智能優(yōu)化算法。該算法主要模擬教育過程中的 “教學”及“學習”的過程,即教師階段和學生階段。TLBO算法具有參數少、初始條件簡單、求解速度快、精度高等優(yōu)點。

2.2教師階段

教師是該算法當前迭代過程種群中的最優(yōu)個體,記為Xteacher。在這一階段,教師指導每名學生Xi,以提高所有學生的平均學習成績。具體過程如下：

(13)

(14)

TF=round[1+rand(0,1)]

(15)

教學過程結束后,根據成績更新學員。

2.3學生階段

該階段主要模擬班級中學生互相學習、互相交流的過程。對于每一個學生Xi(i=1,2,…,NP),隨機選取另一名學生Xj(j=1,2,…,NP,j≠i)進行學習,過程如下:

(16)

式中:f(x)為優(yōu)化目標(本文為最小值問題,最大值問題取反即可);ri為0～1的隨機數。學習完后進行更新操作,即

end

如此循環(huán)進行上述2個階段,直到滿足截止條件,算法結束。

3　基于改進的學生階段和課外閱讀階段的TLBO算法

3.1基本TLBO算法存在的問題

基本TLBO算法中,所有學生都在向教師學習,即在迭代過程中,全部個體均向最優(yōu)個體更新。這種做法可以保證算法具有很快的搜索速度,但同時也降低了種群的多樣性,很容易陷入局部最優(yōu)化[13]。雖然在算法的學生階段會隨機選取兩名學生進行互相學習,在一定程度上可以改進全局搜索的能力，但是,當優(yōu)化目標函數比較復雜時,僅僅隨機選取兩名學生很難取得很好的效果。

因此,改進的教與學算法(ImprovedTeaching-LearningBasedOptimization,ITLBO)應從改進算法的全局搜索能力著手,增加種群的多樣性,防止算法陷入局部最優(yōu)化。本文主要對算法的學生階段做了改進,并增加了“課外閱讀”階段,改善了算法中種群的多樣性較低等問題,提高了算法的搜索能力。

3.2改進的學生階段

在這一階段,與基本TLBO算法不同,每名學生Xi(i=1,2,…,NP)并不只是向隨機的一名學生學習,而是向其他所有學生學習,具體過程如下:

fori=1:NP

forj=1:NP(j≠i)

end

end

學習完后進行更新操作,即

end

3.3課外閱讀階段

這一階段,所有學生進行課外閱讀,豐富自己的視野,以提高綜合素質。從個體的更新機制來分析,在課外閱讀階段中,所有的個體分別向自己的上界和下界擴散,試探最優(yōu)值。這種方法保證了樣本的多樣性,具體過程如下:

fori=1:NP

end

end

end

其中：ri為0～1的隨機數;XL為決策變量的下界;XU為決策變量的上界;該過程使得每個個體分別向上下界移動,以保證樣本的多樣性。

本文所提出的改進TLBO算法,沿用了基本TLBO算法中的教師階段,保證了算法的局部搜索能力,并提高了算法的搜索速度。為了保證樣本的多樣性,對基本TLBO算法學生階段進行了改進,同時增加了課外閱讀階段,防止其陷入局部最優(yōu)。

綜上,ITLBO算法優(yōu)化問題的步驟如下:

Step 1初始化班級(種群)、課程數目(維數)、上下界以及終止條件。

Step 2評價所有個體,選擇出最優(yōu)項作為教師。

Step 3進行教師階段,并更新每名學生的值。

Step 4進行改進的學生階段,并更新每名學生的值。

Step 5進行課外閱讀階段的迭代過程,并更新每名學生的值。

Step 6重復Step 2～Step 5,直到滿足終止條件。

4　基于GP和ITLBO算法的甲醇轉化率軟測量模型

4.1甲醇合成工藝簡介

甲醇合成工藝流程[14]主要包括甲醇合成、換熱、蒸汽產生系統(tǒng)、閃蒸系統(tǒng)等,簡易流程圖如圖1所示。

由凈化崗位得到的新鮮氣與氫氣回收工藝回收的富氫氣以及經過循環(huán)分離器分離的循環(huán)氣相結合,一同壓縮為符合工藝要求的氫碳比約為4的合成氣體。再與合成塔出口的熱氣體進行換熱,將合成氣加熱。加熱后的合成氣在銅基催化劑作用下反應得到甲醇,再經水冷器冷凝之后送入甲醇分離器,分離得到粗甲醇。分離液一部分作為馳放氣和閃蒸槽內蒸汽一同送往氫回收工藝部分，同時,將粗甲醇送入精餾工序得到精甲醇。

圖1　甲醇合成工序簡易流程圖Fig 1　Simple flowcharts of methanolsynthesis process

4.2甲醇轉化率軟測量模型

根據甲醇合成工藝及現場分析,甲醇合成過程中主要影響因素有:溫度、壓力、合成氣體流量、氫碳比、空速、催化劑等[15]。甲醇合成反應是可逆的放熱反應,反應過程中伴隨著大量的熱量,必須對溫度進行控制,以確保催化劑的活性。根據化學反應的原理,反應溫度越高,反應速率越快,但平衡常數卻隨之下降，因此,甲醇合成反應中存在一段最優(yōu)反應溫度區(qū)域，與反應溫度關聯(lián)性較大。甲醇合成反應是一個體積減小的反應過程,反應速率隨著壓力的升高而升高,壓力的增加有利于反應平衡。同時,壓力的升高也會影響到其他反應,因此不能盲目地增加壓力。甲醇原料氣中的氣體成分主要是H2、CO、CO2，惰性氣體基本上不參與反應,因此原料氣碳氫比大致為f=(nH2-nCO2)/(nCO+nCO2)。入塔氣的碳氫比對甲醇合成率的影響較大,需要對其進行控制。

經過相關分析,最終選擇入塔合成氣中H2、CO、CO2含量、合成塔壓力、壓縮合成氣流量、汽包溫度這6個變量作為輔助變量;選擇粗甲醇的轉化率作為指導變量。所有輔助變量數據取自生產現場DCS數據庫，剔除一些異常數據后最終選取了150組數據,其中100組作為訓練數據,剩下的50組作為測試數據,所有實驗均在MATLABR2012b仿真環(huán)境下進行。分別利用共軛梯度法(CG)、粒子群算法(PSO)、差分進化算法(DE)、基本教與學優(yōu)化算法(TLBO)以及改進的教與學優(yōu)化算法(ITLBO)對高斯過程訓練樣本的超參數進行訓練,以求取最優(yōu)超參數。每個算法的初始化條件均設定為種群規(guī)模NP=20、維數d=8、迭代次數為200次,分別運行10次，相應的平均迭代時間與最優(yōu)值如表1所示。

表1　平均迭代時間、最優(yōu)值比較Table 1　Comparisons of average iteration time andoptimal value

若使用共軛梯度法進行優(yōu)化,根據其計算特性,協(xié)方差矩陣K將被初始化為符號矩陣,則在每次迭代過程中,對大維數符號矩陣K的求導運算以及逆運算將會占用非常大的內存空間,很難完成計算過程。而對于其他幾種群智能算法,由于每次迭代都是數值矩陣的運算過程,計算過程將被大大簡化。如表1所示,CG算法迭代一次的運行時間遠遠大于其他智能優(yōu)化算法。相對于TLBO,由于ITLBO增加了保持樣本多樣性的手段,使得其得到了較好的優(yōu)化結果,雖然訓練時間會有所增加,但仍然在可接受范圍之內。

本文使用ITLBO對高斯過程協(xié)方差函數超參數進行尋憂,得到最優(yōu)超參數。將超參數用于甲醇合成轉化率軟測量建模,得到基于GP和ITLBO的軟測量模型。將得到的模型用于甲醇合成轉化率的測量中,得到的訓練數據預測值、測試數據預測值如圖2所示。

圖2　基于GP和ITLBO軟測量模型的輸出結果Fig 2　Output of soft sensor based GP-ITLBO

由訓練數據預測結果可知,模型的擬合程度較高、說明訓練過程滿足要求;由測試數據預測結果可知,預測模型可以較好地擬合實際甲醇轉化率實際值,具有較好的泛化能力。

為了進一步驗證模型的有效性,本文分別建立了GP-DE、GP-PSO以及GP和TLBO的甲醇轉化率軟測量模型,并引入了幾項評價標準,包括平均絕對誤差(MAD)、均方根誤差(RMSE)、最大誤差(MAXE)。預測模型比較結果如表2所示,從結果可知本文提出的模型精度更高。

表2　模型輸出誤差比較Table 2　Error comparison of model outputs

5　結　論

復雜工業(yè)軟測量建模中,較多的訓練樣本導致高斯過程訓練過程協(xié)方差矩陣維數過大,使得超參數訓練很難進行,影響了模型精度。本文在此基礎上引入了TLBO優(yōu)化算法,并做出了適當改進。將GP-ITLBO建模方法應用于甲醇轉化率軟測量建模當中，結果表明,該建模方法有著較高的預測精度,能夠有效地測量甲醇合成的轉化率。

[1]KADLECP,GABRYSB,STRANDTS.Data-drivensoftsensorsintheprocessindustry[J].Computers&ChemicalEngineering,2009,33(4):795-814.

[2]KOYD,SHANGH.Aneuralnetwork-basedsoftsensorforparticlesizedistributionusingimageanalysis[J].PowderTechnology,2011,212(2):359-366.

[3]ADIBH,SHARIFIF,MEHRANBODN,et al.Supportvectormachinebasedmodelingofanindustrialnaturalgassweeteningplant[J].JournalofNaturalGasScience&Engineering,2013,14(14):121-131.

[4]WILLIAMSCKI,RASMUSSENCE.GaussianProcessesforRegression[M].Cambridge:MITPress,2006.

[5]KEMMLERM,RODNERE,WACKERES,et al.One-classclassificationwithGaussianprocesses[J].PatternRecognition,2013,46(12):3507-3518.

[6]LIXiuliang.Multiplemodelsoftsensorbasedonaffinitypropagation,GaussianprocessandBayesiancommitteemachine[J].ChineseJournalofChemicalEngineering,2009,17(1):95-99

[7]RAORV,SAVSANIVJ,VAKHARIADP.Teaching-learning-basedoptimization:Anovelmethodforconstrainedmechanicaldesignoptimizationproblems.[J].Computer-AidedDesign,2011,43(3):303-315.

[8]RAORV,SAVSANIVJ,VAKHARIADP.Teaching-learning-basedoptimization:Anoptimizationmethodforcontinuousnon-linearlargescaleproblems[J].InformationSciences,2012,183(1):1-15.

[9]RAORV,SAVSANIVJ,BALICJ.Teaching-learning-basedoptimizationalgorithmforunconstrainedandconstrainedreal-parameteroptimizationproblems[J].EngineeringOptimization,2012,44(12),1447-1462.

[10]EMILIOSO,JUANGS,MARTíNJD,et al.BELM:Bayesianextremelearningmachine[J].IEEETransactionsonNeuralNetworks,2011,22(3):505-9.

[11]何志昆,劉光斌,趙曦晶,等,高斯過程建模綜述[J].控制與決策,2013,28(8):1121-1139.

[12]雷瑜,楊慧中.基于高斯過程和貝葉斯決策的組合模型軟測量[J].化工學報,2013,64(12):4434-4438.

[13]拓守恒,雍龍泉,鄧方安.“教與學”優(yōu)化算法研究綜述[J].計算機應用研究,2013,30(7):1933-1938.

[14]宋維端,肖仁堅,房鼎業(yè).甲醇工學[M].北京：化學工業(yè)出版社,1999.

[15]裴學國,亓棟,唐海濤,影響甲醇合成氣體單程轉化率的因素[J],中氮肥料,2004,29(5):32-39.

Soft Sensor of Conversion Rate in Methanol Synthesis Based on Gaussian Process and Improved Teaching-Learning-Based Optimization

SHUANG Yi-fan,ZHANG Ling-bo,GU Xing-sheng

(Key Laboratory of Advanced Control and Optimization for Chemical Process,Ministry of Education,East China University of Science and Technology,Shanghai 200237,China)

DuringthetrainingprocessofGaussianprocess,thecommonlyusedconjugategradientmethodisdifficulttohandlethehyper-parameterofthehigh-dimensionalcovariancematrix.Aimingatthisproblem,thispaperintroducedtheteaching-learning-basedoptimization(TLBO)algorithmtoacceleratethetrainingprocessofGaussianprocess.However,thebasicTLBOhaslocalconvergencephenomenaincertainconditions.ThispaperproposedanimprovedTLBO(ITLBO)algorithmbymodifyingthelearnerphaseandappendinganoutside-readingphasetoincreasethepopulationdiversitysoastoimprovetheglobalsearchingability.Finallythismethodisappliedtomeasurethemethanolconversionrateandtheresultsindicatethattheproposedmethodhasagoodresultandacertainvalue.

Gaussianprocesses;softsensor;methanolconversionrate;modeling;teaching-learning-basedoptimization

A

1006-3080(2016)03-0369-06

10.14135/j.cnki.1006-3080.2016.03.012

2015-09-05

國家自然科學基金(61174040),上海市科委基礎研究重點項目(12JC1403400)

雙翼帆(1989-),男,湖北人,碩士生,從事復雜工業(yè)過程建模、控制與優(yōu)化的研究。

通信聯(lián)系人：顧幸生,E-mail:xsgu@ecust.edu.cn

TP273