多變量非線性系統(tǒng)超平面神經(jīng)網(wǎng)絡(luò)辨識算法設(shè)計

余世明,孫云坤,岑江暉,何德峰

(浙江工業(yè)大學(xué) 信息工程學(xué)院,浙江 杭州 310023)

現(xiàn)實世界中大多數(shù)實際系統(tǒng)是非線性和時變的,無法使用線性模型精確表示。與已有的線性系統(tǒng)辨識方法相比,非線性系統(tǒng)辨識需要辨識多個未知的非線性參數(shù)以及非線性系統(tǒng)存在的時變和強耦合問題,最佳的辨識方案與其應(yīng)用場景息息相關(guān),因此辨識非線性系統(tǒng)一直是具有挑戰(zhàn)性的問題[1]。隨著人工智能的快速發(fā)展,深度學(xué)習(xí)方法在非線性系統(tǒng)辨識中的作用也逐漸凸顯。常用的神經(jīng)網(wǎng)絡(luò)包括BP神經(jīng)網(wǎng)絡(luò)[2-3]、小波神經(jīng)網(wǎng)絡(luò)(Wavelet neural networks,WNNs)[4]、模糊神經(jīng)網(wǎng)絡(luò)(Fuzzy neural networks,FNNs)[5]、遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent neural networks,RNNs)[6]以及連續(xù)分段線性(Continuous piecewise linear,CPWL)神經(jīng)網(wǎng)絡(luò)[7]等,上述模型已在非線性系統(tǒng)的辨識問題中得到了廣泛應(yīng)用。Pati等[4]在具有線性輸出神經(jīng)元的前饋神經(jīng)網(wǎng)絡(luò)中引入小波作為神經(jīng)元的激活函數(shù),以此方式將小波與神經(jīng)網(wǎng)絡(luò)相結(jié)合,促進了小波神經(jīng)網(wǎng)絡(luò)的發(fā)展。Billings等[8]提出了一種基于方差分析(ANOVA)展開的小波神經(jīng)網(wǎng)絡(luò),將高維系統(tǒng)的模型構(gòu)造為多個變量較少的函數(shù)的疊加,解決了中高維非線性系統(tǒng)的辨識問題,并在后續(xù)工作中提出了一種自適應(yīng)小波網(wǎng)絡(luò)模型[9],使用了一種兩階段混合訓(xùn)練方案生成一個精簡的網(wǎng)絡(luò)模型,以兩個時空系統(tǒng)的辨識試驗證明了該方法的性能。Khodabandehlou等[10]使用小波神經(jīng)網(wǎng)絡(luò),實現(xiàn)了對一個通訊網(wǎng)絡(luò)上的非線性系統(tǒng)的在線辨識,并將該方法應(yīng)用于無人駕駛汽車的在線辨識和控制。模糊系統(tǒng)建模方法具有模糊推理處理不確定性的能力和靈活的規(guī)則,通過對輸入和輸出數(shù)據(jù)進行學(xué)習(xí),得到精度較高的預(yù)測模型[11]。其中,模糊神經(jīng)網(wǎng)絡(luò)及其改進形式得到了廣泛應(yīng)用。Wu等[12]提出了一種基于數(shù)據(jù)知識的模糊神經(jīng)網(wǎng)絡(luò)(DK-FNN),使用多層連接結(jié)構(gòu),運用集成遷移學(xué)習(xí)方法和數(shù)據(jù)互相吸引策略,解決了利用不完整數(shù)據(jù)集建立準(zhǔn)確模型的問題。以高爐煉鐵過程和污水處理過程為例,證明該方法在數(shù)據(jù)集不完整時的優(yōu)勢。Zhang等[13]提出了一種基于自回歸(ARX)與Takagi Sugeno(T-S)型的Tanh函數(shù)相結(jié)合的模糊神經(jīng)網(wǎng)絡(luò),利用改進的遺傳算法自動確定網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)。通過對工業(yè)焦?fàn)t液位建模中的應(yīng)用表明了該方法在復(fù)雜非線性系統(tǒng)建模中的有效性。遞歸神經(jīng)網(wǎng)絡(luò)中包含延時變量,能有效地處理時間序列數(shù)據(jù)[14],常用于辨識動態(tài)系統(tǒng)。Wang等[6]提出了一種新的遞歸網(wǎng)絡(luò)FARNN,該網(wǎng)絡(luò)由全連接的單層神經(jīng)網(wǎng)絡(luò)和反饋動態(tài)網(wǎng)絡(luò)組成,以狀態(tài)空間的形式描述未知動態(tài)系統(tǒng),使用了一種完全自動化的構(gòu)造算法,利用系統(tǒng)的輸入輸出數(shù)據(jù)完成對未知系統(tǒng)的辨識。Zhao等[15]通過一種高效的流水線功能連接人工循環(huán)神經(jīng)網(wǎng)絡(luò)(PFLARNN)進行非線性動態(tài)系統(tǒng)辨識,通過網(wǎng)絡(luò)結(jié)構(gòu)的模塊化提高了計算效率。Zhang等[16]將遞歸神經(jīng)網(wǎng)絡(luò)與模糊神經(jīng)網(wǎng)絡(luò)相結(jié)合,提出了一種遞歸模糊神經(jīng)網(wǎng)絡(luò)(Recurrent fuzzy neural networks,RFNNs),建立了非線性系統(tǒng)的長期預(yù)測模型。Lin等[17]提出了一種交互式遞歸自進化模糊神經(jīng)網(wǎng)絡(luò)(IRSFNN),將其用于處理時變系統(tǒng)的辨識和時間序列的預(yù)測問題。

鏈接超平面(Hinging hyperplanes,HH)神經(jīng)網(wǎng)絡(luò)[18]屬于一種CPWL神經(jīng)網(wǎng)絡(luò)[19],在非線性系統(tǒng)辨識中得到了廣泛應(yīng)用[20-21]。由于HH模型無法表示二維或二維以上的CPWL函數(shù),Wang等[22]提出了廣義鏈接超平面(Generalized hinging hyperplanes,GHH)模型,證明了該模型具有任意維度的表示能力。受多元自適應(yīng)回歸(Multivariate adaptive regression,MARS)[23]的啟發(fā),Xu等[24]提出自適應(yīng)鏈接超平面(Adaptive hinging hyperplanes,AHH)模型,該模型消除了HH模型和GHH模型在辨識過程中的存在的局部最小值問題。在AHH模型之后,Xu等[25]研究了它的一種變體,高效鉸鏈超平面(Efficient hinging hyperplanes,EHH)神經(jīng)網(wǎng)絡(luò),與AHH相比,EHH模型更適用于高維問題。考慮到常規(guī)EHH神經(jīng)網(wǎng)絡(luò)辨識方法不能完成多變量系統(tǒng)的辨識,筆者使用多目標(biāo)規(guī)劃方法對EHH神經(jīng)網(wǎng)絡(luò)辨識方法進行改進,提出將多變量系統(tǒng)中各變量的辨識作為不同的優(yōu)化目標(biāo),結(jié)合線性加權(quán)法和理想點法的特點,研究線性加權(quán)辨識方法和理想點辨識方法。以CFBB燃燒過程為例,分別使用線性加權(quán)辨識方法和理想點辨識方法設(shè)計CFBB建模方法,通過大量實驗數(shù)據(jù),完成對CFBB燃燒過程的辨識。

1 EHH神經(jīng)網(wǎng)絡(luò)預(yù)測模型

EHH神經(jīng)網(wǎng)絡(luò)如圖1所示,它包括一個輸入層、一個隱藏層和一個輸出層。隱藏層結(jié)構(gòu)如圖2所示。圖1,2中:x為輸入變量;D為源節(jié)點;C為中間節(jié)點;y為輸出變量。

圖1 EHH神經(jīng)網(wǎng)絡(luò)示意圖Fig.1 The structure of a EHH neural network

圖2 隱藏層示意圖Fig.2 The view of hidden layer

1.1 輸入層與隱藏層的連接

在EHH神經(jīng)網(wǎng)絡(luò)中,輸入層與隱藏層之間通過源節(jié)點D連接,因此定義源節(jié)點為只接受輸入層輸入變量傳遞數(shù)據(jù)的節(jié)點。源節(jié)點D通過max激活函數(shù)進行輸出,表示為

nnD(x)=max{0,xv-βv}

(1)

式中:v為輸入變量x的索引;βv為輸入變量x對應(yīng)的偏置。

1.2 隱藏層內(nèi)部的連接

在隱藏層中,中間節(jié)點C按順序生成和排序,只接受源節(jié)點或隱藏層中其他中間節(jié)點的輸入。中間節(jié)點通過min激活函數(shù)從隱藏層中的另外兩個節(jié)點接收輸入數(shù)據(jù)。為了系統(tǒng)地表示隱藏層中各個節(jié)點,定義Ai=Di,i=1,2,…,Nd;Ai+Nd=Ci,i=1,2,…,Nc。假設(shè)節(jié)點Aj3接收節(jié)點Aj1和Aj2的數(shù)據(jù),那么Aj3的輸出為

nnAj3(x)=min{nnAj1(x),nnAj2(x)}

(2)

以圖2所示的隱藏層為例,nnC1={nnD1,nnD2},nnC2={nnD3,nnD4},nnC3={nnC1,nnD3},nnC4={nnD2,nnC2}。

1.3 隱藏層與輸出層的連接

EHH神經(jīng)網(wǎng)絡(luò)與其他神經(jīng)網(wǎng)絡(luò)的不同之處在于,EHH神經(jīng)網(wǎng)絡(luò)的源節(jié)點和中間節(jié)點都傳輸數(shù)據(jù)至輸出層(圖2)。因此,EHH神經(jīng)網(wǎng)絡(luò)的輸出可以表示為

(3)

式中:Ak為隱藏層中的節(jié)點;nnAk為節(jié)點Ak的輸出;αk為節(jié)點Ak對應(yīng)的權(quán)重系數(shù);α0為偏置。

2 多變量非線性超平面神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

(4)

由于EHH隱藏層中所有的節(jié)點都對最后輸出層產(chǎn)生影響,為取得較好的辨識效果,需要分別對EHH網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重參數(shù)進行優(yōu)化求解。常規(guī)EHH訓(xùn)練方法只能求解一個EHH神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和一個對應(yīng)的權(quán)重向量α,因此只適用于單變量系統(tǒng)模型的辨識,無法辨識多變量系統(tǒng)。筆者提出將多目標(biāo)規(guī)劃的方法與EHH神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程相結(jié)合,完成對多變量系統(tǒng)的辨識。

考慮到多變量系統(tǒng)具有多個輸出變量,需要使用一個EHH神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),通過多個權(quán)重向量分別映射不同的輸出變量。因此將不同輸出變量的辨識看作是不同的目標(biāo),為每個變量設(shè)計一個目標(biāo)函數(shù),通過多目標(biāo)規(guī)劃的方法求解各目標(biāo)函數(shù),得到優(yōu)化后的網(wǎng)絡(luò)結(jié)構(gòu)以及各輸出變量對應(yīng)的權(quán)重向量,從而實現(xiàn)對多變量系統(tǒng)的辨識。求解多目標(biāo)規(guī)劃的方法有很多,考慮到EHH神經(jīng)網(wǎng)絡(luò)的特性和系統(tǒng)辨識的過程,使用線性加權(quán)法和理想點法進行辨識。

2.1 線性加權(quán)EHH神經(jīng)網(wǎng)絡(luò)辨識算法

線性加權(quán)法就是將各個子目標(biāo)線性加權(quán)和作為評價函數(shù),即

F(X)=γ1f1(X)+γ2f2(X)+…+γnfn(X)

(5)

(6)

假設(shè)隱藏層共有M個節(jié)點,其中源節(jié)點數(shù)量為Nd,源節(jié)點數(shù)量為Nc,對于具有n個輸出變量的多變量系統(tǒng),為每個輸出變量設(shè)計目標(biāo)函數(shù),即

fi(αi)=(y-Zαi)T(y-Zαi)+λi‖αi‖1

(7)

式中:i為輸出變量的索引值;y=[y(1),y(2),…,y(Ns)]T;αi=[αi0,αi1,…,αiM]T;Z的表達式為

(8)

收縮變量λi是為了控制權(quán)重αi的大小,其定義為

(9)

式中:lαi為權(quán)重向量αi的數(shù)量,lαi=M+1;ξi為參數(shù),根據(jù)經(jīng)驗選取。結(jié)合式(5,7),建立線性加權(quán)訓(xùn)練方法的目標(biāo)函數(shù)為

(10)

式中A=[α1α2…αn]。

2.1.1 結(jié)構(gòu)優(yōu)化

EHH神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化是指通過調(diào)整隱藏層中各中間節(jié)點的連接方式,求解出一個辨識效果最優(yōu)的連接方式。使用式(10)依次對(M-Nd)個中間節(jié)點進行優(yōu)化,即選取第Nd+k個節(jié)點,k=1,2,…,Nc,遍歷其輸出的(Nd+k-1)(Nd+k-2)/2種可能性,分別求解該情況下的目標(biāo)函數(shù)值,以使目標(biāo)函數(shù)值最小的連接方式作為該節(jié)點最優(yōu)的連接方式,以此類推,直至完成對所有中間節(jié)點的優(yōu)化,得到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。

2.1.2 權(quán)重優(yōu)化

在完成對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化后,進行權(quán)重向量A的優(yōu)化求解。固定最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)保持不變,迭代求解線性加權(quán)目標(biāo)函數(shù)式(10),直至J1(A)不再減小,此時求解得到的權(quán)重向量A就是該網(wǎng)絡(luò)結(jié)構(gòu)最優(yōu)的權(quán)重向量。

2.2 理想點EHH神經(jīng)網(wǎng)絡(luò)辨識算法

使用EHH神經(jīng)網(wǎng)絡(luò)辨識多變量系統(tǒng)時,存在同一個EHH網(wǎng)絡(luò)結(jié)構(gòu)無法使得多個輸出變量同時達到最優(yōu)辨識效果的沖突性。為解決該沖突,使用理想點法進行辨識。

(11)

對于具有n個輸出變量的多變量系統(tǒng),相同的,假設(shè)隱藏層共有M個節(jié)點,其中源節(jié)點數(shù)量為Nd,源節(jié)點數(shù)量為Nc。每個輸出變量的目標(biāo)函數(shù)如式(7)所示。

2.2.1 結(jié)構(gòu)優(yōu)化

根據(jù)理想點法,每個輸出變量的目標(biāo)函數(shù)式(7)構(gòu)造理想點評價向量為

F(A)=[f1(α1)f2(α2) …fn(αn)]

(12)

(13)

使用目標(biāo)函數(shù)式(13)依次對(M-Nd)個中間節(jié)點進行優(yōu)化,遍歷優(yōu)化所有中間節(jié)點后,得到折中網(wǎng)絡(luò)結(jié)構(gòu)。

2.2.2 權(quán)重優(yōu)化

3 仿真與結(jié)果分析

以生物質(zhì)循環(huán)流化床鍋爐(Circulating fluidized bed boiler,CFBB)燃燒過程為研究對象,使用多變量高效鏈接超平面神經(jīng)網(wǎng)絡(luò)辨識方法學(xué)習(xí)生物質(zhì)CFBB燃燒過程的預(yù)測模型。CFBB燃燒過程如圖3所示,其過程的簡要描述:給料機將生物質(zhì)燃料送入爐膛底部后,燃料被爐膛底部存在的流化態(tài)的燃燒物迅速加熱燃燒;隨著一次風(fēng)和二次風(fēng)進入爐膛,質(zhì)量較大的燃料在下部密相區(qū)劇烈燃燒,而質(zhì)量較小的燃料則被氣流夾帶著進入上部稀相區(qū)燃燒。

圖3 循環(huán)流化床鍋爐結(jié)構(gòu)示意圖Fig.3 Schematic diagram of circulating fluidized bed boiler

部分稀相區(qū)的燃料先通過分離器后被收集,再由返料器送回爐膛循環(huán)燃燒,煙氣經(jīng)過尾部完成熱交換,最后經(jīng)過除塵器凈化后排向大氣[27]。Ikonen等[28]建立的機理模型為

(14)

式中:WC為燃燒剩余量;CB為床氧體積分數(shù);CF為稀相區(qū)氧體積分數(shù);TB為床溫;TF為稀相區(qū)溫度;PT為熱功率;QC為鍋爐燃料給料速率;F1為一次風(fēng)風(fēng)速;F2為二次風(fēng)風(fēng)速;其余模型參數(shù)如表1所示,具體取值見文獻[28]。

表1 CFBB模型參數(shù)Table 1 The variable of CFBB

PT(k)QC(k)F1(k)F2(k)]T

(15)

TF(k+1)PT(k+1)]T

(16)

按照CFBB燃燒過程的實際情況,設(shè)置多組u(k)=[QC(k),F1(k),F2(k)]T以覆蓋整個運行工況,如圖4所示,其中圖4(a～c)分別為QC,F1,F2的控制輸入。將這些數(shù)據(jù)集應(yīng)用于系統(tǒng)模型式(14),得到的輸出數(shù)據(jù)集如圖5所示,其中圖5(a～f)分別為WC,CB,CF,TB,TF,PT的輸出數(shù)據(jù)集。另外,設(shè)置500組數(shù)據(jù)作為預(yù)測精度的驗證集。利用該訓(xùn)練數(shù)據(jù)集,分別使用線性加權(quán)法和理想點法對EHH神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。經(jīng)多次試驗,最終設(shè)置EHH神經(jīng)網(wǎng)絡(luò)節(jié)點數(shù)為50個,其中源節(jié)點27個。驗證集的控制輸入設(shè)計為

Qc(k)=3.9+0.4sin(0.05πk)F1(k)=5+0.9sin(0.13πk)F2(k)=15.1+0.6sin(0.04πk)

(17)

圖4 控制輸入Fig.4 The control input dataset

圖5 輸出數(shù)據(jù)集Fig.5 The output dataset

3.1 線性加權(quán)EHH神經(jīng)網(wǎng)絡(luò)辨識算法

使用線性加權(quán)法學(xué)習(xí)CFBB預(yù)測模型,由于CFBB具有6個輸出狀態(tài)量,所以設(shè)計6個如式(7)所示的目標(biāo)函數(shù),分別對應(yīng)6個變量,構(gòu)造線性加權(quán)訓(xùn)練方法的目標(biāo)函數(shù)為

(18)

式中A=[α1α2…α6]。第1次試驗設(shè)置加權(quán)系數(shù)為γ1=1,γ2=1,γ3=1,γ4=1,γ5=1,γ6=1,使用內(nèi)點法進行優(yōu)化問題的求解。使用驗證集的數(shù)據(jù)對訓(xùn)練完的模型進行測試,結(jié)果如圖6所示。其中圖6(a～f)分別表示W(wǎng)C,CB,CF,TB,TF,PT的預(yù)測結(jié)果,實線表示CFBB輸出的真實值,虛線表示EHH預(yù)測模型輸出的預(yù)測值。由圖6可知預(yù)測效果并不佳。根據(jù)各變量的預(yù)測結(jié)果,調(diào)整加權(quán)系數(shù)為γ1=3,γ2=100,γ3=100,γ4=25,γ5=1,γ6=10,使用該組數(shù)據(jù)進行訓(xùn)練,結(jié)果如圖7所示。由圖7可知:對加權(quán)系數(shù)進行適當(dāng)調(diào)整,可以明顯提高預(yù)測精度。

圖6 第一次試驗預(yù)測結(jié)果Fig.6 The prediction of first test

圖7 調(diào)整加權(quán)系數(shù)后的預(yù)測結(jié)果Fig.7 The prediction after adjusting weighting coefficient

3.2 理想點EHH神經(jīng)網(wǎng)絡(luò)辨識算法

按照2.2節(jié)所述理想點辨識法對CFBB燃燒過程進行辨識。與線性加權(quán)法類似,設(shè)計6個如式(7)所示的子目標(biāo)函數(shù),構(gòu)造評價向量為

(19)

(20)

(21)

表2 3次試驗的均方根誤差對比Table 2 Comparison of mean square errors of 3 experiments

4 結(jié) 論

在現(xiàn)有EHH神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)預(yù)測模型方法的基礎(chǔ)上,將各個輸出變量的辨識作為不同的優(yōu)化目標(biāo),使用線性加權(quán)法和理想點法對其訓(xùn)練過程進行改進,實現(xiàn)了對多變量系統(tǒng)的辨識。以復(fù)雜的生物質(zhì)CFBB燃燒過程為研究對象,以大量實驗數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集,分別以線性加權(quán)法和理想點法進行仿真試驗。以仿真對比圖和均方根誤差作為辨識精度的評價指標(biāo),兩種方法得到的CFBB預(yù)測模型均具有較高的精度。其中線性加權(quán)法需要根據(jù)經(jīng)驗對加權(quán)系數(shù)進行調(diào)整,才能取得較好的辨識效果,而理想點法能直接訓(xùn)練并得到較好的預(yù)測模型。因此,對于復(fù)雜系統(tǒng)的辨識,理想點訓(xùn)練方法更加適用。