基于動(dòng)態(tài)BP算法的非線性滯后系統(tǒng)辨識(shí)

韓 冰， 韓 敏

（1.大連理工大學(xué) 控制科學(xué)與工程學(xué)院，遼寧 大連 116024；2.上海船舶運(yùn)輸科學(xué)研究所，上海 200135）

0 引 言

系統(tǒng)辨識(shí)作為控制科學(xué)的核心問題長期以來一直受到廣泛的關(guān)注.非線性系統(tǒng)，特別是包含滯后的非線性系統(tǒng)辨識(shí)一直是控制領(lǐng)域的難題之一[1].對(duì)非線性滯后系統(tǒng)的辨識(shí)，以往傳統(tǒng)的方法是從輸入輸出數(shù)據(jù)入手，采用Hemmserstein模型[2]、Wiener模型[3]等模型結(jié)構(gòu)進(jìn)行建模.但對(duì)于結(jié)構(gòu)和參數(shù)未知的系統(tǒng)，以上方法很難對(duì)實(shí)際系統(tǒng)進(jìn)行表達(dá).隨著智能建模理論的發(fā)展，局部模型近似[4]、模糊模型[5]、支持向量機(jī)[6]以及遺傳算法[7]等得到了廣泛的采用，但這些方法對(duì)先驗(yàn)知識(shí)仍具有較強(qiáng)的依賴性.因此，如何對(duì)模型參數(shù)完全未知非線性滯后系統(tǒng)進(jìn)行辨識(shí)，如何辨識(shí)得到該系統(tǒng)的延遲時(shí)間成為非線性滯后系統(tǒng)建模研究的關(guān)鍵問題.

對(duì)模型未知的滯后系統(tǒng)延遲時(shí)間辨識(shí)問題，Balestrino等[8]、陸燕等[9]提出了基于感知機(jī)神經(jīng)網(wǎng)絡(luò)進(jìn)行延遲參數(shù)辨識(shí)的方法，但這些方法易受到網(wǎng)絡(luò)參數(shù)和辨識(shí)對(duì)象等因素的影響，在實(shí)際應(yīng)用中存在一定的局限.Ren等[10]擴(kuò)展了延遲自由神經(jīng)網(wǎng)絡(luò)的思想，提出了可對(duì)一類滯后系統(tǒng)進(jìn)行有效延遲參數(shù)估計(jì)的神經(jīng)網(wǎng)絡(luò)算法.Han等[11]在多分支延遲神經(jīng)網(wǎng)絡(luò)中引入可調(diào)的延遲參數(shù)，對(duì)包含滯后的非線性對(duì)象進(jìn)行建模，并應(yīng)用于預(yù)測控制中.這些研究成果表明，通過神經(jīng)網(wǎng)絡(luò)對(duì)模型未知的非線性滯后系統(tǒng)辨識(shí)是較為可行的方法.

本文利用神經(jīng)網(wǎng)絡(luò)具有很好的函數(shù)逼近能力，結(jié)合多層感知機(jī)網(wǎng)絡(luò)的特點(diǎn)，分別在多層感知機(jī)網(wǎng)絡(luò)的第1隱層和輸出層引入帶有自適應(yīng)延遲參數(shù)的動(dòng)態(tài)神經(jīng)元，提出一種包含動(dòng)態(tài)特性的動(dòng)態(tài)BP學(xué)習(xí)算法.該算法對(duì)于黑箱非線性滯后系統(tǒng)，能夠通過第1隱層延遲參數(shù)來自適應(yīng)選擇模型輸入變量，避免采用非線性含輸入自回歸（NARX）等建模方法進(jìn)行輸入變量選擇時(shí)所需要的復(fù)雜計(jì)算[12].

1 動(dòng)態(tài)BP算法

為了改善傳統(tǒng)BP算法不具備動(dòng)態(tài)特性的缺陷，本文在傳統(tǒng)感知機(jī)神經(jīng)網(wǎng)絡(luò)的第1隱層和輸出層引入動(dòng)態(tài)神經(jīng)元，構(gòu)成新的動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò).動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示.其結(jié)構(gòu)與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)相似，但在第1隱層和輸出層引入了和網(wǎng)絡(luò)權(quán)值對(duì)應(yīng)的延遲參數(shù).

圖1 動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Basic structure of dynamic BP neural network

第1隱層和輸出層的動(dòng)態(tài)神經(jīng)元輸入如下式所示：

式中：net j（t）表示第j個(gè)動(dòng)態(tài)神經(jīng)元的輸入；w ji表示前一層第i個(gè)神經(jīng)元到該層第j個(gè)神經(jīng)元之間的權(quán)值；oi表示該神經(jīng)元的第i個(gè)輸入，共有N個(gè)輸入；τji表示前一層第i個(gè)神經(jīng)元到該層第j個(gè)神經(jīng)元之間的延遲參數(shù).

動(dòng)態(tài)神經(jīng)元的輸出為

這里f為神經(jīng)元激活函數(shù)，本文神經(jīng)元激活函數(shù)均選取Sigmoid函數(shù)，如下式所示：

網(wǎng)絡(luò)學(xué)習(xí)過程中，網(wǎng)絡(luò)的權(quán)值可按傳統(tǒng)BP算法[13]進(jìn)行更新.網(wǎng)絡(luò)誤差函數(shù)為

第1隱層和輸出層的延遲參數(shù)可根據(jù)網(wǎng)絡(luò)學(xué)習(xí)誤差的梯度進(jìn)行實(shí)時(shí)調(diào)整.對(duì)輸出層的延遲參數(shù)，網(wǎng)絡(luò)誤差函數(shù)的梯度下降方法可給出延遲參數(shù)更新值為

其中Δτmk為網(wǎng)絡(luò)輸出層第m個(gè)神經(jīng)元與之前一層的第k個(gè)神經(jīng)元之間延遲參數(shù)τmk的修正量，ηo為網(wǎng)絡(luò)輸出層延遲參數(shù)的學(xué)習(xí)率，om（t）為網(wǎng)絡(luò)輸出層第m個(gè)節(jié)點(diǎn)的輸出，δm（t）為t時(shí)刻網(wǎng)絡(luò)的學(xué)習(xí)誤差，即

其中

f為神經(jīng)元激活函數(shù)，T為系統(tǒng)采樣時(shí)間.

對(duì)第1隱層延遲參數(shù)，可按下式進(jìn)行迭代更新：

式中：Δτji為網(wǎng)絡(luò)輸入層第i個(gè)神經(jīng)元與第1隱層的第j個(gè)神經(jīng)元之間延遲參數(shù)的修正量，ηi為網(wǎng)絡(luò)第1隱層延遲參數(shù)的學(xué)習(xí)率，oj（t）為網(wǎng)絡(luò)第1隱層第j個(gè)節(jié)點(diǎn)的輸出，其中

式中：（t）表示l層t時(shí)刻誤差函數(shù)，第1隱層誤差函數(shù)可由式（9）通過輸出層誤差遞推得到.N l＋1表示網(wǎng)絡(luò)第l＋1層的節(jié)點(diǎn)數(shù)；netln＋1（t）表示l＋1層網(wǎng)絡(luò)第n個(gè)節(jié)點(diǎn)t時(shí)刻的輸入；oi（t）表示神經(jīng)網(wǎng)絡(luò)的輸入.

2 基于動(dòng)態(tài)BP算法的系統(tǒng)辨識(shí)

一般的非線性系統(tǒng)可以表示為

其中N、M是最大的延遲范圍.利用動(dòng)態(tài)BP算法對(duì)系統(tǒng)（10）進(jìn)行建模，使神經(jīng)網(wǎng)絡(luò)逼近系統(tǒng)（10）中的非線性函數(shù)f[·].由動(dòng)態(tài)神經(jīng)元輸入式（1）可以將第1隱層的第j個(gè)神經(jīng)元輸出表示為

其中N1為網(wǎng)絡(luò)第1層神經(jīng)元個(gè)數(shù)，x（t－1－τji）為神經(jīng)元的輸入.將第2層的輸出式（11）代入到第3層的計(jì)算中有

其中延遲參數(shù)τji通過使網(wǎng)絡(luò)誤差函數(shù)

最小化進(jìn)行修正，這樣經(jīng)過層層迭代后，網(wǎng)絡(luò)的輸出可以表示為

其中L表示網(wǎng)絡(luò)輸出層，N[·]為神經(jīng)網(wǎng)絡(luò)所建立的非線性函數(shù)，τmax是所有延遲參數(shù)在訓(xùn)練結(jié)束后的最大值.訓(xùn)練過程中將前一時(shí)刻的輸出y（t－1）作為輸入，則網(wǎng)絡(luò)的輸出可以表示為

其中Nτ、Mτ是可能的最大延遲.從以上表達(dá)式可以看出，引入動(dòng)態(tài)神經(jīng)元使多層感知機(jī)網(wǎng)絡(luò)具有了動(dòng)態(tài)特性，能夠?qū)σ活惏瑴筇匦缘姆蔷€性對(duì)象進(jìn)行建模.同時(shí)，從式（10）和（13）可以看出，通過辨識(shí)得到的神經(jīng)網(wǎng)絡(luò)延遲參數(shù)可以對(duì)滯后對(duì)象的延遲進(jìn)行估計(jì)，從而為滯后對(duì)象的延遲時(shí)間辨識(shí)提供新方法.

3 仿真實(shí)例

利用本文提出的動(dòng)態(tài)BP算法，分別對(duì)理論數(shù)學(xué)模型和實(shí)際生產(chǎn)過程進(jìn)行系統(tǒng)辨識(shí)仿真，進(jìn)而驗(yàn)證該算法的有效性.

3.1 大滯后模型辨識(shí)仿真實(shí)驗(yàn)

利用文獻(xiàn)[14]中給出的動(dòng)態(tài)模型來檢驗(yàn)自適應(yīng)算法的有效性.模型的差分方程如下：

式中

從模型的方程來看，當(dāng)前的輸出由先前的輸出和輸入決定，相對(duì)輸入有10個(gè)單位的延遲.用于訓(xùn)練的教師信號(hào)由1000組輸入輸出序列組成.其中前500組用于訓(xùn)練網(wǎng)絡(luò)，后500組用來檢驗(yàn)網(wǎng)絡(luò)泛化能力.輸入為

由u（k）產(chǎn)生的教師信號(hào)如圖2所示.

圖2 網(wǎng)絡(luò)學(xué)習(xí)和測試信號(hào)Fig.2 Learning and test signal of the network

利用C語言編程實(shí)現(xiàn)本文所提出的動(dòng)態(tài)BP學(xué)習(xí)算法對(duì)該模型的辨識(shí)，仿真條件如表1所示.網(wǎng)絡(luò)中共有45個(gè)延遲變量參數(shù)，第1隱層和輸出層初始延遲值分別設(shè)置為1和12.經(jīng)過20000次學(xué)習(xí)之后網(wǎng)絡(luò)的學(xué)習(xí)誤差和泛化誤差分別為0.003030、0.005038，訓(xùn)練后網(wǎng)絡(luò)的輸出與教師信號(hào)的比較如圖3所示.從圖3中可以看出，訓(xùn)練后的動(dòng)態(tài)BP網(wǎng)絡(luò)很好地體現(xiàn)了非線性系統(tǒng)的動(dòng)態(tài)特性.訓(xùn)練結(jié)束后，第1隱層延遲時(shí)間參數(shù)共10個(gè)值為1，其余20個(gè)延遲參數(shù)為0；輸出層共6個(gè)延遲參數(shù)為10，其余9個(gè)值為9，可見輸出層的延遲參數(shù)對(duì)辨識(shí)對(duì)象的純滯后時(shí)間有較好的辨識(shí)能力.

表1 仿真條件Tab.1 Simulation conditions

圖3 泛化信號(hào)同教師信號(hào)的比較Fig.3 Comparison between generalizing signal and teacher signal

為驗(yàn)證引入自適應(yīng)延遲參數(shù)在算法學(xué)習(xí)過程中的作用，采用傳統(tǒng)BP算法與本文提出的引入延遲參數(shù)的動(dòng)態(tài)BP算法進(jìn)行比較.利用相同的網(wǎng)絡(luò)結(jié)構(gòu)采用傳統(tǒng)BP算法經(jīng)過20000次學(xué)習(xí)后得到的學(xué)習(xí)誤差和泛化誤差分別為0.003712、0.009019.通過誤差的比較可以看出，引入了自適應(yīng)延遲參數(shù)加快了網(wǎng)絡(luò)的收斂速度，并且網(wǎng)絡(luò)模型的泛化能力有了較大的提高，網(wǎng)絡(luò)具有更好的表達(dá)系統(tǒng)動(dòng)態(tài)特性的能力.

3.2 大滯后模型辨識(shí)仿真實(shí)驗(yàn)實(shí)例驗(yàn)證

為驗(yàn)證本文所提出的動(dòng)態(tài)BP網(wǎng)絡(luò)對(duì)實(shí)際工業(yè)生產(chǎn)過程建模的有效性，選取某煉油廠連續(xù)重整裝置的芳烴抽提塔為建模對(duì)象.其中，溶劑比（環(huán)烴砜與進(jìn)料量之比）作為可操作的控制量，抽提塔底溫度為控制系統(tǒng)的輸出變量.現(xiàn)場采集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的信號(hào)如圖4所示.其中虛線表示輸入變量溶劑比a隨時(shí)間的變化情況，其基值為3.25；實(shí)線表示抽提塔底溫度θ的變化情況，其基值為172℃.系統(tǒng)采樣時(shí)間為2 min，共100組數(shù)據(jù)，前90組數(shù)據(jù)用于訓(xùn)練網(wǎng)絡(luò)，后10組數(shù)據(jù)用于檢驗(yàn)網(wǎng)絡(luò)的泛化能力.

圖4 網(wǎng)絡(luò)學(xué)習(xí)和測試信號(hào)（實(shí)例）Fig.4 Learning and text signal of the network（example）

采用本文所提出的自適應(yīng)選擇延遲時(shí)間的學(xué)習(xí)算法對(duì)該模型進(jìn)行辨識(shí)，仿真條件如表2所示.從圖4可以看出，輸出對(duì)階躍響應(yīng)的延遲在10個(gè)采樣時(shí)間以內(nèi)，因此將與輸出節(jié)點(diǎn)相連的分支上的延遲時(shí)間初始值設(shè)為10.

網(wǎng)絡(luò)共60個(gè)延遲變量參數(shù)，第1隱層初始延遲值分別設(shè)置為1.經(jīng)過自適應(yīng)選擇，第1隱層延遲時(shí)間參數(shù)共10個(gè)值為1，其余延遲參數(shù)為0；輸出層共12個(gè)延遲參數(shù)為8，其余8個(gè)為9，因此可認(rèn)為該系統(tǒng)的滯后時(shí)間約為16 min.經(jīng)過15000次學(xué)習(xí)之后，網(wǎng)絡(luò)的訓(xùn)練誤差為0.017534，泛化誤差為0.020824.圖5給出了神經(jīng)網(wǎng)絡(luò)的輸出同樣本信號(hào)的對(duì)比曲線，從圖中可以看出神經(jīng)網(wǎng)絡(luò)能表現(xiàn)出實(shí)際系統(tǒng)的幅值特性和延遲特性，能夠?qū)Τ樘崴诇囟鹊淖兓M(jìn)行實(shí)時(shí)預(yù)報(bào).本文所研究的方法為通過溶劑比調(diào)整抽提塔底溫度提供了依據(jù).

表2 仿真條件（實(shí)例）Tab.2 Simulation conditions（example）

圖5 泛化信號(hào)同教師信號(hào)的比較（實(shí)例）Fig.5 Comparison between generalizing signal andteacher signal（example）

在仿真實(shí)驗(yàn)過程中，延遲時(shí)間的初值設(shè)定會(huì)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)效果有一定的影響.因?yàn)樵谟?xùn)練過程中，延遲時(shí)間參數(shù)學(xué)習(xí)率過大必然會(huì)導(dǎo)致延遲參數(shù)的調(diào)整頻繁，會(huì)影響到系統(tǒng)的穩(wěn)定性；而延遲時(shí)間參數(shù)過小會(huì)使網(wǎng)絡(luò)學(xué)習(xí)效率降低，不能實(shí)現(xiàn)對(duì)被辨識(shí)對(duì)象延遲時(shí)間估計(jì)的作用.一般可將輸入層延遲時(shí)間參數(shù)的初始值設(shè)置為1，輸出層的延遲時(shí)間參數(shù)與被辨識(shí)對(duì)象的純滯后時(shí)間相接近.對(duì)于未知對(duì)象的辨識(shí)，可以粗略估計(jì)其延遲時(shí)間來進(jìn)行網(wǎng)絡(luò)參數(shù)的設(shè)置.

4 結(jié) 語

本文針對(duì)包含滯后的動(dòng)態(tài)非線性系統(tǒng)辨識(shí)的要求和特點(diǎn)，提出了可以自適應(yīng)選擇網(wǎng)絡(luò)延遲時(shí)間參數(shù)的動(dòng)態(tài)BP算法.該學(xué)習(xí)算法能夠利用一個(gè)簡單的網(wǎng)絡(luò)結(jié)構(gòu)在缺少先驗(yàn)知識(shí)的情況下，實(shí)現(xiàn)對(duì)非線性動(dòng)態(tài)系統(tǒng)的建模.仿真結(jié)果表明：本文提出的動(dòng)態(tài)BP網(wǎng)絡(luò)能夠很好地體現(xiàn)動(dòng)態(tài)非線性系統(tǒng)的特性；能夠根據(jù)網(wǎng)絡(luò)的誤差梯度對(duì)網(wǎng)絡(luò)的延遲時(shí)間參數(shù)進(jìn)行修正并且有利于網(wǎng)絡(luò)精度的提高；最終辨識(shí)得到的網(wǎng)絡(luò)延遲時(shí)間能夠用于辨識(shí)對(duì)象的純滯后時(shí)間.仿真實(shí)例證明本文所提出的動(dòng)態(tài)BP網(wǎng)絡(luò)改進(jìn)算法為模型參數(shù)未知的非線性滯后系統(tǒng)辨識(shí)研究提供了新方法.

[1]GOMEZ O，OROLOV Y，KOLMANOVSKY I V.On－line identification of SISO linear time－invariant delay system from output measurements [J].Automatica，2007，43（12）：2060－2069

[2]PEARSON R K.Outliers in process modeling and identification [J].IEEE Transactions on Control Systems Technology，2002，10（1）：55－63

[3]GMEZ J C，JUTAN A，BAEYENS E.Wiener model identification and predictive control of a p H neutralisation process [J].IEE Proceedings－Control Theory and Applications，2001，151（3）：329－338

[4]王 蓬，李少遠(yuǎn).一類非線性系統(tǒng)的多模型預(yù)測控制[J].控制與決策，2007，22（10）：1113－1118

[5]邢宗義，胡維禮，賈利民.基于T－S模型的模糊預(yù)測控制研究[J].控制與決策，2005，20（5）：495－499

[6]張日東，王樹青.基于支持向量機(jī)的一類非線性系統(tǒng)預(yù)測控制[J].控制與決策，2007，22（10）：1103－1107

[7]ABBAS H M，BAYOUMI M M.Volterra－system identification using adaptive real－coded genetic algorithm [J].IEEE Transactions on Systems，Man and Cybernetics — Part A：Systems and Humans，2006，36（4）：671－684

[8]BALESTRINO A，VERONA F B，LANDI A.On－line process estimation by ANNs and Smith controller dedign[J].IEE Proceedings－Control Theory and Applications，1998，145（2）：231－235

[9]陸 燕，杜繼宏，李春文.延遲時(shí)間未知的延遲系統(tǒng)神經(jīng)網(wǎng)絡(luò)補(bǔ)償控制[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），1998，38（9）：67－69

[10]REN X M，RAD A B.Identification of nonlinear systems with unknown time delay based on time－delay neural networks[J].IEEE Transactions on Neural Networks，2007，18（5）：1536－1541

[11]HAN M，HAN B，GUO W.Process control of p H neutralization based on adaptive algorithm of universal learning network [J].Journal of Process Control，2006，16（1）：1－7

[12]邢建國，許滄粟，孫優(yōu)賢.發(fā)動(dòng)機(jī)怠速控制NARX模型及辨識(shí)[J].內(nèi)燃機(jī)工程，2002，23（1）：69－74

[13]SIMON H.Neural Networks：A Comprehensive Foundation [M].2nd ed.Canada：Prentice Hall，1999：162－167

[14]MASTOROCOSTAS P A，THEOCHARIS J B.A recurrent fuzzy－neural model for dynamic system identification [J].IEEE Transactions on Systems，Man and Cybernetics— Part B：Cybernetics，2002，32（2）：176－189