基于多維泰勒網(wǎng)的多入多出非線性時(shí)滯系統(tǒng)辨識(shí)

摘要：針對(duì)多入多出 （multiple input multiple output，MIMO） 非線性時(shí)滯系統(tǒng)辨識(shí)的準(zhǔn)確性與實(shí)時(shí)性問(wèn)題，提出基于多維泰勒網(wǎng)（multi-dimensional taylor network，MTN） 的辨識(shí)方案。MTN作為辨識(shí)模型，綜合利用權(quán)剪枝 （weight-elimination，WE） 算法和共軛梯度（conjugate gradient，CG）算法，即WE-CG算法作為MTN辨識(shí)模型的學(xué)習(xí)算法；WE算法可以有效精簡(jiǎn)MTN辨識(shí)模型結(jié)構(gòu)，從而降低計(jì)算復(fù)雜度、提高模型實(shí)時(shí)性能。最后，引入一個(gè)數(shù)值仿真例子和一個(gè)工程實(shí)例來(lái)驗(yàn)證所提辨識(shí)方案的有效性，同時(shí)與傳統(tǒng)的MTN辨識(shí)方案作對(duì)比，給出了兩者的準(zhǔn)確性與復(fù)雜度分析，突出所提辨識(shí)方案的準(zhǔn)確性與實(shí)時(shí)性。實(shí)驗(yàn)結(jié)果表明，所提方案能夠準(zhǔn)確地對(duì)MIMO非線性時(shí)滯系統(tǒng)進(jìn)行辨識(shí)。同時(shí)，相比傳統(tǒng)的MTN辨識(shí)方案，所提辨識(shí)方案結(jié)構(gòu)更精簡(jiǎn)，具有更低的算法復(fù)雜度。

關(guān)鍵詞：多維泰勒網(wǎng)； 辨識(shí)模型； 多入多出系統(tǒng)； 非線性時(shí)滯系統(tǒng)； 權(quán)剪枝算法

中圖分類號(hào)：TP271文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2022）08-032-2432-06

doi：10.19734/j.issn.1001-3695.2022.01.0031

Identification of MIMO nonlinear time-delay system using multi-dimensional Taylor network

Li Chenlong1，2，3，4， Yan Hongsen1，2

（1. School of Automation， Southeast University， Nanjing 210096， China; 2. Key Laboratory of Measurement amp; Control of Complex Systems of Engineering， Ministry of Education， Southeast University， Nanjing 210096， China; 3. Hangzhou Innovation Institute， Beihang University， Hangzhou 310051， China; 4. Beihang University， Beijing 100191， China）

Abstract：For the accuracy and real-time performance of multiple input multiple output （MIMO） nonlinear time-delay system， this paper proposed the identification scheme based on multi-dimensional Taylor network （MTN）. It used MTN as an identification model. It adopted the WE-CG algorithm， which combined the weight-elimination （WE） algorithm with the conjugate gradient （CG） algorithm， as MTN identification model’s learning algorithm. This algorithm could simplify the structure of MTN model so as to reduce computational complexity and improve the real-time performance. Finally， it introduced a numerical simulation example and a project one to verify the effectiveness of the proposed identification scheme. And it used the traditional MTN identification scheme to compare. Both the accuracy and the computational complexity analysis illustrated the accuracy and the real-time performance of the proposed scheme. Results from the experiments and comparison show that the proposed scheme can identify the MIMO nonlinear time-delay system accurately， and the proposed identification scheme has a simpler structure and lower computational complexity than the traditional MTN identification scheme.

Key words：multi-dimensional Taylor network; identification model; MIMO system; nonlinear time-delay system; weight-elimination algorithm

0引言

工業(yè)系統(tǒng)中大都具有非線性、時(shí)滯等特性，給建模和控制帶來(lái)挑戰(zhàn)［1，2］。以往在線性系統(tǒng)中，因?yàn)榭梢缘玫狡渚_的數(shù)學(xué)模型，所以利用傳統(tǒng)的辨識(shí)方法可以滿足其要求，比如最小二乘法、階躍響應(yīng)法等［3，4］。而對(duì)于非線性時(shí)滯系統(tǒng)辨識(shí)問(wèn)題，由于很難獲得系統(tǒng)精確的數(shù)學(xué)模型，所以，以往針對(duì)線性系統(tǒng)的辨識(shí)方法很難達(dá)到理想的效果，從而給辨識(shí)帶來(lái)困難［5］。隨著神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，由于其強(qiáng)大的非線性逼近能力，給非線性辨識(shí)提供了一種有效的解決途徑［6～10］。例如，文獻(xiàn)［6］針對(duì)非線性系統(tǒng)，提出基于人工神經(jīng)網(wǎng)絡(luò)與切比雪夫函數(shù)的時(shí)滯自適應(yīng)辨識(shí)方案；文獻(xiàn)［7］基于時(shí)滯神經(jīng)網(wǎng)絡(luò)與核函數(shù)的內(nèi)部關(guān)系，提出針對(duì)工程領(lǐng)域的非線性系統(tǒng)辨識(shí)方案；文獻(xiàn)［8］針對(duì)帶有未知時(shí)滯的非線性連續(xù)系統(tǒng)，提出基于時(shí)滯神經(jīng)網(wǎng)絡(luò)的辨識(shí)方案；文獻(xiàn)［9］針對(duì)非線性系統(tǒng)辨識(shí)，提出了一種新型神經(jīng)網(wǎng)絡(luò)方案；文獻(xiàn)［10］針對(duì)非線性動(dòng)態(tài)系統(tǒng)，提出了一種基于數(shù)據(jù)知識(shí)的模糊神經(jīng)網(wǎng)絡(luò)辨識(shí)方案。然而，由于神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中花費(fèi)時(shí)間長(zhǎng)，易陷入極小值點(diǎn)，且算法復(fù)雜度較高，從而不能滿足實(shí)時(shí)構(gòu)建預(yù)測(cè)模型的要求［11］。此外，相比于單入單出（single input single output，SISO）系統(tǒng)，多入多出 （multiple input multiple output，MIMO） 系統(tǒng)由于輸入和輸出變量之間的關(guān)系更加復(fù)雜而更加難以建模［12～14］。

針對(duì)以上問(wèn)題，嚴(yán)洪森教授于2010年10月提出多維泰勒網(wǎng)的建模思想［15，16］，之后被應(yīng)用在非線性時(shí)間序列建模與故障監(jiān)測(cè)上［17～21］。之后在2010年12月，嚴(yán)洪森教授提出多維泰勒網(wǎng)優(yōu)化控制的思想［15，16］，應(yīng)用于非線性系統(tǒng)控制領(lǐng)域［22～24］，先后對(duì)非線性時(shí)變系統(tǒng)［22］、非線性時(shí)滯系統(tǒng)［23］與非線性隨機(jī)系統(tǒng)［24］的控制問(wèn)題進(jìn)行了廣泛研究。多維泰勒網(wǎng)與多維泰勒網(wǎng)優(yōu)化控制器具有以下特點(diǎn)［15～24］：a）MTN具有可以任意逼近非線性函數(shù)的能力；b）MTN模型與控制器，其結(jié)構(gòu)簡(jiǎn)單，只包含加法和乘法，不含有超越函數(shù)和無(wú)理函數(shù)，參數(shù)調(diào)整方便，便于工程實(shí)現(xiàn)，無(wú)須復(fù)雜的數(shù)學(xué)計(jì)算，便于實(shí)現(xiàn)實(shí)時(shí)建模與控制；c）MTN控制器本身具有學(xué)習(xí)能力，使其在控制過(guò)程中能不斷地完善自己，使控制效果越來(lái)越好，提高控制器的魯棒性能；d）MTN控制器具有良好的可擴(kuò)展性，能夠融合其他控制方法或者控制思想，具有一定的容錯(cuò)性和進(jìn)化能力。

基于此，本文針對(duì)MIMO非線性時(shí)滯系統(tǒng)提出基于MTN的辨識(shí)方案。首先，將MTN作為辨識(shí)模型；然后，綜合利用權(quán)剪枝（weight-elimination，WE）算法和共軛梯度算法（conjugate gradient，CG），即WE-CG算法作為MTN辨識(shí)模型的學(xué)習(xí)算法；WE算法對(duì)MTN辨識(shí)模型結(jié)構(gòu)進(jìn)行精簡(jiǎn)，從而降低計(jì)算復(fù)雜度以滿足實(shí)時(shí)性要求；最后，引入一個(gè)數(shù)值仿真例子和一個(gè)工程實(shí)例—連續(xù)攪拌反應(yīng)器（continuous stirred tank reactor，CSTR）來(lái)驗(yàn)證本文方案的有效性，同時(shí)引入傳統(tǒng)的MTN辨識(shí)方案［17］作對(duì)比，給出了兩者的準(zhǔn)確性與復(fù)雜度分析。

本文的主要貢獻(xiàn)如下：

a）針對(duì)MIMO非線性時(shí)滯系統(tǒng)，借助MTN的強(qiáng)大逼近性能，提出基于MTN的辨識(shí)方案，所提方案易于實(shí)施；

b）WE-CG算法作為MTN辨識(shí)模型的學(xué)習(xí)算法，WE算法可以有效精簡(jiǎn)MTN辨識(shí)模型結(jié)構(gòu)，從而降低算法復(fù)雜度，提高模型實(shí)時(shí)性能；

c）所提方案具有較低的計(jì)算復(fù)雜度，即實(shí)時(shí)性能較好；

d）所提辨識(shí)方案具有一般性和實(shí)際應(yīng)用價(jià)值。

1系統(tǒng)描述與多維泰勒網(wǎng)

1.1系統(tǒng)描述

MIMO離散非線性時(shí)滯系統(tǒng)如下所示：

y（k）=g［y（k－1），y（k－2），…，y（k－ny），

u（k－d），…，u（k－nu－d）］（1）

其中：g（·）=［g1（·），…，gq（·）］T∈Euclid ExtraaBpq為未知的非線性向量函數(shù)；y（k）=［y1（k），…，yq（k）］T∈Euclid ExtraaBpq；u（k）=［u1（k），…，up（k）］T∈Euclid ExtraaBpp分別為系統(tǒng)式（1）的q 維輸出和p 維輸入；nyj （j=1，2，…，q），nui （i=1，2，…，p） 分別為第j個(gè)輸出分量和第i個(gè)輸出分量的階次，且ny={ny1，ny2，…，nyq}，nu={nu1，nu2，…，nup}；d為系統(tǒng)時(shí)滯。

則在k時(shí)刻，系統(tǒng)式（1）的第j個(gè)輸出分量可以表示為

yj（k）=gj（y1（k－1），…，y1（k－ny1），…，yq（k－1），…，yq（k－nyq），

u1（k-d），u1（k－d－1），…，u1（k－d－nu1），…，up（k－d），up（k－d－1），…，up（k－d－nup））（2）

1.2多維泰勒網(wǎng)

1.2.1MIMO多維泰勒網(wǎng)

針對(duì)于MIMO非線性系統(tǒng)，基于多維泰勒網(wǎng)，第j個(gè)輸出分量j（k+1）可寫成如下形式［15］：

j（k+1）=∑N^（，）=1j，（k）∏=1（，）（k）

（3）

其中：N^（，）表示元函數(shù)f^j（·）展開(kāi)成次逼近多項(xiàng)式乘積項(xiàng)的總項(xiàng)數(shù)，權(quán)重向量為j（k）=［j，1（k），…，j，N^（，）（k）］T，j，（k）表示式（3）中第個(gè)乘積項(xiàng)的權(quán)重系數(shù)，（，）表示第個(gè)乘積項(xiàng)中變量（k）的次數(shù)，且∑=1（，）≤。

MIMO非線性系統(tǒng)的MTN結(jié)構(gòu)如圖1所示。

1.2.2多維泰勒網(wǎng)逼近性能

引理1［25］任何定義于一個(gè)閉區(qū)間的連續(xù)函數(shù)可以用多項(xiàng)式函數(shù)任意準(zhǔn)確地逼近。

引理2［18］對(duì)于定義于一個(gè)閉區(qū)間的連續(xù)函數(shù)f（x1，x2，…，xn），可以用∑N（n，m）t=1wt∏ni=1xλt，ii逼近。其中N（t，m）為逼近展開(kāi)式中乘積項(xiàng)的總項(xiàng)數(shù)，wt為逼近展開(kāi)式中第t個(gè)乘積項(xiàng)之前的權(quán)值，λt，i為展開(kāi)式中第t個(gè)乘積項(xiàng)中變量xi的冪次。

正如圖1所示，MTN采用前向單中間層結(jié)構(gòu)，包括輸入層、中間層和輸出層。同時(shí)基于引理1和2說(shuō)明，只要N（t，m）足夠大，它就能夠以足夠的精度逼近任意模型［18，25］。

1.2.3多維泰勒網(wǎng)復(fù)雜度分析

由于使用相同的計(jì)算機(jī)、相同的時(shí)間來(lái)進(jìn)行實(shí)時(shí)性的分析是不可能的，所以本文引用浮點(diǎn)數(shù)來(lái)估計(jì)方案的計(jì)算量，即實(shí)時(shí)性［26，27］。一個(gè)加號(hào)和一個(gè)乘號(hào)都叫做一個(gè)浮點(diǎn)，加號(hào)和乘號(hào)的總數(shù)作為總的浮點(diǎn)數(shù)，即浮點(diǎn)數(shù)的總和代表著計(jì)算復(fù)雜度。當(dāng)展開(kāi)次冪為2次，表1為MTN在一次迭代中的計(jì)算復(fù)雜度［17］，突出MTN因其結(jié)構(gòu)簡(jiǎn)單而帶來(lái)出色的實(shí)時(shí)性能。

其中，n0和n1分別表示MTN輸入和輸出層的節(jié)點(diǎn)數(shù)。MTN只包括加法與乘法，其計(jì)算復(fù)雜度僅相當(dāng)于神經(jīng)網(wǎng)絡(luò)中單個(gè)神經(jīng)元的泰勒展開(kāi)。

2MIMO非線性時(shí)滯系統(tǒng)多維泰勒網(wǎng)辨識(shí)方案

本文采用MTN作為辨識(shí)模型，WE-CG算法作為學(xué)習(xí)算法，WE算法可以有效精簡(jiǎn)MTN網(wǎng)絡(luò)結(jié)構(gòu)。

2.1MTN辨識(shí)模型

對(duì)于系統(tǒng)式（1），g［·］可以由MTN以任意精度逼近，其映射關(guān)系記為［·］，則MTN辨識(shí)模型可以寫為

（k）=I［y（k－1），y（k－2），…，y（k－ny），u（k－d），…，u（k－nu－d），I（k）］（4）

其中：（k）為MTN辨識(shí)模型輸出，且（k）=［1（k），…，q（k）］T∈Euclid ExtraaBpq；I（k）為MTN權(quán)系數(shù)向量；I（·）=［1（·），…，q（·）］T∈Euclid ExtraaBpq；u（k）、y（k）、ny、nu和d與式（1）有相同的含義。

然后，系統(tǒng)式（4）在第k時(shí)刻的第j次輸出分量為

j（k）=j［y1（k－1），…，y1（k－ny1），…，yq（k－1），…，yq（k－nyq），

u1（k-d），u1（k－d－1），…，u1（k－d－nu1），…，up（k－d），

up（k－d－1），…，up（k－d－nup），wj］（5）

為了方便且不失一般性，記

u=∑pi=1（nui+1），

y=∑qj=1（nyj+1），

=u+y

（k）=［1（k），…，y（k），y+1（k），…，（k）］T=

［y1（k-1），…，yq（k－nyq），u1（k-d），…，up（k－nup－d）］T

MTN的第j 次輸出分量j（k）的權(quán)值向量為

j（k）=［j，1（k），…，j，N^（，）（k）］T

相應(yīng)的MTN模型式（5）可以改寫成如下形式［17］：

j（k）=∑N^（，）=1j，（k）∏=1（，）（k）（6）

其中：N^（，）表示元函數(shù)j（·）展開(kāi)成次逼近多項(xiàng)式乘積項(xiàng)的總項(xiàng)數(shù)，j，（k）表示式（6）中第個(gè)乘積項(xiàng)的權(quán)重系數(shù)，（，）表示第個(gè)乘積項(xiàng)中變量（k）的次數(shù)，且∑=1（，）≤。

2.2模型學(xué)習(xí)算法

2.2.1共軛梯度法

MTN參數(shù)可以通過(guò)采樣學(xué)習(xí)與適當(dāng)?shù)膶W(xué)習(xí)算法來(lái)獲得。

設(shè)采樣集T={（u（k），y（k+1））}N－1k=0，u（k）∈Euclid ExtraaBpp為系統(tǒng)輸入，y（k+1）∈Euclid ExtraaBpq為系統(tǒng)輸出。誤差變化方程如下：

E^=1N∑N－1k=0（y（k+1）－（k+1））2=1N∑N－1k=1（yj（k+1）－∑N^（，）=1j，（k）∏=1（，）（k））2（7）

設(shè)（k）=（∏=1（1，）（k），∏=1（2，）（k），…，∏=1（N^（，），）（k））T

A^=（（0），（1），…，（N-1））

j（k）=（j，1（k），j，2（k），…，j，N^（，）（k））Tj=1，2，…，q

I=（1（k），2（k），…，N^（，）（k））Τ

則式（7）可以寫成如下形式：

E^=1N∑N-1k=0（TI（k）-y（k+1））2=

1NTI∑N-1k=0（（k）Τ（k））I-2N（∑N-1k=0y（k+1）Τ（k））I+1N∑N-1k=0y2（k+1）

（8）

計(jì)算E^關(guān)于I的偏導(dǎo)數(shù)，得

E^I=2N∑N－1k=0（（k）T（k））I－2N∑N－1k=0y（k+1）（k）（9）

設(shè)

=E^I，Q^=2N∑N－1k=0（（k）T（k）），l^=－2N∑N－1k=0y（k+1）（k）

則可以得到

=Q^I+l^（10）

設(shè)y=（y（1），y（2），…，y（N））T，Q^、l^和可以重新寫為

Q^=2NA^A^T，l^=－2NA^y，=2NA^（A^TI－y）

為了獲得一個(gè)精確的模型，權(quán)重系數(shù)向量I的值應(yīng)該通過(guò)數(shù)據(jù){u（k），y（k+1）}來(lái)更新。梯度法是一種常用的優(yōu)化方法，其可以對(duì)參數(shù)進(jìn)行調(diào)整，即I可以根據(jù)每次離線MTN的負(fù)梯度方向來(lái)更新一次。設(shè)τ為I經(jīng)過(guò)τ步訓(xùn)練后的值，則τ+1=τ－μτgτ，其中 μτ=ΤττΤτQ^τ。然而，梯度法采用鋸齒形的方式到達(dá)最小值點(diǎn)，所以其搜索方向會(huì)一直保持垂直。幸運(yùn)的是，采用共軛梯度法可以有效地解決這一問(wèn)題，其權(quán)重可以更新為

τ+1=τ+μττ（11）

其中：τ=－τ+τ-1τ-1，μτ=ΤττΤτQ^τ，τ-1=TτQ^τ-1Tτ-1Q^τ-1，初始值1=－1。

2.2.2WE-CG算法

隨著MTN的輸入節(jié)點(diǎn)增加，會(huì)導(dǎo)致維數(shù)爆炸，因此有必要精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)。權(quán)剪枝算法可用于精簡(jiǎn)MTN的中間節(jié)點(diǎn)，以此來(lái)減小網(wǎng)絡(luò)的復(fù)雜度。本節(jié)通過(guò)結(jié)合CG算法與WE算法，即WE-CG算法作為MTN辨識(shí)模型的學(xué)習(xí)算法。

引理3［28］假設(shè)目標(biāo)函數(shù)h（x）可由最小結(jié)構(gòu)網(wǎng)絡(luò)Net（h－1）實(shí)現(xiàn)，網(wǎng)絡(luò)Net（h）比Net（h－1）多一個(gè)中間節(jié)點(diǎn)。如果Net（h）能實(shí)現(xiàn)h（x），則Net（h）或者有h－1個(gè)中間節(jié)點(diǎn)與中間節(jié)點(diǎn)Net（h－1）完全重合，而余下的那個(gè)獨(dú)立中間節(jié)點(diǎn)輸出權(quán)值為零；或者Net（h）中有h－2個(gè)中間節(jié)點(diǎn)與Net（h－1）中的中間節(jié)點(diǎn)完全重合，而余下的兩個(gè)重合的中間節(jié)點(diǎn)疊加后與Net（h－1）中最后一個(gè)中間節(jié)點(diǎn)相等。

根據(jù)引理3，當(dāng)訓(xùn)練樣本充分多時(shí)，中間節(jié)點(diǎn)的衰減和重合是必然的。因此，有必要使用剪枝算法來(lái)精簡(jiǎn)網(wǎng)絡(luò)，在去掉冗余節(jié)點(diǎn)后的網(wǎng)絡(luò)仍然可以表示一個(gè)目標(biāo)函數(shù)。本文通過(guò)正則化實(shí)現(xiàn)對(duì)MTN冗余節(jié)點(diǎn)刪除來(lái)精簡(jiǎn)MTN網(wǎng)絡(luò)結(jié)構(gòu)。

由于該正則化項(xiàng)具有剪枝特性［29，30］，所以一些冗余的輸出權(quán)值將逐步衰減到零，從而可以刪除與之相連的中間節(jié)點(diǎn)。基于此，本節(jié)在CG算法的基礎(chǔ)上引入帶有高斯正則化項(xiàng)的權(quán)剪枝算法作為MTN辨識(shí)模型的學(xué)習(xí)算法。

本文采取如下目標(biāo)函數(shù)：

J（wI）=E（wI）+γC（wI）（12）

其中：E（wI）通常為網(wǎng)絡(luò)誤差平方和；等式右邊第二項(xiàng)為正則化項(xiàng)；γ為正則化系數(shù)，且γ≥0；C=－2w2i/w20（1+w2i/w20）2，且w0為基準(zhǔn)權(quán)值。當(dāng)某些中間節(jié)點(diǎn)的輸出權(quán)值滿足式（13）時(shí)，去掉中間節(jié)點(diǎn)。

|wi|lt;wmin（13）

其中：wmin為臨界權(quán)值。由于正則化系數(shù)γ的取值對(duì)學(xué)習(xí)結(jié)果有很大影響，所以提出一種在學(xué)習(xí)過(guò)程中動(dòng)態(tài)改變?chǔ)玫姆桨福丛诿看螖?shù)據(jù)中心修正后，動(dòng)態(tài)修改γ。MTN辨識(shí)模型wI的調(diào)整方法采用如下等式［29，30］。

wI（k+1）=wI（k）+μτp^τ+γC（w）（14）

其中：μτ、p^τ與式（11）中的含義相同；γ、C（w）與式（12）中的含義相同。

本節(jié)參照文獻(xiàn)［29，30］給出的正則化參數(shù)調(diào)整方法，在學(xué)習(xí)過(guò)程中隨時(shí)檢測(cè)以下誤差量之間的關(guān)系：

E（k），當(dāng)前時(shí)刻權(quán)值調(diào)節(jié)時(shí)的誤差；

E（k－1），前一時(shí)刻權(quán)值調(diào)節(jié)時(shí)的誤差；

A（k），當(dāng)前時(shí)刻的加權(quán)平均誤差，定義為A（k）=κA（k－1）+（1－κ）E（k），其中κ為接近于1的系數(shù)；

D，期望誤差值，如果沒(méi)有先驗(yàn)知識(shí)，可設(shè)定D=0，但此時(shí)計(jì)算時(shí)間可能較長(zhǎng)。

對(duì)γ進(jìn)行動(dòng)態(tài)調(diào)節(jié)，具體規(guī)則如下：

如果E（k）lt;E（k－1），或E（k）lt;D，則γ（k）=γ（k－1）+Δγ；

如果E（k）≥E（k－1），或E（k）lt;A（k），且E（k）≥D，則γ（k）=γ（k－1）－Δγ；

如果E（k）≥E（k－1），或E（k）≥A（k），且E（k）≥D，則γ（k）=σγ（k－1），其中σ為接近1的系數(shù)。

2.3MTN辨識(shí)方案

本文針對(duì)MIMO非線性時(shí)滯系統(tǒng)，提出基于MTN的辨識(shí)方案。首先，將MTN作為辨識(shí)模型；其次，將WE-CG算法作為MTN辨識(shí)模型的學(xué)習(xí)算法；WE算法對(duì)MTN辨識(shí)模型結(jié)構(gòu)進(jìn)行精簡(jiǎn)從而降低計(jì)算復(fù)雜度，以滿足實(shí)時(shí)性要求。

算法1基于MTN的MIMO非線性時(shí)滯系統(tǒng)辨識(shí)

a）確定MTN辨識(shí)模型結(jié)構(gòu)與初始權(quán)值；

b）按照誤差標(biāo)準(zhǔn)函數(shù)式（7），MTN辨識(shí)模型由WE-CG算法進(jìn)行訓(xùn)練；

c）由式（14）更新I；

d）重復(fù)步驟b）～d），直至誤差滿足給定精度停止訓(xùn)練。

3實(shí)驗(yàn)結(jié)果及分析

本文通過(guò)一個(gè)數(shù)值仿真例子和一個(gè)實(shí)例—連續(xù)攪拌反應(yīng)器系統(tǒng)（continuous stirred tank reactor， CSTR）過(guò)程來(lái)驗(yàn)證所提方案的準(zhǔn)確性與實(shí)時(shí)性。

3.1算例

考慮如下的MIMO非線性時(shí)滯系統(tǒng)：

y1（k）=2y1（k－1）u21（k－1）1+y21（k－1）+0.3u1（k－1－d）+

0.7u1（k－2）+0.2u2（k－d）+sin（0.5u2（k－d））

y2（k）=1.7y2（k－1）u22（k－1）1+y22（k－1）+0.5u2（k－1－d）+

0.5u2（k－2）+0.2u1（k－d）+sin（0.5u2（k－d－2））

其中：d=6。

輸入為單位階躍信號(hào)，MTN辨識(shí)模型采用6-28-2的結(jié)構(gòu)，即6個(gè)輸入節(jié)點(diǎn)，展開(kāi)到2次，WE-CG算法作為其學(xué)習(xí)算法。CG學(xué)習(xí)算法設(shè)定迭代次數(shù)為200。WE算法設(shè)定參考權(quán)值為0.1，正則化系數(shù)初值為0，濾波系數(shù)為κ=0.092，γ=0.995，正則化系數(shù)的增量為0.5×10－4，消除冗余權(quán)重的閾值為0.05。其中用200個(gè)采樣時(shí)刻進(jìn)行訓(xùn)練，100個(gè)采樣時(shí)刻用于測(cè)試。

在圖2、3中，y1和y2為系統(tǒng)輸出，WE-CG-MTN為所提辨識(shí)方案，CG-MTN為對(duì)比方案。

圖2與3為辨識(shí)過(guò)程，其中，圖2（a）和圖3（a）為辨識(shí)結(jié)果，圖2（b）和圖3（b）為學(xué)習(xí)誤差曲線，圖2（c）和圖3（c）為正則化系數(shù)的學(xué)習(xí)變化曲線，圖2（d）和圖3（d）為網(wǎng)絡(luò)剪枝過(guò)程。盡管正則化系數(shù)的變化并不是平滑的學(xué)習(xí)過(guò)程，但WE算法平滑的學(xué)習(xí)曲線表明MTN權(quán)重變化過(guò)程不會(huì)導(dǎo)致嚴(yán)重波動(dòng)的訓(xùn)練誤差，并對(duì)最后的剪枝結(jié)果影響較小。

從仿真結(jié)果中可以看到，針對(duì)第一個(gè)子系統(tǒng)，WE-CG-MTN方案和CG-MTN方案訓(xùn)練的均方誤差分別為0.031 8和0.028 5，測(cè)試的均方誤差分別為0.036 5和0.036 4；對(duì)于第二個(gè)子系統(tǒng)，WE-CG-MTN方案和CG-MTN方案訓(xùn)練的均方誤差分別為0.017 2和0.017 2，測(cè)試的均方誤差分別為0.052 1和0.052 0。可以看出，WE算法的引入雖然對(duì)學(xué)習(xí)誤差有少許影響，但是對(duì)于兩個(gè)子系統(tǒng)，去除冗余中間節(jié)點(diǎn)后，其節(jié)點(diǎn)分別只有11和19個(gè)，這大大減少了計(jì)算量，增加了實(shí)時(shí)性能。WE-CG-MTN與CG-MTN辨識(shí)方案的復(fù)雜度分析如表2所示。

從表2看到，經(jīng)過(guò)精簡(jiǎn)后的MTN辨識(shí)模型的浮點(diǎn)數(shù)遠(yuǎn)遠(yuǎn)小于經(jīng)典的MTN辨識(shí)方案，也就是說(shuō)本文的計(jì)算量遠(yuǎn)遠(yuǎn)小于經(jīng)典的MTN辨識(shí)方案，即所提方案具有很好的實(shí)時(shí)性能。

需要指出的是，MTN相當(dāng)于神經(jīng)網(wǎng)絡(luò)的一個(gè)神經(jīng)元，其計(jì)算量遠(yuǎn)遠(yuǎn)小于神經(jīng)網(wǎng)絡(luò)，相關(guān)文獻(xiàn)已經(jīng)對(duì)傳統(tǒng)MTN辨識(shí)模型和BP神經(jīng)網(wǎng)絡(luò)辨識(shí)模型的準(zhǔn)確性與實(shí)時(shí)性進(jìn)行了對(duì)比分析，表明傳統(tǒng)MTN辨識(shí)模型優(yōu)于BP神經(jīng)網(wǎng)絡(luò)辨識(shí)模型［19］。這里，本文對(duì)比了所提方案與傳統(tǒng)MTN辨識(shí)方案的準(zhǔn)確性與實(shí)時(shí)性分析，通過(guò)圖2、3與表2看出，從準(zhǔn)確性分析角度，無(wú)論是訓(xùn)練的均方誤差，還是測(cè)試的均方誤差，本文所提辨識(shí)方案與傳統(tǒng)MTN辨識(shí)方案幾乎屬于同一數(shù)量級(jí)，而從計(jì)算復(fù)雜度角度，本文所提辨識(shí)方案的計(jì)算量少于傳統(tǒng)的MTN辨識(shí)方案，即實(shí)時(shí)性更優(yōu)。

3.2實(shí)例—CSTR過(guò)程

CSTR為厭氧處理過(guò)程，其為一個(gè)由原油與微生物完全混合的狀態(tài)［31～34］，如圖4所示。CSTR生成裝置是帶有攪拌裝置的密閉水箱，其是一個(gè)具有時(shí)滯的典型非線性化工過(guò)程。CSTR模型采用如下模型［35］：

dx1（t）dt=－x1（t）+Da［1－x1（t）］exp（x2（t）1+x2（t）φ）+

C［u1（t－τ）－x1（t）］

dx2（t）dt=－x2（t）+BDa［1－x1（t）］exp（x2（t）1+x2（t）φ）+

C［u2（t－τ）－x2（t）］

離散化，得

x1（k）=x1（k－1）－x1（k－1）ΔT+Da［1－x1（k－1）］

exp（x2（k－1）1+x2（k－1）φ）ΔT+C［u1（k－d）－x1（k）］ΔT

x2（k）=x2（k－1）－x2（k－1）ΔT+BDa［1－x1（k－1）］

exp（x2（k－1）1+x2（k－1）φ）ΔT+C［u2（k－d）－x2（k）］ΔT

其中：Da=0.008，φ=10，B=6，C=0.5，d=6，采樣時(shí)間ΔT為 0.1 s。

y1（k）=x1（k）；y2（k）=x2（k）。

輸入采用單位階躍信號(hào)，MTN辨識(shí)模型采用6-28-2的結(jié)構(gòu)，即6個(gè)輸入節(jié)點(diǎn)，展開(kāi)到2次，WE-CG算法作為其學(xué)習(xí)算法。CG學(xué)習(xí)算法設(shè)定迭代次數(shù)為1 000。WE算法設(shè)定參考權(quán)值為0.1，正則化系數(shù)初值為0，濾波系數(shù)為κ=0.092，γ=0.995，正則化系數(shù)的增量為0.5×10－4，消除冗余權(quán)重的閾值為0.05。其中用1 000個(gè)采樣時(shí)刻進(jìn)行訓(xùn)練，200個(gè)采樣時(shí)刻用于測(cè)試。

圖5與6為辨識(shí)過(guò)程，其中，圖5（a）和6（a）為辨識(shí)結(jié)果，圖5（b）和6（b）為學(xué)習(xí)誤差曲線，圖5（c）和6（c）為正則化系數(shù)的學(xué)習(xí)變化曲線，圖5（d）和6（d）為網(wǎng)絡(luò)剪枝過(guò)程。盡管正則化系數(shù)的變化并不是平滑的學(xué)習(xí)過(guò)程，但WE算法平滑的學(xué)習(xí)曲線表明MTN權(quán)重變化過(guò)程不會(huì)導(dǎo)致嚴(yán)重波動(dòng)的訓(xùn)練誤差，并對(duì)最后的剪枝結(jié)果影響較小。

從仿真結(jié)果中可以看到，針對(duì)第一個(gè)子系統(tǒng)，WE-CG-MTN方案訓(xùn)練的均方誤差為0.002 4，測(cè)試的均方誤差為0.005 2；對(duì)于第二個(gè)子系統(tǒng)，WE-CG-MTN方案訓(xùn)練的均方誤差為0.006 5，測(cè)試的均方誤差分別為0.010 8。可以看出，WE算法的引入雖然對(duì)學(xué)習(xí)誤差有少許影響，但是對(duì)于兩個(gè)子系統(tǒng)，去除冗余中間節(jié)點(diǎn)后，其節(jié)點(diǎn)分別只有2和7個(gè)，這大大減少了計(jì)算量，增加了實(shí)時(shí)性能。

需要說(shuō)明的是，MTN辨識(shí)模型結(jié)構(gòu)的選擇，本文采用6-28-2的結(jié)構(gòu)，即6個(gè)輸入節(jié)點(diǎn)，展開(kāi)到2次，由圖1可知中間層節(jié)點(diǎn)數(shù)為28個(gè)。當(dāng)輸入節(jié)點(diǎn)數(shù)不變，隨著展開(kāi)次數(shù)的增加，中間節(jié)點(diǎn)數(shù)會(huì)隨之增加，造成節(jié)點(diǎn)冗余的發(fā)生。對(duì)于WE參數(shù)的選取，其決定了剪枝的效果，通常通過(guò)多次實(shí)驗(yàn)來(lái)確定參數(shù)的選擇。本文看到在引入WE算法后，去除了中間冗余節(jié)點(diǎn)，減少了計(jì)算量。但是由于使用相同的計(jì)算機(jī)、相同的時(shí)間來(lái)進(jìn)行實(shí)時(shí)性分析是不可能的，所以本文利用浮點(diǎn)數(shù)來(lái)估計(jì)方案的計(jì)算復(fù)雜度，一個(gè)加號(hào)和一個(gè)乘號(hào)都叫做一個(gè)浮點(diǎn)，加號(hào)和乘號(hào)的總數(shù)作為總的浮點(diǎn)數(shù)，即浮點(diǎn)數(shù)的總和代表著計(jì)算復(fù)雜度。本文對(duì)MTN模型（CG-MTN）和精簡(jiǎn)MTN模型（WE-CG-MTN）的浮點(diǎn)數(shù)進(jìn)行了對(duì)比，說(shuō)明精簡(jiǎn)MTN模型浮點(diǎn)數(shù)遠(yuǎn)遠(yuǎn)小于MTN模型。同時(shí)在以往研究中分析了MTN模型浮點(diǎn)數(shù)遠(yuǎn)遠(yuǎn)小于神經(jīng)網(wǎng)絡(luò)模型。這些說(shuō)明本文所提方案有較低的計(jì)算復(fù)雜度，擁有較好的實(shí)時(shí)性能。

4結(jié)束語(yǔ)

針對(duì)MIMO非線性時(shí)滯系統(tǒng)提出了基于MTN的辨識(shí)方案。

利用MTN的強(qiáng)大逼近性，將MTN作為辨識(shí)模型。

將WE-CG算法作為MTN辨識(shí)模型的學(xué)習(xí)算法；WE算法可以有效精簡(jiǎn)MTN辨識(shí)模型結(jié)構(gòu)，從而降低算法復(fù)雜度，提高模型實(shí)時(shí)性能。

實(shí)驗(yàn)結(jié)果表明，本文所提辨識(shí)方案能夠準(zhǔn)確地對(duì)MIMO非線性時(shí)滯系統(tǒng)進(jìn)行辨識(shí)。同時(shí)，相比傳統(tǒng)的MTN辨識(shí)方案，所提辨識(shí)方案結(jié)構(gòu)更精簡(jiǎn)，具有更低的算法復(fù)雜度，實(shí)時(shí)性更好，為工程實(shí)踐和硬件實(shí)施提供方便。

雖然本文方法展現(xiàn)出良好的性能，但仍需進(jìn)一步的研究，比如：a）研究其他的精簡(jiǎn)辨識(shí)方案；b）研究多入多出非線性時(shí)滯系統(tǒng)控制問(wèn)題；c）研究該方案應(yīng)用到其他工程領(lǐng)域問(wèn)題。

參考文獻(xiàn)：

［1］Liu Xin， Yang Xianqiang， Zhu Pengbo， et al. Robust identification of nonlinear time-delay system in state-space form ［J］. Journal of the Franklin Institute， 2019， 356（16）： 9953-9971.

［2］侯明冬， 王印松. 一類非線性大滯后系統(tǒng)自適應(yīng)積分滑模控制 ［J］. 控制理論與應(yīng)用， 2019， 36（7）： 1182-1188. （Hou Mingdong， Wang Yinsong. An adaptive integral sliding mode control for a class of nonlinear large-lag systems ［J］. Control Theory amp; Applications， 2019， 36（7）： 1182-1188.）

［3］Zhu Kun， Yu Chengpu， Wan Yiming. Recursive least squares identification with variable-direction forgetting via oblique projection decomposition ［J］. IEEE/CAA Journal of Automatica Sinica， 2022， 9（3）： 547-555.

［4］Ahmed S. Step response-based identification of fractional order time delay models ［J］. Circuits Systems Signal Processing， 2020， 39（4）： 3858-3874.

［5］陳茹雯， 湛時(shí)時(shí). 基于非線性自回歸時(shí)序模型的振動(dòng)系統(tǒng)辨識(shí) ［J］. 計(jì)算機(jī)應(yīng)用研究， 2016， 33（10）： 3021-3025. （Chen Ruwen， Zhan Shishi. Identification based on GNAR model for vibration system ［J］. Application Research of Computers， 2016， 33（10）： 3021-3025.）

［6］Lu Lu， Yu Yi， Yang Xiaomin， et al. Time delay Chebyshev functio-nal link artificial neural network ［J］. Neurocomputing， 2019， 329： 153-164.

［7］De Paula N C G， Marques F D. Multi-variable Volterra kernels identification using time-delay neural networks： application to unsteady aerodynamic loading ［J］. Nonlinear Dynamics， 2019， 97： 767-780.

［8］Ren Xuemei， Rad A B. Identification of nonlinear systems with unknown time delay based on time-delay neural networks ［J］. IEEE Trans on Neural Networks， 2007， 18（5）： 1536-1541.

［9］Xu Jun， Tao Qinghua， Li Zhen， et al. Efficient hinging hyperplanes neural network and its application in nonlinear system identification ［J］. Automatica， 2020， 116： 108906.

［10］Wu Xiaolong， Han Honggui， Liu Zheng， et al. Data-knowledge-based fuzzy neural network for nonlinear system identification ［J］. IEEE Trans on Fuzzy Systems， 2020， 28（9）： 2209-2221.

［11］Rummelhart D E， Hinton G E， Williams R J. Learning representations by back propagating errors ［J］. Nature， 1986， 323： 533-536.

［12］Batselier K， Chen Zhongming， Wong N. A Tensor Network Kalman filter with an application in recursive MIMO Volterra system identification ［J］. Automatica， 2017， 84： 17-25.

［13］Chee E， Wang Xiaonan. Generalized system identification for nonli-near MPC of highly nonlinear MIMO systems ［J］. IFAC-Papers-OnLine， 2021， 54（3）： 366-371.

［14］Gray W S， Venkatesh G S， Espinosa L A D. Nonlinear system identification for multivariable control via discrete-time Chen-Fliess series ［J］. Automatica， 2020， 119： 109085.

［15］嚴(yán)洪森. 多維泰勒網(wǎng)優(yōu)化控制 ［EB/OL］. （2021-07-06）.https：//automation. seu. edu. cn/yhs/list.html. （Yan Hongsen. MTN （multi-dimensional Taylor network） optimal control ［EB/OL］. （2021-07-06）. https：//automation. seu. edu. cn/yhs/list.html.）

［16］嚴(yán)洪森. 等效論 （Equivology） 與多維泰勒網(wǎng) ［EB/OL］. （2021-07-06）. https：//automation. seu. edu. cn/yhs/list. html. （Yan Hongsen. Equivology and MTN （multi-dimensional Taylor network） ［EB/OL］. （ 2021-07-06）. https：//automation. seu. edu. cn/yhs/list. html.）

［17］周博， 嚴(yán)洪森. 基于小波和多維泰勒網(wǎng)動(dòng)力學(xué)模型的金融時(shí)間序列預(yù)測(cè) ［J］. 系統(tǒng)工程理論與實(shí)踐， 2013， 33（10）： 2654-2662. （Zhou Bo， Yan Hongsen. Financial time series forecasting based on wavelet and multi-dimensional Taylor network dynamics model ［J］. Systems Engineering-Theory amp; Practice， 2013， 33（10）： 2654-2662.）

［18］林屹， 嚴(yán)洪森， 周博. 基于多維泰勒網(wǎng)的非線性時(shí)間序列預(yù)測(cè)方法及其應(yīng)用 ［J］. 控制與決策， 2014， 29（5）： 795-801. （Lin Yi， Yan Hongsen， Zhou Bo. Nonlinear time series prediction method based on multi-dimensional Taylor network and its applications ［J］. Control and Decision， 2014， 29（5）： 795-801.）

［19］Li Chenlong， Yan Hongsen. Identification of nonlinear time-delay system using multi-dimensional Taylor network model［C］//Proc of the 8th International Conference on Manipulation， Manufacturing and Measurement on the Nanoscale.2018： 87-90.

［20］李晨龍， 嚴(yán)洪森. 基于多維泰勒網(wǎng)的超前d步預(yù)測(cè)模型 ［J］. 控制與決策， 2021， 36（2）： 345-354. （Li Chenlong， Yan Hongsen. d-step-ahead predictive model based on multi-dimensional Taylor network ［J］. Control and Decision， 2021， 36（2）： 345-354.）

［21］Li Chenlong， Yan Hongsen， Zhang Jiaojun. Multi-dimensional Taylor network adaptive predictive control for SISO nonlinear systems with input time-delay ［J］. Trans of the Institute of Measurement and Control， 2022，44（3）：595-608.

［22］Zhang Jiaojun， Yan Hongsen. MTN optimal control of MIMO non-affine nonlinear time-varying discrete systems for tracking only by output feedback ［J］. Journal of the Franklin Institute， 2019， 356（8）： 4304-4334.

［23］Li Chenlong， Yuan Changshun， Ma Xiaoshaung， et al. Integrated fault detection for nonlinear process monitoring based on multi-dimensional Taylor network ［J］. Assembly Automation， 2022，42（2）：218-235.

［24］Han Yuqun， Yan Hongsen. Adaptive multi-dimensional Taylor network tracking control for SISO uncertain stochastic nonlinear systems ［J］. IET Control Theory and Applications， 2018， 12（8）： 1107-1115.

［25］Klambauer G. Mathematical analysis ［M］. New York： Marcel Dekker Inc.， 1975： 236-237.

［26］丁鋒. 系統(tǒng)辨識(shí)算法的復(fù)雜性、收斂性及計(jì)算效率研究 ［J］. 控制與決策， 2016， 31（10）： 1729-1741. （Ding Feng. Complexity， convergence and computational efficiency for system identification algorithms ［J］. Control and Decision， 2016， 31（10）： 1729-1741.）

［27］Golub G H， Van Loan C F. Matrix computations （vol. 3） ［M］. Baltimore： JHU Press， 2012.

［28］魏海坤. 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的理論與方法 ［M］. 北京： 國(guó)防工業(yè)出版社， 2005. （Wei Haikun. Theory and method of neural network structure design ［M］. Beijing：National Defence Industry Press， 2005.）

［29］魏海坤， 丁維明， 宋文忠， 等. RBF網(wǎng)的動(dòng)態(tài)設(shè)計(jì)方法 ［J］. 控制理論與應(yīng)用， 2002， 19（5）： 673-680. （Wei Haikun， Ding Wei-ming， Song Wenzhong， et al. Dynamic method for designing RBF neural networks ［J］. Control Theory and Applications， 2002， 19（5）： 673-680.）

［30］Weigend A S， Rumelhart D E， Huberman B A. Generalization by weight-elimination with application to forcasting［C］// Advances in Neural Information Processing Systems.1991： 857-882.

［31］Zerari N， Chemachema M. Robust adaptive neural network prescribed performance control for uncertain CSTR system with input nonlinearities and external disturbance ［J］. Neural Computing Applications， 2020， 32： 10541-10554.

［32］Wu Qun， Du Wenli， Nagy Z. Steady-state target calculation integrating economic optimization for constrained model predictive control ［J］. Computers amp; Chemical Engineering， 2021， 145： 107145.

［33］Yang Xiong， Wei Qinglai. Adaptive critic designs for optimal event-driven control of a CSTR system ［J］. IEEE Trans on Industrial Informatics， 2021， 17（1）： 484-493.

［34］Du Jingjing， Johansen T A. A gap metric based weighting method for multimodel predictive control of MIMO nonlinear systems ［J］. Journal of Process Control， 2014， 24： 1346-1357.

［35］Tan Yonghong， Cauwenberghe A V. Neural-network-based d-step-ahead predictors for nonlinear systems with time delay ［J］. Engineering Applications of Artificial Intelligence， 1999， 12： 21-35.

收稿日期：2022-01-07；修回日期：2022-03-06基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（61673112，60934008）;中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目（2242017K10003，2242014K10031）;上海航天科技創(chuàng)新基金資助項(xiàng)目（SAST2019-020）;江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程資助項(xiàng)目;浙江省博士后科研項(xiàng)目擇優(yōu)資助基金資助項(xiàng)目（ZJ2021074）

作者簡(jiǎn)介：李晨龍（1988-），男，遼寧沈陽(yáng)人，助理研究員，博士，主要研究方向?yàn)橄到y(tǒng)辨識(shí)、預(yù)測(cè)控制、多維泰勒網(wǎng)優(yōu)化控制等；嚴(yán)洪森（1957-），男（通信作者），浙江江山人，教授，博導(dǎo)，博士，主要研究方向?yàn)橹R(shí)化制造、多維泰勒網(wǎng)優(yōu)化控制等（hsyan@seu.edu.cn）.