保精度-稀疏特性核回歸模型的非線性動(dòng)態(tài)系統(tǒng)辨識(shí)

劉小雍， 方華京

(1.遵義師范學(xué)院工學(xué)院，遵義 563002；2.華中科技大學(xué)自動(dòng)化學(xué)院，武漢 430074)

近年來(lái)，基于核學(xué)習(xí)方法[1]的非線性動(dòng)態(tài)系統(tǒng)建模無(wú)論在線性還是非線性架構(gòu)下[2-3]，都表現(xiàn)出了優(yōu)越的建模特性，包括在時(shí)域和頻域方面的建模研究。核方法跟傳統(tǒng)的建模方法不一樣，在非參數(shù)模式下采用了無(wú)限維學(xué)習(xí)模型，主要通過(guò)正確選取規(guī)則化參數(shù)[4-5]來(lái)避免模型的過(guò)擬合問(wèn)題。然而，當(dāng)前基于一組有限測(cè)量數(shù)據(jù)條件下的非線性動(dòng)態(tài)系統(tǒng)建模問(wèn)題，其主要研究是通過(guò)最小化逼近誤差的某種最優(yōu)標(biāo)準(zhǔn)來(lái)建立研究對(duì)象的非線性數(shù)學(xué)模型，這些標(biāo)準(zhǔn)包括極大似然估計(jì)[6]、最小二乘估計(jì)[7]、最大后驗(yàn)估計(jì)[8]、最小方差估計(jì)[9]以及基于卡爾曼濾波的參數(shù)估計(jì)方法[10]等。這些方法所具有的共同特征可歸結(jié)為經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化標(biāo)準(zhǔn)，即為了獲取非線性函數(shù)的最佳逼近，將模型預(yù)測(cè)輸出與實(shí)際測(cè)量輸出之間的偏差作為評(píng)判，雖然建模精度很高，卻極大地?fù)p失了模型的稀疏特性[11]。進(jìn)一步，文獻(xiàn)[12]通過(guò)一個(gè)簡(jiǎn)單實(shí)例論證了經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化所引起的過(guò)擬合問(wèn)題。基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的建模方法應(yīng)用是很廣泛的，例如根據(jù)風(fēng)電機(jī)組功率曲線建立的數(shù)學(xué)模型，可以很好地描述風(fēng)速與功率輸出的變化關(guān)系，同時(shí)也作為監(jiān)測(cè)和預(yù)測(cè)風(fēng)能的重要工具；因此，文獻(xiàn)[13]從風(fēng)速和渦輪功率角度出發(fā)，采用最大似然估計(jì)的方法挖掘出兩者之間最可能出現(xiàn)的概率密度函數(shù)。針對(duì)實(shí)際工程系統(tǒng)中的時(shí)變參數(shù)問(wèn)題，一種新的分布式擴(kuò)散型算法[14]應(yīng)用擴(kuò)散最大后驗(yàn)算法對(duì)時(shí)變參數(shù)進(jìn)行了跟蹤。基于卡爾曼濾波的參數(shù)估計(jì)在T-S模糊模型辨識(shí)過(guò)程中也得到了不同的應(yīng)用[15]。當(dāng)前，通過(guò)傳感器或其他數(shù)據(jù)獲取設(shè)備獲取被控系統(tǒng)的輸入-輸出數(shù)據(jù)，出現(xiàn)了基于數(shù)據(jù)或數(shù)據(jù)驅(qū)動(dòng)的建模方法[16-17]，有神經(jīng)網(wǎng)絡(luò)(NN)[18-19]、T-S模糊模型[20]、支持向量機(jī)[21]以及相關(guān)向量機(jī)(RVM)[22]等方法建立非線性動(dòng)態(tài)系統(tǒng)的數(shù)學(xué)模型。這些方法的共同特點(diǎn)是建立的數(shù)學(xué)模型一般從擬合精度出發(fā)來(lái)考慮，具有一定的局限性：①基于訓(xùn)練數(shù)據(jù)建立的數(shù)學(xué)模型結(jié)構(gòu)復(fù)雜、泛化性能差；②所確定的數(shù)學(xué)模型不能從建模精度和模型稀疏特性之間取其平衡。尤其是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的數(shù)據(jù)建模方法，例如在NN、 TS模糊模型的參數(shù)辨識(shí)過(guò)程中，主要考慮如何最小化模型的預(yù)測(cè)輸出與實(shí)際輸出之間的偏差，其中L2-范數(shù)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則[23-24]以及卡爾曼濾波的參數(shù)的估計(jì)方法[25]用得較多。僅從建模精度來(lái)看，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則確實(shí)可以以任意的精度逼近任意的非線性系統(tǒng)，但容易陷入局部最優(yōu)，導(dǎo)致模型結(jié)構(gòu)復(fù)雜[26]。因此，有必要引入對(duì)模型結(jié)構(gòu)復(fù)雜性的控制，文獻(xiàn)[27]從模型稀疏角度出發(fā)，在前饋NN中引入稀疏描述概念，對(duì)模型的初始結(jié)構(gòu)進(jìn)行優(yōu)化，用于正確選取最小化輸出殘差的重要隱神經(jīng)元，權(quán)值及偏差項(xiàng)的調(diào)整仍然采用最小二乘標(biāo)準(zhǔn)。為了解決模型精度以及泛化性能之間的平衡，文獻(xiàn)[28]引入了結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則作為目標(biāo)優(yōu)化，極大提高了模型的泛化性能。

考慮到結(jié)構(gòu)風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)和控制模型結(jié)構(gòu)的Vapnik-Chervonenkis(VC)維組成，其中VC維對(duì)模型結(jié)構(gòu)起著至關(guān)重要的影響。隨著ε不敏感域損失函數(shù)的引入，支持向量機(jī)(SVM)被擴(kuò)展到回歸問(wèn)題，即支持向量回歸(SVR)[29]，已成功應(yīng)用于最優(yōu)控制、TS模型的初始結(jié)構(gòu)選取、時(shí)間序列預(yù)測(cè)以及非線性系統(tǒng)建模等。因此，本文將基于SVR的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理與逼近誤差的L1范數(shù)相結(jié)合，建立了一種新的保建模精度-稀疏特性的核回歸模型辨識(shí)方法。首先，建立輸出與核回歸模型預(yù)測(cè)之間的逼近誤差，采用逼近誤差的L∞范數(shù)最小化保證模型的辨識(shí)精度；其次，將結(jié)構(gòu)風(fēng)險(xiǎn)的L2范數(shù)轉(zhuǎn)化為簡(jiǎn)單的L1范數(shù)優(yōu)化問(wèn)題，并將回歸模型與實(shí)際測(cè)量數(shù)據(jù)之間的逼近誤差的L∞范數(shù)最小化融合到結(jié)構(gòu)風(fēng)險(xiǎn)的L1范數(shù)優(yōu)化問(wèn)題，再應(yīng)用較簡(jiǎn)單的線性規(guī)劃對(duì)雙范數(shù)的優(yōu)化問(wèn)題進(jìn)行求解獲取模型的稀疏解。所提出方法的最優(yōu)性體現(xiàn)在：①核回歸模型的建模精度通過(guò)逼近誤差的范數(shù)得到保證；②模型結(jié)構(gòu)復(fù)雜性在結(jié)構(gòu)風(fēng)險(xiǎn)的范數(shù)優(yōu)化條件下得到有效控制，進(jìn)而提高其泛化性能。

1 L1范數(shù)結(jié)構(gòu)風(fēng)險(xiǎn)下的核回歸模型

考慮離散時(shí)間過(guò)程在某時(shí)刻tn狀態(tài)下，帶m個(gè)輸入u1,u2,…,um，以及對(duì)應(yīng)單輸出yn的非線性動(dòng)態(tài)系統(tǒng)，其對(duì)應(yīng)向量可表示為

因此可將時(shí)刻tn的回歸向量構(gòu)造為

(1)

p和m分別表示為輸出和輸入向量的維數(shù)，通常情況下p和m選取足夠大，以致預(yù)測(cè)輸出行為可以被完全捕捉。然而，較大維數(shù)會(huì)引起較大的計(jì)算成本，文獻(xiàn)[30]通過(guò)對(duì)回歸量zn的劃分，在保證辨識(shí)精度的條件下，改善了算法的復(fù)雜性。為了辨識(shí)如下描述的非線性動(dòng)態(tài)系統(tǒng)：

yn=f(yn-1,un)

(2)

將采用基于SVR的核回歸線性展開(kāi)方法辨識(shí)。

從理論上來(lái)講，基于二次規(guī)劃的SVR(QP-SVR)和線性規(guī)劃的SVR(LP-SVR)有一些相似之處，兩者的理論算法都采用了ε不敏感損失函數(shù)，在高維特征空間都使用了核函數(shù)。對(duì)于SVR問(wèn)題，可采用如下回歸模型[26]：

f(x)=wTφ(x)+b

(3)

{(x1,y1),(x2,y2),…,(x,y)}為給定的訓(xùn)練數(shù)據(jù)；表示總訓(xùn)練數(shù)據(jù)的樣本數(shù)；xi∈Rn為訓(xùn)練數(shù)據(jù)輸入；yi∈R對(duì)應(yīng)目標(biāo)輸出數(shù)據(jù)；φ為低維空間到高維空間的非線性映射，即φ:Rn→Rm(m>n)，w∈Rm，b∈R。為了找到最優(yōu)函數(shù)f(x)，在ε-SVR中須完成如下兩個(gè)目標(biāo)：①f(x)的預(yù)測(cè)輸出與所有目標(biāo)輸出yi之間的偏差不能超過(guò)ε；②與此同時(shí)，所建立的f(x)要盡可能平坦，體現(xiàn)出模型f(x)的稀疏特性。對(duì)于傳統(tǒng)的SVR方法，在目標(biāo)函數(shù)中最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)的同時(shí)，也能對(duì)模型結(jié)構(gòu)的參數(shù)進(jìn)行控制[21]：

s.t. yi-[w,φ(xi)]-b≤ε+ξi

(4)

(5)

因此，優(yōu)化問(wèn)題式(4)可等價(jià)于如下正則化問(wèn)題：

(6)

(7)

式(7)中：k(xi,x)為核函數(shù)，且k(xi,xi)=1。定義向量β=(β1,β2,…,β)T，則式(4)可變成如下LP-SVR優(yōu)化問(wèn)題[32]，

(8)

式(8)中：f(x)以式(3)描述；β1表示被求解系數(shù)空間的1范數(shù)。該正則化問(wèn)題又等價(jià)于如下約束優(yōu)化問(wèn)題：

(9)

ξi≥0

(10)

為了將上述優(yōu)化問(wèn)題轉(zhuǎn)化為線性規(guī)劃問(wèn)題，可將βj與|βj|分解如下：

(11)

按照式(11)的分解，參數(shù)向量β的1范數(shù)可寫(xiě)成如式(12)向量形式：

(12)

(13)

式(13)中：核矩陣K的元素為kij=k(xj,xi)；ξ=(ξ1,ξ2,…,ξ)T；I為×的單位矩陣。因此，約束優(yōu)化問(wèn)題式(10)的參數(shù)變量α+，α-以及ξ可應(yīng)用如式(14)線性規(guī)劃問(wèn)題求解：

α+,α-≥0,ξ≥0

(14)

線性規(guī)劃問(wèn)題式(14)可通過(guò)單純型算法或原-對(duì)偶內(nèi)點(diǎn)算法進(jìn)行求解[34]。對(duì)于QP-SVR，在ε域之外的所有數(shù)據(jù)點(diǎn)將被選擇為支持向量(SVs)；而對(duì)于LP-SVR，即便ε域選擇為0時(shí)，由于軟約束在優(yōu)化問(wèn)題中的使用，LP-SVR仍然能夠獲取稀疏解。通常情況下，稀疏解往往通過(guò)設(shè)定非零的ε域來(lái)獲取。

2 逼近誤差L∞范數(shù)的核回歸模型辨識(shí)

回歸模型辨識(shí)實(shí)際上是對(duì)模型參數(shù)的求解，包括最小二乘方法、極大似然估計(jì)、卡爾曼濾波方法等。然而，為了能將參數(shù)求解方法融合于結(jié)構(gòu)風(fēng)險(xiǎn)最小化問(wèn)題對(duì)模型結(jié)構(gòu)復(fù)雜性進(jìn)行有效控制。這部分將討論模型參數(shù)求解的另一種方法，即使用L∞范數(shù)作為建模誤差的評(píng)判標(biāo)準(zhǔn)，其核心思想是從模型逼近精度出發(fā)，確定所有逼近誤差的和達(dá)到最小。假設(shè)通過(guò)傳感器或數(shù)據(jù)獲取設(shè)備獲取一組帶有噪聲的測(cè)量數(shù)據(jù){(x1,y1),(x2,y2),…,(xN,yN)}，其中{x1,x2,…,xN}描述輸入測(cè)量數(shù)據(jù)，對(duì)應(yīng)的輸出定義為{y1,y2,…,yN}。設(shè)測(cè)量滿足如式(15)非線性系統(tǒng)模型

yk=g(xk), k=1,2,…,N

(15)

根據(jù)統(tǒng)計(jì)學(xué)理論理可知[26]，存在以式(15)描述的非線性回歸模型f對(duì)測(cè)量模型g的任意逼近，當(dāng)逼近精度越小時(shí)，需要的支持向量越少；反之，逼近精度越高，則支持向量越多。因此，對(duì)任意給定的實(shí)連續(xù)函數(shù)g及η>0，存在如下回歸模型f滿足：

(16)

對(duì)于N個(gè)測(cè)量數(shù)據(jù)所對(duì)應(yīng)的模型逼近誤差可定義為

(17)

式(17)中：g(xk)表示由實(shí)際測(cè)量數(shù)據(jù)所對(duì)應(yīng)的真實(shí)模型；f(xk)-g(xk)表示實(shí)際輸出與由式(5)定義的SVR模型輸出f(xk)之間的偏差；λk表示第k個(gè)測(cè)量輸出的最大逼近誤差的上界。

為了滿足基于式(16)的條件，對(duì)應(yīng)式(17)的所有逼近誤差的上界應(yīng)盡可能小。因此，SVR模型的最優(yōu)參數(shù)求解，可考慮如下所有逼近誤差的L∞范數(shù)最小化，即：

min:λ=max(λ1,λ2,…,λN),

(18)

因此，可得如下定理。

定理1設(shè)回歸模型與實(shí)際測(cè)量數(shù)據(jù)之間的上界逼近誤差為λk，式(7)的參數(shù)求解可通過(guò)最小化所有上界逼近誤差項(xiàng)最大值，即逼近誤差的L∞范數(shù)最小化，同時(shí)滿足如下約束的線性規(guī)劃求解：

k=1,2,…,N

(19)

式(19)中：β=(β1,β2,…,βN)T和b為被求解參數(shù)；λ表示最大逼近誤差。

證明定義λk如下：

(20)

令：

λ=max(λ1,λ2,…,λN)

(21)

可知式(19)的約束條件成立。

從式(19)的目標(biāo)函數(shù)以及約束條件可知，僅從模型建模精度出發(fā)，獲取被求解參數(shù)，可能會(huì)導(dǎo)致式(5)描述的回歸模型出現(xiàn)過(guò)擬合問(wèn)題。

3 保精度-稀疏特性的核回歸模型辨識(shí)

在完成SVR的優(yōu)化問(wèn)題從L2范數(shù)到L1范數(shù)轉(zhuǎn)化以及保精度的核回歸模型辨識(shí)之后，接下來(lái)將從保精度以及保稀疏特性的角度出發(fā)建立最優(yōu)核回歸模型，如圖1所示，提出的方法將從兩個(gè)重要指標(biāo)來(lái)辨識(shí)核回歸模型，其中保模型辨識(shí)精度通過(guò)引入最小化所有模型輸出與實(shí)際輸出之間的逼近誤差最大值來(lái)實(shí)現(xiàn)，即逼近誤差的L∞范數(shù)優(yōu)化問(wèn)題；另一方面，辨識(shí)精度太高，會(huì)導(dǎo)致模型結(jié)構(gòu)復(fù)雜，出現(xiàn)模型過(guò)擬合問(wèn)題，例如在文獻(xiàn)[12]提到，通過(guò)對(duì)噪聲干擾過(guò)的15個(gè)樣本進(jìn)行逼近，結(jié)果如圖2所示。顯然，從圖2中可以發(fā)現(xiàn)圖2(a)的逼近精度較差，但有著較好的泛化性能，能正確從噪聲干擾的測(cè)量數(shù)據(jù)中將正弦信號(hào)提取出來(lái)；而圖2(b)的逼近進(jìn)度很高，其逼近誤差甚至接近0，但從噪聲干擾的數(shù)據(jù)中擬合的曲線(信號(hào))是一個(gè)無(wú)意義的信號(hào)。因此有必要引入結(jié)構(gòu)風(fēng)險(xiǎn)最小化對(duì)模型結(jié)構(gòu)復(fù)雜性進(jìn)行控制，即保模型的稀疏特性。

圖1 保泛化性能的核回歸模型辨識(shí)方法流程Fig.1 Flow of the proposed method for the kernel regression model guaranteed-generalization performance

圖2 受噪聲干擾的正弦函數(shù)擬合問(wèn)題Fig.2 Fitting problem with noise for sine function

假定不確定非線性函數(shù)或非線性系統(tǒng)屬于函數(shù)簇Γ由名義函數(shù)gnom(x)和不確定性Δg(x)兩部分組成，

Γ={g:S→R|g(x)=gnom(x)+Δg(x),

x∈S}

(22)

|f(xk)-g(xk)|≤λ， ?xk∈S

(23)

由式(5)，給出核回歸模型的表達(dá)式：

(24)

從上述回歸模型辨識(shí)的思想來(lái)看，僅考慮模型輸出與實(shí)際輸出之間的逼近誤差，而回歸模型本身的結(jié)構(gòu)復(fù)雜性卻沒(méi)有被考慮，這樣一來(lái)，通過(guò)上述優(yōu)化問(wèn)題獲取的參數(shù)解有可能出現(xiàn)不全為零的情況，不具有稀疏特性，對(duì)應(yīng)N個(gè)樣本數(shù)據(jù)可能都是支持向量，導(dǎo)致模型結(jié)構(gòu)復(fù)雜。為了解決模型稀疏解的問(wèn)題，在求解核回歸模型的優(yōu)化問(wèn)題中，有必要將結(jié)構(gòu)風(fēng)險(xiǎn)最小化的思想融合其中，在保證回歸模型逼近精度的同時(shí)，盡可能讓模型結(jié)構(gòu)復(fù)雜性得到有效控制。基于此，將核回歸模型優(yōu)化問(wèn)題[式(19)]，融合到基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的優(yōu)化問(wèn)題[式(10)]。因此，對(duì)于帶有稀疏特性的核回歸模型f(x)的優(yōu)化問(wèn)題，有

ξk≥0,λ≥0,k=1,2,…,N

(25)

從優(yōu)化問(wèn)題[式(25)]可知，為典型的線性規(guī)劃問(wèn)題，可應(yīng)用內(nèi)點(diǎn)法或單純性方法可以求解優(yōu)化問(wèn)題[式(25)]。由于在SVR方法中，其核函數(shù)的使用包括高斯核函數(shù)(Gaussian radial basis function，GRBF)、多項(xiàng)式核函數(shù)、Sigmoid核函數(shù)、可逆多二次核函數(shù)(inverse multi-quadric kernel)等。 然而，通過(guò)大量的實(shí)驗(yàn)研究表明，高斯核函數(shù)相對(duì)于其他核函數(shù)在實(shí)際應(yīng)用中易于實(shí)現(xiàn)且具有較強(qiáng)的映射能力。因此在回歸模型辨識(shí)中采用高斯核函數(shù)，基于式(7)進(jìn)而得到上界回歸模型f(x)：

(26)

從應(yīng)用提出方法來(lái)建立核回歸模型的整個(gè)過(guò)程來(lái)看，優(yōu)化問(wèn)題既包括了對(duì)模型結(jié)構(gòu)復(fù)雜性控制的目標(biāo)函數(shù)，又包括了如何獲取較好的模型精度所對(duì)應(yīng)的逼近誤差作為目標(biāo)函數(shù)，而且模型結(jié)構(gòu)復(fù)雜性控制和模型精度之間的權(quán)衡可以通過(guò)規(guī)則化參數(shù)進(jìn)行調(diào)整。總而言之，提出方法在保證獲取下界模型建模精度的同時(shí)，而且還對(duì)模型結(jié)構(gòu)復(fù)雜性進(jìn)行有效控制，從而提高下界回歸模型的泛化性能。

4 實(shí)驗(yàn)分析

為了論證提出方法的合理性與優(yōu)越性，將從保精度和保模型稀疏特性兩方面展開(kāi)提出方法的保泛化性能實(shí)驗(yàn)分析，其中保精度是通過(guò)均方根誤差(root mean squares error, RMSE)指標(biāo)進(jìn)行評(píng)估，定義如下：

(27)

式(27)中：N表示所獲取測(cè)量數(shù)據(jù)的總數(shù)；y(k)為第k個(gè)實(shí)際測(cè)量數(shù)據(jù)；f(xk)對(duì)應(yīng)核回歸模型預(yù)測(cè)輸出，如式(24)定義。f(xk)與y(k)之間的偏差越小越好，即通過(guò)RMSE指標(biāo)進(jìn)行評(píng)估，若RMSE越小，核回歸模型建模精度越高，反之較低。顯然，通常情況下，較高的建模精度會(huì)引起式(26)的結(jié)構(gòu)更復(fù)雜，喪失模型結(jié)構(gòu)的稀疏特性，泛化性能變差。為了對(duì)模型結(jié)構(gòu)的稀疏特性進(jìn)行有效評(píng)估，將采用在所有N個(gè)測(cè)量數(shù)據(jù)中，對(duì)模型結(jié)構(gòu)本質(zhì)上其貢獻(xiàn)作用的測(cè)量數(shù)據(jù)，即支持向量(support vector, SV)所占百分比(SVs),用于評(píng)估模型的稀疏特性，其定義如下，

(28)

圖3 提出方法在無(wú)噪聲情況下的輸出(σ=3.5)Fig.3 Output of the proposed method without noise (σ=3.5)

圖4 提出方法求解的參數(shù)δ(δ=10-8)Fig.4 Parameters are solved by applying the proposed

圖5 核回歸模型的逼近誤差Fig.5 Approximation error for kernel regression model

表1 不同方法在無(wú)噪聲情況下的RMSE和SVs比較結(jié)果

表2 建立模型所對(duì)應(yīng)的SV和值

圖7 核回歸模型的逼近誤差Fig.7 Approximation error for kernel regression model

圖6 提出方法在噪聲情況下的輸出(σ=4.0)Fig.6 Output of the proposed method with noise(σ=4.0)

(29)

第二個(gè)實(shí)驗(yàn)仿真采用如下傳遞函數(shù)描述的線性動(dòng)態(tài)系統(tǒng)：

(30)

采樣時(shí)間取為ts=0.01s，樣本數(shù)N=200，構(gòu)造輸入輸出向量分別如下:

k=3,4,…,N

(31)

當(dāng)選擇超參數(shù)集(ε,γ,σ)為(0.000 1, 10 000, 20.0)，時(shí)，如圖8所示，意味著建立模型只用了200個(gè)樣本中的11個(gè)數(shù)據(jù)，對(duì)應(yīng)稀疏特性的SVs=0.055 6，RMSE=1.598 8×10-4。從這兩個(gè)指標(biāo)可知，提出的方法從建模精度何稀疏特性進(jìn)行了很好的權(quán)衡，模型泛化性能得到提高，對(duì)應(yīng)逼近誤差如圖9所示。如果核寬度選取為30時(shí)，稀疏特性進(jìn)一步得到顯著提高，對(duì)應(yīng)SVs=0.035 4，RMSE=0.023 1，相比于1.598 8×10-4，精度出現(xiàn)了明顯下降，如圖10所示。

圖8 無(wú)噪聲時(shí)的模型辨識(shí)輸出(σ=20)Fig.8 Output of the kernel regression model without noise (σ=20)

圖9 核回歸模型的逼近誤差(σ=20)Fig.9 Approximation error for kernel regression model (σ=20)

圖10 帶噪聲時(shí)的模型辨識(shí)輸出(σ=30)Fig.10 Output of the kernel regression model with noise (σ=30)

繼線性動(dòng)態(tài)系統(tǒng)的模型辨識(shí)之后，接著考慮如下的非線性動(dòng)態(tài)系統(tǒng)辨識(shí)：

(32)

圖11 核參數(shù)為4.5、0.1、20時(shí)的模型辨識(shí)輸出(無(wú)噪聲)Fig.11 Output of the kernel regression model when the kernel parameter is selected as 4.5，0.1，20 (no noise)

緊接著，考慮從受噪聲影響后的式(29)獲取201個(gè)測(cè)量數(shù)據(jù)建立模型。當(dāng)超參數(shù)集(ε,γ,σ)為(0.000 1,10 000,15)時(shí)，建立的模型輸出如圖12所示，逼近誤差如圖13所示，對(duì)應(yīng)的SVs和RMSE分別為0.069 7和0.321 2，如表3所示；圖14為相應(yīng)的支持向量。當(dāng)核參數(shù)σ=20時(shí)，模型辨識(shí)輸出如圖15所示，SVs和RMSE分別為0.044 8和0.464 1，顯然，模型的稀疏特性較好，僅用了9個(gè)數(shù)據(jù)(SVs)建立模型，但建模精度相比于圖12有所下降。表3給出了在不同核寬度σ下的SVs和RMSE，可以發(fā)現(xiàn)，隨核寬度σ的增加，SVs在逐漸減小，表明建立模型所用到的SVs減小，模型結(jié)構(gòu)簡(jiǎn)單，對(duì)應(yīng)較好的稀疏特性；相反，用于反映模型辨識(shí)精度的RMSE增加，表明模型的辨識(shí)精度降低。因此，反映稀疏特性的SVs和反映模型辨識(shí)精度的RMSE之間是一對(duì)矛盾體，在核寬度σ的選取上，應(yīng)從建模的需要從兩者之間取其平衡，不能一味地去追求某個(gè)指標(biāo)。通過(guò)上述實(shí)驗(yàn)仿真可知，對(duì)提出的方法在模型辨識(shí)精度和稀疏特性兩個(gè)方面進(jìn)行了詳細(xì)分析，可從中取其平衡來(lái)保證模型的泛化性能。為了進(jìn)一步論證提出方法的優(yōu)越性，表4給出了提出方法與文獻(xiàn)[35-36]在稀疏特性指標(biāo)SVs和模型辨識(shí)精度RMSE的比較，顯然提出方法具有較好的泛化性能。

圖12 核參數(shù)為15時(shí)的模型辨識(shí)輸出(噪聲)Fig.12 Output of the kernel regression model when the kernel parameter is selected as 15(noise)

圖13 核參數(shù)為15時(shí)的模型逼近誤差(噪聲)Fig.13 Approximation error of the kernel regression model when the kernel parameter is selected as 15(noise)

圖14 提出方法求解的參數(shù)δ(δ=10-8)Fig.14 Parameters are solved by applying the proposed

圖15 核參數(shù)為20時(shí)的模型辨識(shí)輸出(噪聲)Fig.15 Output of the kernel regression model when the kernel parameter is selected as 20(noise)

表3 當(dāng)超參數(shù)ε=0.000 1，γ=10 000時(shí)，在不同核寬度σ情況下的SVs和RMSETable 3 Comparison results between SVs and RMSE of the selected different kernel width σ for ε=0.000 1 and γ=10 000

表4 不同方法在無(wú)噪聲情況下的RMSE和SVs比較結(jié)果

5 結(jié)論

從保模型辨識(shí)精度以及稀疏特性出發(fā)，通過(guò)將結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論與逼近誤差最小化思想相結(jié)合，提出了保精度-稀疏特性的核回歸模型用于辨識(shí)非線性動(dòng)態(tài)系統(tǒng)。該方法將逼近誤差的L∞范數(shù)思想與結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論相結(jié)合，建立求解非線性動(dòng)態(tài)系統(tǒng)所對(duì)應(yīng)的核回歸模型優(yōu)化問(wèn)題，再應(yīng)用較簡(jiǎn)單的線性規(guī)劃對(duì)其求解，其中L1范數(shù)是在結(jié)構(gòu)風(fēng)險(xiǎn)最小化框架下對(duì)模型稀疏特性的控制；L∞范數(shù)的引入是基于模型逼近誤差對(duì)模型辨識(shí)精度的控制，將兩者融合到一個(gè)優(yōu)化問(wèn)題，可實(shí)現(xiàn)模型的保精度-保稀疏特性之間的平衡。