輸入非均勻采樣廣義輸出誤差模型的遞推貝葉斯參數辨識算法

景 紹 學

(淮安信息職業技術學院電氣工程系　江蘇 淮安 223003)(江蘇大學電氣信息工程學院　江蘇 鎮江 212013)

?

輸入非均勻采樣廣義輸出誤差模型的遞推貝葉斯參數辨識算法

景 紹 學

(淮安信息職業技術學院電氣工程系江蘇 淮安 223003)(江蘇大學電氣信息工程學院江蘇 鎮江 212013)

摘要針對傳統最小二乘算法在辨識過程中沒有考慮噪聲的協方差和參數的先驗概率密度的問題，提出一種遞推貝葉斯算法。該算法以最大化參數的后驗概率密度函數為準則進行參數估計。實驗結果證明所提算法可以獲得更高精度的參數估計值。收斂性分析表明，該算法給出的參數估計值收斂于參數真值。該算法綜合考慮了噪聲方差、數據的先驗概率分布和參數的先驗概率分布，可以獲得比最小二乘法更高的精度的估計值。

關鍵詞輸入非均勻采樣系統廣義輸出誤差模型遞推貝葉斯算法參數估計

0引言

在工業生產中存在著這樣一類系統，它們的輸入采樣和(或)輸出刷新呈現出不等時間間隔的非均勻的特點，這類系統被稱為非均勻采樣系統[1,2]。這類系統有的是由于硬件設備的限制、經濟條件的制約或環境因素的影響等原因造成的被動非均勻采樣系統,如產品組分和濃度的檢測[3,4]、熔融指數的人工采樣[5,6]和Kappa值的測量[7,8]等。還有的是為了在同樣采樣點數的情況下獲得更多的有用信號而根據信號幅值變化情況主動調整采樣間隔的主動非均勻采樣系統[9]。近年來，非均勻采樣系統的研究受到了國內外專家和學者的普遍關注，特別是作為狀態估計和控制理論基礎的系統辨識領域[10-18]。

在白噪聲的前提下，傳統算法，如最小二乘算法等，都能給出非均勻采樣系統的參數無偏估計。而在工業實踐中的擾動都是有色噪聲，傳統的最小二乘等算法不能滿足無偏估計的要求[19]。為了獲得參數的無偏估計，研究人員提出了一系列的算法。例如，基于濾波的算法[20]、最大似然算法[21,22]、基于輔助模型的算法[23]等?；跒V波的算法首先采樣一個動態的濾波器來白化有色噪聲，然后使用傳統算法，如最小二乘算法等，獲得無偏估計。但是當工業過程輸出信號噪信比較大或者參數較多時這類算法會出現估計偏差[24]。并且最大似然類算法給出的估計值都是漸近無偏的，也就是說最大似然算法并不能保證給出的所有估計都是無偏的。此外，最大似然算法的計算量比較大，也在一定程度上限制了其應用[24]?；谳o助模型的算法，如基于輔助模型的遞推最小二乘算法(AM-RLS)和基于輔助模型的隨機梯度(AM-SG)等，可以同時對系統模型和噪聲模型的無偏估計，是一類比較有應用前景的算法。但在辨識過程中，AM-RLS和AM-SG都沒有把系統噪聲的方差考慮進辨識算法以提高算法的辨識精度，所以本文的基本思路是考慮結合噪聲的方差，基于輔助模型的思想和遞推最小二乘的形式提出一種遞推貝葉斯RB(recursiveBayesian)辨識算法。并用輸入非均勻采樣廣義輸出誤差模型NUSIDGOE(non-uniformlysampledinputdataforgeneralizedoutputerrormodel)驗證了算法的有效性。

1問題描述

考慮如圖1所示的輸入非均勻更新和輸出定期采樣的NUSIDGOE模型。圖中，包括零階保持器Hτ、線性時不變過程Pc和采樣器ST三個部分。其中，u(t)和x(t)分別是輸入信號和無噪輸出信號；y(t)為有噪輸出；w(t)是有色噪聲；y(kT+T)是采樣時刻t=kT+T時刻的輸出采樣值，其中T為輸出采樣周期，也稱框架周期。

圖1　輸入非均勻采樣廣義輸出誤差模型框圖

假定輸入非均勻采樣時間間隔為{τ1,τ2,…,τr}，它們滿足如下的條件：T=τ1+τ2+…+τr。定義t0=0,ti=ti-1+τi，其中i=1,2,…,r，那么輸入u(t)可以寫為：

(1)

其中k=0,1,2,…。

如圖1所示，若Pc和w(t)采用文獻[20]的形式，則NUSIDGOE模型的連續輸出y(t)可以表示為：

y(t)=x(t)+w(t)

(2)

其中：

(3)

(4)

A(z-1) = 1 +a1z-1+a2z-2+ … +anaz-na,B1(z-1) =b10+b11z-1+b12z-2+ … +b1n bz-nb,Bi(z-1) =bi1z-1+bi2z-2+ … +bin bz-nb

(5)

C(z-1)=1+c1z-1+c2z-2+…+cncz-nc,D(z-1)=1+d1z-1+d2z-2+…+dndz-nd

(6)

定義參數向量如下：

(7)

其中：

θs=[a1,…,ana,b10,…,b1nb,b21,…,b2nb,…,br1,…,brnb]T∈ns

(8)

θn=[c1,c2,…,cnc,d1,d2,…,dnd]T∈nn

(9)

ns=na+rnb+1，nn=nc+nd，n=ns+nn;下標s和n分別表示過程模型和噪聲模型。

類似地，分別定義信息向量φ如下：

(10)

φs(k)= [-x(kT-T),…,-x(kT-naT),u(kT),…,

u(kT-nbT),u(kT-T+t1),…,u(kT-nbT+t1),

…,u(kT-T+tr-1),…,u(kT-nbT+tr-1)]T∈ns

(11)

φn(k)=[-w(kT-T),-w(kT-2T),…,-w(kT-ncT),

v(kT-T),v(kT-2T),…,v(kT-ndT)]T∈nn

(12)

對于t=kT時刻，等式可以改寫成：

y(k)=x(k)+w(k)=φT(k)θ(k)+v(k)

(13)

其中：

(14)

(15)

假定系統的模型結構是已知的，即(na,nb,nc,nd)和輸入采樣次數r均是已知的，那么算法的目的就是如何利用觀測數據D(k)估計參數向量θ。

2遞推貝葉斯參數辨識算法

貝葉斯方法的主要觀點就是把待估計參數作為一個隨機變量，通過觀測與該變量相關的其他隨機變量來推測該變量的值[25]。在提出的算法中，以最大化后驗概率密度作為估計準則，即：

(16)

根據貝葉斯公式，參數的后驗概率密度函數表示為：

(17)

其中p(y(k)|θ,D(k-1))為在給定參數θ和數據條件下輸出y(k)的先驗概率密度。

(18)

(19)

于是參數的后驗密度函數p(θ|Dk)的表達式為：

(20)

(21)

其中：

(22)

(23)

這樣就得到了遞推貝葉斯(RB)算法的簡潔形式：式(22)和式(23)。為了避免計算P(k)的逆矩陣以減小算法的計算量，對式(23)運用矩陣求逆反演公式，得到：

(24)

(25)

(26)

P(k)=[I-L(k)φT(k)]P(k-1)

(27)

(28)

其中：

u(kT-nbT),u(kT-T+t1),…,u(kT-nbT+t1),

…,u(kT-T+tr-1),…,u(kT-nbT+tr-1)]T∈ns

(29)

(30)

(31)

(32)

(33)

噪聲方差可以用下式進行估計：

(34)

于是，RB算法可以整理如下：

(35)

(36)

(37)

RB算法的計算步驟如下：

Step1收集輸入輸出數據u(kT+ti)和y(k)，i=0,1,2,…,r，k=1,2,…。

P(0)=p0In,θ(0)=1n/p0,p0=106

其中1n為元素全為1的n維列向量。

Step8令k=k+1，轉step4。

3收斂性分析

定理1對于系統式(13)和RB算法式(22)、式(23)，假設{v(t),Ft}是定義在概率空間{Ω,F,P}上的鞅差向量序列，其中{Ft}是截至時刻t之前所有觀測數據生成的σ代數序列[26]；如果噪聲序列{v(t)}滿足如下假設：

(38)

并且存在正常數c1,c2和t0使得下面的持續激勵條件成立[27]：

(39)

那么算法給出的參數估計值收斂于真值，即：

(40)

其中θ0為參數真值。

證明在式兩邊同時減去θ0并用φT(k)θ0+v(k)代替y(k)，得到：

(41)

其中：

在式(23)兩邊同乘以P(k)，則Q(k)可以寫成：

(42)

令λ為矩陣Q(k)的一個特征值，p為其對應的特征向量，那么下式成立：

Q(k)p=λp

(43)

考慮到式(42)、式(43)可以寫成：

P(k)P-1(k-1)p=λp

(44)

在式(44)的兩邊同乘以P-1(k)，考慮到式(23)，并整理得：

(45)

在式(45)兩邊同乘以pT并整理得：

(46)

4仿真實例

考慮如下的NUSIDGOE模型：

其中：

A(z)=1-1.4780z-1+0.9324z-2

B1(z)=0.1519+0.04206z-1

B2(z)=0.0779+0.1824z-1

C(z)=1-0.6z-1

D(z)=1+0.33z-1

r=2,τ1=2s,τ2=5s,t1=τ1=2s,t2=τ1+τ2=7s

表1　RB算法參數估計值和估計誤差隨數據長度k變化情況

表2　AM-RGELS算法參數估計值和估計誤差隨數據長度k變化情況

圖2　RB和AM-RGELS算法參數估計誤差隨數據長度變化情況圖

根據表1、表2的數據和圖2的仿真結果可以看出：

(1) 數據長度增加時，兩種算法的估計誤差都在變小；

(2) 對同樣的數據長度，RB算法比AM-RGELS算法的估計精度高；

(3) 在相同噪聲水平下，RB算法比AM-RGELS算法的收斂速度要快。

5結語

本文針對輸入非均勻采樣廣義輸出誤差模型提出了一種遞推貝葉斯參數估計算法。它以通過最大化參數的條件后驗概率密度函數作為估計準則，由于不僅考慮了參數的先驗概率密度而且還考慮了數據的先驗概率密度。因此該算法與單純考慮數據的概率密度的極大似然類參數估計方法相比，精度更高。同時，該算法的辨識精度也會比傳統最小二乘算法略高，因為它在辨識過程中考慮了噪聲的方差。綜上所述，該算法把給定數據集下最可能出現的參數值作為參數的估計值。收斂性分析表明，所提算法的參數估計值能收斂到真值，仿真結果表明了算法的有效性和較高的估計精度。

參考文獻

[1]AlbertosP,CrespoA.Real-timecontrolofnon-uniformlysampledsystems[J].ControlEngineeringPractice,1999,7(4):445-458.

[2]CuencaA,SaltJ.RSTcontrollerdesignforanon-uniformmulti-ratecontrolsystem[J].JournalofProcessControl,2012,22(10):1865-1877.

[3]LiW,HanZ,ShanSL.SubspaceidentificationforFDIinsystemswithnon-uniformlysampledmultiratedata[J].Automatica,2006,42(4):619-627.

[4]DingF,LiuG,LiuXP.Partiallycoupledstochasticgradientidentificationmethodsfornon-uniformlysampledsystems[J].IEEETransactionsonAutomaticControl,2010,55(8):1976-1981.

[5]FortunaL,GrazianiS,XibilliaM.Softsensorsforproductqualitymonitoringindebutanizerdistillationcolumns[J].ControlEngineeringPractice,2005,13(4):499-508.

[6]GjerkesH,MalensekJ,SitarA,etal.Productidentificationinindustrialbatchfermentationusingavariableforgettingfactor[J].ControlEngineeringPractice,2011,19(10):1208-1215.

[7]OgawaM,OhshimaM,MorinagaK,etal.Dualityinferentialcontrolofanindustrialhighdensitypolyethyleneprocess[J].JournalofProcessControl,1999,9(1):51-59.

[8]SharminR,SundararajU,ShanS,etal.Inferentialsensorsforestimationofpolymerqualityparameters:IndustrialapplicationofaPLS-basedsoftsensorforaLDPEplant[J].ChemicalEngineeringScience,2006,61(19):6372-6384.

[9] 汪安民.基于非均勻采樣的信號頻率檢測方法及其實現[D].武漢:華中科技大學,2004.

[10] 丁鋒,陳通文,蕭德云.非均勻周期采樣多率系統的一種辨識方法[J].電子學報,2004,32(9):1414-1420.

[11]MizumotoI,ChenT,OhdairaS,etal.AdaptiveoutputfeedbackcontrolofgeneralMIMOsystemsusingmultiratesamplinganditsapplicationtoacart-cranesystem[J].Automatica,2007,43(12):2077-2085.

[12]ChenF,GilsonM,AgueroJC,etal.Closed-loopidentificationofcontinuous-timesystemsfromnon-uniformlysampleddata[C]//ControlConference(ECC),2014European.Strasbourg:IEEE,2014.

[13]JohanssonR,CesconM,StahlF.Continuous-timemodelidentificationusingnon-uniformlysampleddata[C]//AFRICON,2013.Mauritius:IEEE,2013.

[14]DingJ,LinJ.Modifiedsubspaceidentificationforperiodicallynon-uniformlysampledsystemsbyusingtheliftingtechnique[J].Circuits,Systems,andSignalProcessing,2014,33(5):1439-1449.

[15]WangH,LiuT.Recursivestate-spacemodelidentificationofnon-uniformlysampledsystemsusingsingularvaluedecomposition[J].ChineseJournalofChemicalEngineering,2014,89(1):1-6.

[16]DingF.Hierarchicalmulti-innovationstochasticgradientalgorithmforHammersteinnonlinearsystemmodeling[J].AppliedMathematicalModelling,2013,37(4):1694-1704.

[17]ChenF,GarnierH,GilsonM.RefinedInstrumentalVariableIdentificationofContinuous-timeOEandBJModelsfromIrregularlySampledData[C]//11thIFACInternationalWorkshoponAdaptationandLearninginControlandSignalProcessing.Caen:IFAC,2013.

[18]DingF,ChenT.Hierarchicalidentificationofliftedstate-spacemodelsforgeneraldual-ratesystems[J].IEEETransactionsonCircuitsandSystemsI:fundamentaltheoryandapplications.2005,52(6):1179-1187.

[19] 崔桂梅,關英輝,張勇.一類有色噪聲干擾系統的有辨識研究[J].科學技術與工程,2010,10(18):4358-4362.

[20]XieL,YangHZ,DingF.Recursiveleastsquaresparameterestimationfornon-uniformlysampledsystemsbasedonthedatafiltering[J].MathematicalandComputerModeling,2011,54(1):315-324.

[21]LiJH,DingF.MaximumlikelihoodstochasticgradientestimationforHammersteinsystemswithcolorednoisebasedonthekeytermseparationtechnique[J].Computers&MathematicswithApplications,2011,62(11):4170-4177.

[22]LiJH,DingF,YangGW.Maximumlikelihoodleastsquaresidentificationmethodforinputnonlinearfiniteimpulseresponsemovingaveragesystems[J].MathematicalandComputerModeling,2012,55(3-4):442-450.

[23] 丁鋒.系統辨識(4):輔助模型辨識思想與方法[J].南京信息工程大學學報:自然科學版,2011,3(4):289-318.

[24] 方崇智,蕭德云.過程辨識[M].北京:清華大學出版社,1988.

[25]PeterkaV.BayesianApproachtoSystemIdentification:TrendsandProgressinSystemIdentification[M].NewYork:PergamonPress,1981.

[26]GoodwinG,SinK.AdaptiveFilteringPredictionandControl[M].NewYork:Prentice-Hall,1984.

[27]DingF,ChenHB,LiM.Multi-innovationleastsquaresidentificationmethodsbasedontheauxiliarymodelforMISOsystems[J].InternationalJournalofAppliedMathematicsandComputerScience,2007,187(2):658-668.

RECURSIVE BAYESIAN PARAMETER IDENTIFICATION ALGORITHM FOR GENERALOUTPUTERRORMODELSWITHNON-UNIFORMLYSAMPLEDINPUTDADA

Jing Shaoxue

(Department of Electrical Engineering,Huaian College of Information and Technology,Huaian 223003,Jiangsu,China)(School of Electrical and Information Engineering,Jiangsu University,Zhenjiang 212013,Jiangsu,China)

AbstractIn light of that traditional least squares method does not take into account the covariance of noise and the priori probability density of parameters in the process of identification, we proposed a recursive Bayesian parameter identification algorithm. The algorithm uses the posterior probability density function of maximised parameters as the criterion to estimate parameters. Experimental result proved that the proposed algorithm could acquire the estimates of parameters in higher accuracy. Convergence analysis indicated that the estimates of parameters provide by the proposed algorithm converged to their true values. The algorithm comprehensively considers the noise variance and the priori probability distributions of data and parameters, it is able to obtain the estimates with higher accuracy than the least-squares.

KeywordsNon-uniformly sampled input data systemsGeneral output error modelRecursive Bayesian algorithmParameter estimation

收稿日期：2014-12-08。江蘇省研究生培養創新工程項目(CXLX12_0648)。景紹學，講師，主研領域：過程控制，系統辨識。

中圖分類號TP273

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.078