一種基于非線性系統的直接加權優化辨識算法

姚杰，朱永紅

（景德鎮陶瓷學院 機械電子工程學院，江西 景德鎮333403）

系統辨識只是利用數學的方法，從輸入、輸出觀測數據序列中提煉出對象的數學模型，為控制器的設計作充分的模型準備基礎.根據系統對象模型的類別，可將系統辨識的理論研究分為線性系統辨識和非線性系統辨識.線性系統辨識的研究較為成熟，已有現成的理論分析基礎和系統辨識仿真軟件可直接調用［1-10］；而非線性系統的辨識研究也正日益開展.文獻［7］對多種特殊的非線性系統展開研究，如Wiener系統、Hammerstein系統和二者之間的任意組合形式，提出了諸如最小概率法、互方差輔助變量法、盲極大似然法等多種辨識方法.文獻［10］分析了正交基函數的構造方法，即當采用所構造的正交基函數形式來表示原非線性系統時，有限脈沖響應模型、Laruerre模型和雙參數Kautz模型都可以作為該正交基函數模型結構的特例.文獻［3］中提出了一種新的非線性系統辨識方法——直接加權優化法.文獻［4］將直接加權優化辨識方法的基本思想應用于對分段仿射系統中各個權重值的辨識 .文獻［5］分析了直接加權優化辨識法對某參數的攝動所帶來的影響 .本文在文獻［3］的思想基礎之上，進行直接加權優化辨識方法的研究.

1 問題描述

給定觀測數據｛φ（t），y（t），其非線性系統可描述為

式（1）中：f0（φ（t））稱為未知待辨識估計的非線性系統函數，φ（t）為回歸矢量 .通常情況下，φ（t）有兩種形式分別對應于非線性有限脈沖響應形式和外部輸入下的非線性自回歸形式，即

其中：e（t）為零均值的獨立同分布的隨機白噪聲，對應的方差值記為σ2e.

設非線性系統f0（φ（t））的一個逼近線性仿射函數形式為

將式（2）與文獻［3］中對應的式子相對比，可知式（2）增加了N個關于輸入觀測數據序列｛u（t）的線性項，從而增加了N個待求解的未知權重值.由此可見，文獻［3］中的線性仿射函數形式是本文中的特例，其中特殊之處在于本文中所有的全取為零值.

因此，文中以下內容的目的就在于如何確定出由這2N+1個未知權重值構成的參數矢量θ.即

2 直接加權優化辨識

為了能夠在任意指定點φ＊（t）處都得到良好的逼近程度，用（φ＊（t））來近似地逼近原非線性系統f0（φ（t）），逼近的準確度依賴于權重值和的選取 .則建立衡量逼近性能的目標函數為

將式（2）代入到式（4）中，可得

將式（1）代入式（5）中，可得展開后的目標函數為

式（6）中的數學期望運算過程利用了噪聲e（t）為獨立同分布的白噪聲假設條件，并且白噪聲e（t）與輸入、輸出觀測數據序列｛u（t），y（t）均為不相關.引入符號表示（t）＝φ（t）-φ＊（t）后，在式（6）中進行增加和減去相同的兩項，等式不變，可得

式（7）中得到的平方項即為通常的平方偏差，后一項為由未建模引起的方差誤差項.從式（7）可看出：偏差項將會變得任意大，除非增加關于權重值的兩個約束條件在上述兩個施加的約束條件下，式（7）的目標函數可以簡化為

利用泰勒級數公式，將非線性系統f0（φ（t））在f0（φ＊）處展開得

假設非線性函數f0滿足Lipschitz條件，即

式（10）中：L為一常數 .聯合以上三式可得到式（10）均方誤差期望的一個上界值為

直接加權優化辨識算法中的最小化均方誤差期望值W（φ＊，f0，wN），可轉化為最小化式（11）右邊的上界值，即得到的最優化問題為

3 最優Karush-Kuhn-Tucker充要條件

為了從式（12）所示的帶有約束條件的最優化問題中求解出未知權重值組成的未知參數矢量θ，引入松弛變量st，wt，使得｜bt｜≤st，t＝1，2，…，N；｜at｜≤wt，t＝0，1，…，N.將引入的兩松弛變量st，wt應用于最優化問題式（12）中，可得最優化問題為

要想得到最優化問題式（13）的最優解（a0，a1，…，aN；b1，…，bN；st｜N1，wt｜），根據最優 Karush-Kuhn-Tucker充要條件可知，對應的拉格朗日函數為

利用Karush-Kuhn-Tucker最優性充要條件，可得在最優處存在成立的等式，即

在最優解除包含有隱含的最優等式，｜bt｜＝st，t＝1，2，…，N；｜at｜＝wt，t＝0，1，…，N，故由第1個子式可知＝.在第9個子式中，若at＞0，則wt+at＝｜at｜+at＝2at＞0，要使第9個子式成立必須有，從而由第1個子式有，＝＝0.在第2個子式中，若at＜0，則wt-at＝｜at｜-at＝-2at＞0.同理要使得第8個子式成立，需要使得＝0.從而由第1個子式有＝＝0.當at＝0時即所有的輸入觀測數據序列前的未知權重值都為0，在線性仿射函數形式中僅剩下輸出觀測數據序列項，從而簡化為文獻［3］中的特殊形式.

式（16）中：第4個和第5個子式所代表的等式關系已全部隱含在所構造的拉格朗日函數之中 .將第3個子式代入第2個子式中可得

當bt＞0時，由式（16）的第7個子式可得｜bt｜+bt＝2bt＞0.從而要使第7個子式成立，需要有γ-t＝0.將＝0代入到式（16）的第1個子式，可得

再代入到式（17）即有

同理考慮當bt＜0時，有

將式（18）代入式（16）的第3個子式，可得

若在實數域中，必然有等式

成立 .由此可解得

但這并不是此處所期望得到的結果.為此擴展到復數域中，考慮到

的｜u（t）｜表示的是輸入激勵信號的振幅值，當選擇恒定振幅值的輸入激勵信號時，有｜u（t）｜＝k（k為一正常數）.因此，式（19）可改寫為

滿足以上等式的未知權重值的選取方法有無窮多種，如

4 未知權重值的迭代求解

設上式左邊4N×4N維的矩陣記為A，右邊0表示4N×1維的零矢量，則不等式約束條件可簡記為Aη≥0.同理，可將兩等式約束條件簡記為矩陣乘積的形式

設上式左邊2×4N維矩陣記為B，右邊0表示2×1的零矢量，則等式約束條件可記為Bη＝0.

下面對目標函數進行整理 .很明顯目標函數的第2項可改寫為

而目標函數中第1項括號內的式子可改寫成

將式（24）平方后可得

由此可構成最優化問題為

很明顯，式（26）所表示的最優化問題中的目標函數為關于優化變量η的二次函數，不等式約束和等式約束均為關于優化變量η的線性函數.即式（26）為一個二次規劃問題，可采用內點法迭代地求解.定義式（26）的拉格朗日函數為

對式（27）關于η求偏導，可得

為了消去Aη≥0不等式約束中的不等號，引入一個松弛變量z≥0，對以上各式進行改寫為

設由式（29）構成的矩陣記為

其中：Z＝diag（z1，…，z4N）；Λ＝diag（m1，…，m4N）；ε∈［0，1］；e＝［1，1，…，1］T.

約束最小化可通過迭代地更新矢量η來獲得，該最小化包含在于尋找拉格朗日函數的平穩點.在最小化過程中，新的迭代值η是通過在此時估計值的基礎之上增加一項Δη.利用約束高斯-牛頓法時，Δη應為等式

的解 .則第k+1次迭代更新值可取為

其中：搜索方向的步長應滿足不等式（zk+1，mk+1）＞0成立，搜索方向由式（31）來求取.

5 結論

對于非線性系統的直接加權優化辨識算法，通過在原線性仿射函數形式中，增加若干項關于輸入觀測數據序列的線性項來增強逼近非線性，減少逼近的時間.對于增加若干線性項后展開式中的未知權重值的選取，分別從理論和實用上推導出這些未知權重值的選取過程.

理論上的推導分析，可明確增加的未知權重值在整個逼近非線性系統的目的中起著輔助作用；實用上的推導分析，則展示了如何將某些復雜的最優化問題經過整理變換成常見的最優化問題，從而可利用最為基礎的優化方法來求解.

由于文中利用輸入觀測數據序列，而此輸入觀測數據需要人為事先選定以滿足持續激勵非線性系統，故對該非線性系統的選擇持續激勵的輸入信號是目前需要深入研究的內容.

［1］ LJUNG L.System identification：Theory for the user［M］.New Jersey：Prentice Hall，1999.

［2］ BOYD S，VANDENBERGHE L.Convex optimization［M］.Cambridge：Cambridge University Press，2008.

［3］ ROLL J，NAZINY A，LIUNG L.Non-linear system identification via direct weight optimization［J］.Automatica，2005，41（3）：475-490.

［4］ ROLL J，BEMPORAD A，LIUNG L.Identification of piecewise affine systems via direct mixed integer programming［J］.Automatica，2004，40（1）：37-50.

［5］ ROLL J.Piecewise linear solution paths with application to direct weight optimization［J］.Automatica，2008，44（11）：2745-2753.

［6］ PAOLETTI S，ROLL J，GARULLI A，et al.On the input-output representation of piecewise affine state space models［J］.IEEE Transactions of Automatic Control，2010，55（1）：60-73.

［7］ BAI E W.Recursive direct weight optimization in nonlinear system identification：A minimal probability approach［J］.IEEE Transactions of Automatic Control，2007，52（7）：1218-1231.

［8］ PINTELON R，SCHOUKENS J.System identification：A frequency domain approach［M］.New York：IEEE Press，2001.

［9］ NOCEDAL J，WRIGHT S.Numerical optimization［M］.Berlin：Springer-Verlag，2002.

［10］ ZEILINGE M N，JONES CN，MORARI M.Real-time suboptimal model predictive control using a combination of explicit MPC and online optimization［J］.IEEE Transactions of Automatic Control，2011，56（7）：1524-1534.