基于ADP的一類未知非線性系統(tǒng)事件觸發(fā)輸出反饋最優(yōu)控制

李 琳 潘忠成 李昶志

1(廣東交通職業(yè)技術(shù)學院信息學院 廣東 廣州 510000) 2(哈爾濱工程大學材料科學與化學工程學院 黑龍江 哈爾濱 150001) 3(陜西麥可羅生物科技有限公司 陜西 渭南 715500) 4(陜西省公共資源交易中心 陜西 西安 710000)

0 引 言

隨著控制性能要求的提高,非線性系統(tǒng)最優(yōu)控制受到了控制領(lǐng)域的廣泛關(guān)注[1-4]。在最優(yōu)控制設(shè)計過程中,系統(tǒng)哈密頓-雅可比-貝爾曼方程(Hamilton-Jacobi-Bellman equation,HJB)的求解方法成為控制器設(shè)計的關(guān)鍵,而動態(tài)規(guī)劃(Dynamics Programming,DP[5])作為求解方法被廣泛應用于最優(yōu)控制策略中。然而動態(tài)規(guī)劃在時間上是向后執(zhí)行的,所以DP為離線求解方法。并且由于在高維最優(yōu)化問題中存在“維度詛咒”問題,DP難以在實際控制中應用。為了避免上述問題,Werbos[6]提出了基于強化學習(Reinforcement Learning,RL)的自適應動態(tài)規(guī)劃(ADP)策略。它將強化學習方法、演員-批評家結(jié)構(gòu)(Actor-Critic Structure)[7]和神經(jīng)網(wǎng)絡(luò)結(jié)合來解決最優(yōu)控制問題,其中評估網(wǎng)絡(luò)用于估計動態(tài)規(guī)劃中的成本函數(shù),從而解決“維度詛咒”問題。近些年來,基于RL的ADP的控制策略和相關(guān)領(lǐng)域受到了學者的廣泛關(guān)注并且獲得了很多重要的成果。文獻[8]針對帶有未知動態(tài)的非仿射非線性系統(tǒng)的控制問題提出了一種新型ADP控制方法,此方法不需要識別系統(tǒng)的未知動態(tài)。文獻[9]設(shè)計了基于觀測器的ADP控制器,解決了非仿射連續(xù)非線性系統(tǒng)的控制問題,其中觀測器用于重構(gòu)系統(tǒng)不可測狀態(tài)量,評估網(wǎng)絡(luò)用于估計系統(tǒng)的性能指標函數(shù)。文獻[10]將ADP方法應用于具有未知動態(tài)的多智能體編隊控制中。

近些年來,非線性系統(tǒng)的事件觸發(fā)控制方法吸引了廣泛的關(guān)注[11-12]。與常規(guī)的時間觸發(fā)控制方法相比,事件觸發(fā)控制(Event-Triggered Control,ETC)只有在當前狀態(tài)量與期望值的誤差超過閾值時控制器才會更新,這樣大大減少了控制系統(tǒng)的計算負擔同時節(jié)約了被控對象和執(zhí)行器的通信資源[13]。在最優(yōu)控制的實際應用中還需要考慮系統(tǒng)模型未知和系統(tǒng)的內(nèi)部狀態(tài)量無法測量的問題。需要注意的是,在實際應用中通常只有系統(tǒng)的輸出量和控制輸入量為可測度量,并且只對輸出量進行測量也可以大大減少控制系統(tǒng)對測量裝備的需求。為了估計不可測量的狀態(tài)量,本文首先通過神經(jīng)網(wǎng)絡(luò)觀測器來重構(gòu)系統(tǒng)狀態(tài)量,然后通過觀測到的狀態(tài)量設(shè)計了基于ADP算法的事件觸發(fā)輸出反饋最優(yōu)控制策略,在實現(xiàn)最優(yōu)控制的同時節(jié)約計算能力和通信資源。通過Lyapunov理論獲得了神經(jīng)網(wǎng)絡(luò)觀測器的權(quán)值更新率和評價網(wǎng)絡(luò)的權(quán)值更新率。閉環(huán)系統(tǒng)的穩(wěn)定性同樣進行了嚴格的證明。最后通過仿真實驗驗證了控制算法的有效性。

1 系統(tǒng)描述

考慮如下的未知非線性系統(tǒng):

式中:x(t)∈Rn代表系統(tǒng)的狀態(tài)量;y(t)∈Rm代表系統(tǒng)的輸出量并且為可測度量;u(t)∈Rp代表系統(tǒng)的控制輸入;C∈Rm×n為常數(shù)矩陣;G(x(t),u(t))代表系統(tǒng)的未知動態(tài)。需要注意的是,在實際應用中系統(tǒng)的狀態(tài)量不一定完全可測量的且系統(tǒng)的狀態(tài)方程也不一定精確可知,所以式(1)符合實際的應用場景。

為了便于后續(xù)觀測器設(shè)計,將式(1)寫成如下形式:

式中:U(x(t),u(t))=G(x(t),u(t))-Ax;A為常數(shù)矩陣。

假設(shè)1系統(tǒng)未知動態(tài)U(x(t),u(t))為平滑函數(shù)并滿足:

式中:δ為正常數(shù)。

2 控制器設(shè)計

本節(jié)主要分成兩個部分,首先設(shè)計了基于神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計器用于估計系統(tǒng)的狀態(tài)量,然后設(shè)計基于自適應評估的輸出反饋最優(yōu)控制策略。

2.1 基于神經(jīng)網(wǎng)絡(luò)的狀態(tài)觀測器

結(jié)合式(2)設(shè)計如下的狀態(tài)觀測器:

DTP+PD=-M

(5)

式中:P=PT,M=MT。

設(shè)計如下的神經(jīng)網(wǎng)絡(luò)逼近器用來逼近式(1)中的未知函數(shù)U:

權(quán)重的更新律選擇如下:

證明定義如下的Lyapunov函數(shù):

對式(9)求導可得:

結(jié)合式(2)、式(4)、式(6)、式(7)和式(8),式(10)可寫成:

令b=a(D-1)TCTC,則式(11)簡化為:

考慮如下不等式成立:

將式(13)代入式(12)可得:

式中:λmin(M)表示矩陣M的最小特征值;sm表示激活函數(shù)的上界。

則式(14)變?yōu)?

2.2 基于自適應評估的輸出反饋控制器

為了后續(xù)事件觸發(fā)函數(shù)的設(shè)計,定義如下的誤差方程:

基于式(19)可以判斷事件觸發(fā)的時間。當事件觸發(fā)時ek(tk)=0,當事件沒有觸發(fā)時,控制器的控制輸出保持不變,即:

將式(19)代入式(20)有:

針對式(1),設(shè)計如下的性能指標:

(22)

式中:Q=QT∈Rm×m、R=RT∈Rp×p為正定常數(shù)矩陣。

如果控制輸入u在緊集Ω是可接受的[14],并且性能指標函數(shù)V一階可導,則:

定義如下的哈密頓(Hamiltonian)方程:

求解最優(yōu)性能指標后可以獲得如下的最優(yōu)控制策略:

作為求解最優(yōu)控制策略的式(26),可以得到理想的最優(yōu)控制解。將式(26)轉(zhuǎn)換成事件觸發(fā),則有

將式(27)代入式(24)可得基于事件觸發(fā)的HJB方程為:

本文采用如下的評價神經(jīng)網(wǎng)絡(luò)來逼近最優(yōu)性能指標函數(shù):

式中:θ2為評價神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)重;隱含層激活函數(shù)s2(x)選為雙曲正切函數(shù);σ(x)為神經(jīng)網(wǎng)絡(luò)的逼近誤差。有:

由式(30)可得:

結(jié)合式(32)和式(7),實際的控制率如下:

將式(32)和式(33)代入式(24),哈密頓函數(shù)的估計可表示為:

為了后續(xù)分析,做如下的假設(shè)。

假設(shè)2U(x,u)為Lipschitz連續(xù),并滿足:

式中:L為正常數(shù)。

假設(shè)3控制輸入u*滿足Lipschitz條件,則存在一個正常數(shù)A使得:

定理2針對式(1),如果觀測器為式(3),并且觀測器和評價網(wǎng)絡(luò)的權(quán)重更新率分別為式(7)和式(36),并且滿足如下的事件觸發(fā)條件:

證明定義如下的Lyapunov函數(shù):

Va=V1+V*+V2

(40)

根據(jù)求解最優(yōu)控制策略的式(26)可得:

式中:ΔUu*=?U(x,u*)/?u*。由于:

(43)

將式(42)和式(43)代入式(41)可得:

2u*TN(U(x,u*)-U(x,u))-yTQy-u*TRu*

(44)

式中:N=((ΔUu*)TΔUu*)-1(ΔUu*)T。

根據(jù)假設(shè)2,式(36)可以寫成:

(46)

結(jié)合假設(shè)3,式(46)可變成:

對V2求導得到:

將式(36)代入式(48)可得:

(49)

結(jié)合式(31)可得:

3 仿真研究

為了驗證控制策略的有效性,利用如下的非線性系統(tǒng)作為仿真對象:

式(7)表示結(jié)構(gòu)為3-3-2,初始權(quán)重為θ(0)=[1,0.5,0.2;-0.2,-0.5,-1],更新率計算的式(8)中參數(shù)為a=0.1、λ=10。式(23)的參數(shù)為Q=1、R=10。式(30)表示的結(jié)構(gòu)為3-4-1,初始權(quán)重W(0)=[4,2,-1,-2]T,更新率計算的式(36)中參數(shù)r=10。仿真結(jié)果為圖1-圖6。

圖1 系統(tǒng)的實際狀態(tài)量x1和狀態(tài)量的估計

圖2 系統(tǒng)的實際狀態(tài)量x2和狀態(tài)量的估計

圖3 神經(jīng)網(wǎng)絡(luò)的估計權(quán)重θ1

圖4 評估網(wǎng)絡(luò)的估計權(quán)重θ2

圖5 事件觸發(fā)條件和閾值

圖6 控制輸入

根據(jù)圖1和圖2可以看出,本文提出的控制器能很好地完成控制目標,使系統(tǒng)狀態(tài)穩(wěn)定在平衡點,并且表明神經(jīng)網(wǎng)絡(luò)狀態(tài)觀測器能很好地跟蹤和估計系統(tǒng)不可測狀態(tài)量,使狀態(tài)估計誤差穩(wěn)定。圖3和圖4表明神經(jīng)網(wǎng)絡(luò)和評估網(wǎng)絡(luò)的權(quán)重最終收斂。圖5為系統(tǒng)的觸發(fā)情況,結(jié)合圖6可知,只有當式(39)滿足時,系統(tǒng)的控制輸出才進行更新,因此有效減少控制輸出更新頻率從而大幅節(jié)約計算能力。

4 結(jié) 語

針對一類未知非線性系統(tǒng)提出基于神經(jīng)網(wǎng)絡(luò)的最優(yōu)控制策略。利用神經(jīng)網(wǎng)絡(luò)狀態(tài)觀測器對未知非線性系統(tǒng)的狀態(tài)量進行估計,從而解決實際應用中系統(tǒng)的部分狀態(tài)量無法測量的難題。然后通過觀測器估計的狀態(tài)量設(shè)計基于ADP算法的輸出反饋最優(yōu)控制策略。本文通過Lyapunov方法獲得了神經(jīng)網(wǎng)絡(luò)和評估網(wǎng)絡(luò)的權(quán)值更新率并嚴格證明了閉環(huán)系統(tǒng)的穩(wěn)定性。最后通過仿真實驗驗證了該控制器設(shè)計方法的有效性。