具有狀態依賴噪聲的隨機H∞預演控制

王宏霞，張煥水，陳 欣，俞 立

(1.浙江工業大學信息工程學院，310023杭州;2.山東大學控制科學與工程學院，250061濟南)

預演控制問題研究如何利用提前獲取的參考信息或擾動信息來設計控制器以改進追蹤性能或更好地抑制擾動對系統所造成影響.與人類生活息息相關，具有廣泛工程背景，已被用于車輛懸架系統的設計、過程控制、機器人控制以及許多能夠提前獲取信息的領域［1-2］.起初的研究主要針對確定性系統的最優預演控制問題展開［3］，預演窗口寬度與最優性能顯式表達關系的建立［4］，標志著確定最優預演控制問題基本得以解決.至于確定性H∞預演控制問題，直到1999年依然是公開問題［5］.經過多年研究，確定性系統的H∞預演控制問題取得了很大進展［6-8］，但有關隨機系統H∞預演控制甚至是時滯系統最優控制問題的相關研究結果［11-12］較少，因此有必要研究隨機系統這類更普遍、更具有代表性系統的H∞預演控制問題.

研究的隨機系統，特指受到乘積性隨機噪聲干擾的系統，這類系統具有廣泛的應用背景.但與確定性系統具有本質的區別，包括:隨機系統不存在傳遞函數、要考慮適應性［13］、特別的隨機極大值原理［14］、解變量成對出現的倒向隨機方程［15］、加權矩陣為不定矩陣時仍有意義的最優控制［16］、消失的對偶性［17］.此外，隨機系統與確定系統還有許多區別.這些區別，是確定性系統的許多研究思路難以推廣、隨機系統控制問題難以解決的主要原因.迄今為止，只發現文獻［18］應用博弈論，研究了離散時間隨機系統的H∞預演追蹤問題，它根據可提前獲取的參考信息量，引入3種追蹤模式來解決問題.但是，由于擾動信息本身不可預演，因而本質上，預演信息的使用是以H2的方式而非H∞的方式.

本文主要研究一類線性隨機系統的H∞預演控制問題，研究如何使用可預演的外部擾動信息來設計H∞控制器，改進系統的閉環性能(這種改進相對于標準的H∞控制而言).首先將H∞預演控制問題轉化成不定二次型的優化問題;然后結合對策論，根據動態規劃的思想，研究不定二次型鞍點存在的條件;基于鞍點給出問題可解的條件和H∞預演控制器;最終利用特征線法提出一種解耦耦合微分與偏微分方程的方法.

對于任意的向量或矩陣M，M'為其轉置，M2為M'M，|M|為M的2-范數．對于任意向量函數是標量的維納過程，因此dw(t)是獨立平穩增量過程．E為關于隨機過程 dw(t)取數學期望．L2［a，b］表示在區間［a，b］平方可積的所有函數所形成的空間．

1 隨機系統H∞預演控制問題

引入具有可預演擾動信息的隨機系統為

式中:x(t)∈Rn為系統狀態，z(t)∈Rp為待調節信號，u(t)∈Rq為控制輸入，v(t)∈Rk為可預演的外部擾動輸入．外部擾動輸入屬于L2［0，T-h］．A，B，C，A0，C，D0，D1是有相容維數的有界時不變矩陣．h(＞0)是可預演時間長度．不妨設dw(t)的均值為0，方差為m．

為簡化推導，不失一般性，作以下正交性假設

引入性能指標

參考確定性系統的H∞預演控制問題，隨機系統的H∞預演控制問題可以敘述為:考慮系統式(1)～(2)，對于給定的γ＞0，找到一個能夠保證性能指標式(4)成立的有限時間域H∞預演控制策略，該策略具有如下結構

式中:PT表示一個給定的半正定矩陣，它反映決策者對終端狀態的重視程度，Ft表示某向量函數．

2 問題轉化及求解

2.1 問題的轉化

為了給出問題的可解性條件及解，把隨機H∞預演控制問題轉化成一個受隨機系統式(1)～(2)約束的最優化問題.

考慮性能指標式(4)，定義

一個控制器u(t)能夠保證H∞性能指標式(4)成立當且僅當對于任意的非零v(t)，該控制器都能夠保證J0＜0成立．

2.2 問題求解

不論是H∞預演控制問題還是不定二次型的最優化問題，本質上都屬于下面的對策問題

其中

其中u，v分別試圖最小化和最大化Jt．這類問題的解，可以通過求解一個Isaacs方程來獲取.因此，考慮到預演控制器的結構，有以下結論.

引理1 考慮隨機系統式(1)～(2).假設存在幾乎處處連續可微的參數 P(τ)，α(τ，s)，β(τ，s1，s2)，τ ∈［t，T］，(τ，s1，s2)∈ ［t，T］× ［0，h］×［0，h］，(τ，s)∈［t，T］×［0，h］，則Jt可等價表示成

其中

證明 不失一般性，設t＜T-h．

顯然有

添加微分零和項式(18)到式(8)的右端可得

參考式(17)后式(20)意味著當t∈［T-h，T］時，

根據Ito微分法則及系統式(1)～(2)，結合

式(19)及下述關系

首先計算式(19)右端第4項，然后針對式(19)右端分別關于u(t)，v(t)進行完全平方，最后取期望整理、合并同類項即可得式(9)．

根據引理1，可得出下面結論.

定理1 考慮具有零初始數據的隨機系統式(1)～(2)及性能指標式(4).

關于初邊值存在有界解

則隨機系統H∞預演問題可解，并且式(11)是滿足性能指標的H∞預演控制器.

證明 t時刻，當系統的初始數據為零、式(21)～(24)成立，并取u(t)=u*(t)時，從式(9)不難發現Jt＜0成立．同理，當系統從零時刻出發并具有零初始數據時，也有J0＜0，至此，參考問題的轉化不難得出，控制器u*(t)滿足H∞性能指標式(4).

當h=0時，隨機H∞預演控制問題轉化成一般的隨機H∞控制問題.此時，本文提出的方法能夠提供一個基于廣義Riccati方程的H∞控制器.具體可概括如下:

推論1 考慮h=0的系統式(1)～(2)及性能指標式(4).如果廣義Riccati方程

存在有界解P(t)，則存在一個形如

并能使性能指標式(4)成立的H∞控制器.

3 耦合微分及偏微分方程的解耦求解

觀察式(21)～(24)不難發現，這3個方程相互耦合.與求解一般的方程組類似，解耦也是求解式(21)～(24)的首要任務.

該解耦思路很大程度上依賴于 α(t，s)與β(t，θ1，θ2)分別在區域［0，T］× ［0，h］和［0，T］×［0，h］×［0，h］的連續性．因而此處首先假設初值問題式(21)～(24)存在唯一連續解.基于問題的連續性，給出下面的解耦思想.

定理2 給定γ＞0與h＞0．當初邊值問題式(21)～(24)存在唯一連續解時，若記

則微分及偏微分式(25)～(27)聯合初邊值式(23)、(24)存 在 唯 一 連 續 解 βδ(t，θ，θ1)，Pδ(t)，αδ(t，θ)，其中t=t+ δ，h=h- δ，δ＞ 0 可任意小，兩初邊值問題的解存在如下關系:

由于定理2的證明有賴于下面提到的偏微分方程的特征解法，因此將推遲它的證明.

盡管文獻［19］的定理2.1.2只提供了局部解的存在唯一條件，但是與常微分方程的初值問題解的存在唯一定理相似，該定理是分析和求解偏微分初邊值問題解的主要依據.有限時間域預演控制問題本質上就是一個偏微分方程的初邊值問題.下面將根據特征曲線和積分曲線的關系以及文獻［19］的定理來求解的隨機H∞預演問題.

且具有終端值P(T)=PT．

觀察初值問題式(21)～(24)，當t＞T-h時，由于

P實際上滿足可以直接單獨求解的H∞倒向微分式(32)，而 α(t，θ)，β(t，θ，θ1)則分別滿足以下關系:

其中Ax(t)=A-BB'P，且邊值如

使用特征線法［19］依次求解式(33)、(34).值得注意的是:在求解 α(t，θ)，β(t，θ，θ1)時，由于可以先根據式(32)直接求解出P(t)，因此P(t)實際上為已知函數.

偏微分式(33)的特征方程為

其初始參數曲線為

簡單計算可得，經過初始曲線的特征曲線為

根據式(37)～(39)，消除參數s，τ可得，由式(33)、(35)決定的積分曲面為

類似的由式(34)、(36)決定的積分曲面為

而當 t∈［0，T-h］時，由于初邊值問題式(21)～(24)中3個方程相互耦合，特征線法也無法給出解析解．此時，可以根據定理2提供的思路來求解之.實際上，當 t∈［0，T-h］時，式(25)～(27)中的每個方程的右端，除了左端的未知量外，其它都是已知量，這就保證了可以通過特征線法求解偏微分方程.下面將簡述式(25)～(27)的求解過程并給出其解.

根據式(40)可得 α(t，h)，繼而可在區間(T-2h，T-h］上求解式(25)．緊接著，根據式(41)，可得β(t，h，θ)，據此在區間(T-2h，T-h］上根據特征線法求解式(26)可得再根據特征線法求解具有初值 β(t，s，0)=C'α(t，s)的式(34)可得

關于區間［0，T-2h］的式(25)～(27)的求解，可以分成1+［(T-2h)/h］個區間倒向進行，其中［.］表示取整運算.鑒于微分方程組結構的一致性，后面剩余的這些區間上的解結構類似，因而可以直接給出，故此處省略它們的求解過程.

定理3 當式(21)～(24)存在連續解時，與其具有相同初始條件的式(25)～(27)存在唯一連續解Pδ(t)(見式(25)、(31)的解)，α(t，θ)(見式(40)、(42))，β(t，θ，θ1)(見式(41)、(43)).

證 明 由式(21)～(24)存在唯一連續解，可以推知式(25)的解存在唯一、偏微分式(25)、(27)的初始曲線及特征方向光滑.又因為在任意初始時刻，偏微分式(26)、(27)中的每個方程關于文獻［19］定理2.1.2中的行列式條件總成立，所以，在初始條件的鄰域內，定理3的解存在唯一，延拓則可得整個區間上的解.

有了以上的結果，證明定理2.

證 明 除了連續性，證明還需要α(t，θ)，β(t，θ，θ1)在區域［0，T］×［0，h］，［0，T］×［0，h］×［0，h］上的有界性．對于任意的t1∈［0，t］，考慮式(21)，其滿足如下關系

其中

考慮其解滿足如下關系

當α(t，s)在區域［0，T］×［0，h］上連續有界時，對于任意的ε ＞0 及 t，t1∈ ［0，T］，總存在δ＞0使得當|t-t1|＜δ時，

記

則

這證明了式(28)，M=4(γ-2T+1)Mα．

根據特征線法所提供的解研究δ，δ1→0時，式(26)、(27)的解 α(t，θ)，β(t，θ，θ1)的極限行為.具體如下:

當|P1-Pδ|＜ ε時

因此，

此外，根據P1，Pδ，α，β 的連續有界性

結合式(50)、(52)、(53)，則可得式(29)．式中M2為一有界正實數，Mα見式(49)．

同理可證式(30).

4 數值例子

為節省空間，將隨機系統式(1)～(2)的參數退化到標量，具體如下:

解耦后使用特征線法求解偏微分方程組，可借助Matlab直接求解方程的解.主要涉及dsolve與int兩個Matlab命令.由于由此產生的初值問題解非常冗長，僅計算問題在區間［9，10］的控制器.因為式(32)成立，式(21)被解耦成了式(31).利用 Matlab命令 dsolve直接求解式(31)可得P(t)=e10/(3e10-2et)，再根據式(11)可得，在區間［9，10］上，隨機 H∞預演控制器u*(t)=2e10/(3e10-2et)．同理，基于區間［9，10］的計算結果，可分別根據 式(25)、(42)、(43)計算區間［8，9］上的P(t)，α(t，s)，β(t，θ，s)，進而根據式(11)計算隨機H∞預演控制器u*(t)．這樣一個區間接著一個區間倒向推進，則可得整個區間上的控制器.

5 結語

本文給出了隨機H∞預演控制問題的可解性條件和顯式控制器.由于這些結果基于耦合的微分及偏微分方程給出，本文還提出了一種解耦微分及偏微分方程的方法，該解耦方法適用于幾乎所有的線性時滯系統最優控制及H∞控制.值得注意的是，當系統具有控制依賴噪聲時，耦合方程的解耦產生的隨機Riccati方程中存在微分變量的逆運算，尋求解析解有一定的困難.

［1］BENDER E K.Optimum linear preview control with application to vehicle suspension［J］.Journal of Basic Engineering，1968，90(2):213-221.

［3］SHERIDAN T B.Three models of preview control［J］.IEEE Transactions on Human Factors in Electronics，1966，HFE-7(2):91-102.

［4］MOELIA A A，MEINSMA G.H2control of preview systems［J］.Automatica，2006，42(6):945-952.

［5］BLONDEL V D，SONTAG E D，VIDYASAGAR M，et al.Open problems in mathematical systems and control theory［M］.London:Springer，1999.

［6］ZHANG Huanshui，XIE Lihua，DUAN Guanren.H∞control of discrete-time systems with multiple input delays［J］.IEEE Transactions on Automatic Control，2007，52(2):271-283.

［7］TADMOR G，MIRKIN L.H∞control and estimation with preview-part I:matrix ARE solutions in continuous time［J］.IEEE Transactions on Automatic Control，2005，50(1):19-28.

［8］TADMOR G，MIRKIN L.H∞control and estimation with preview-partII:fixed-sizeARE solutionsin discrete time［J］.IEEE Transactions on Automatic Control，2005，50(1):29-40.

［9］KOJIMA A，ISHIJIMA S.Formulas on preview and delayed control［J］.IEEE Transactions on Automatic Control，2006，51(12):1920-1937.

［10］HAZELL A，LIMEBEER D.An efficient algorithm for discrete-time H∞preview control［J］.Automatica，2008，44(9):2441-2448.

［11］SONG Xinmin， ZHANG Huanshui， XIE Lihua.Stochastic linear quadratic regulation for discrete-time linear systems with input delay［J］.Automatica，2009，45(9):2067-2073.

［12］WANG Hongxia，ZHANG Huanshui.LQ control for Ito-type stochastic systems with input delays ［J］.Automatica，2013，49(12):3538-3549.

［13］YONG Jiongmin，ZHOU Xunyu.Stochastic controls:Hamiltonian systems and HJB equations［M］.New York:Springer，1999.

［14］PENG Shige.A general stochastic maximum principle for optimal control problems［J］.SIAM Journal on Control and Optimization，1990，28(4):966-979.

［15］嚴加安，彭實戈，吳黎明，等.隨機分析選講［M］.北京:科學出版社，1997.

［16］CHEN Shuping，LI Xunjing，ZHOU Xunyu.Stochastic linear quadratic regulators with indefinite control weight costs［J］.SIAM Journal on Control and Optimization，1998，36(5):1685-1702.

［17］ZHANG Huanshui，SONG Xinmin.New estimator and duality of control for multiplicative noise systems with applications to packet dropping and multiple input delay systems［C］//2009 IEEE International Conference on Control and Automation.Christchurch:IEEE，2009:75-80.

［18］GERSHON E，LIMEBEER D，SHAKED U，et al.Stochastic H∞tracking with preview for statemultiplicative systems［J］. IEEE Transactionson Automatic Control，2004，49(11):2061-2068.

［19］陳祖墀.偏微分方程［M］.合肥:中國科學技術大學出版社，2002.