離散跳變無限不定隨機線性二次控制

張志銘， 王文瑩

(1.山東科技大學 經濟管理學院，山東 青島 266590；2.山東科技大學 數學與系統科學學院， 山東 青島 266590)

?

離散跳變無限不定隨機線性二次控制

張志銘1， 王文瑩2

(1.山東科技大學 經濟管理學院，山東 青島 266590；2.山東科技大學 數學與系統科學學院， 山東 青島 266590)

主要論述了伴有狀態和控制獨立噪音的無限離散時間系統的帶馬爾科夫跳的隨機線性二次控制問題. 該問題給出了一個包含等式和不等式約束的廣義代數黎卡提方程(GARE). 跳變不定線性二次控制(LQC)問題的適定性被證明與一個線性矩陣不等式(LMI)的可行性是等價的； 并且GARE一個鎮定解的存在性等價于跳變線性二次控制問題的可達性. 最后給出了一個基于LMI的方法通過半定規劃來解決GARE.

離散時間系統；馬爾科夫跳躍過程；不定隨機線性二次控制；廣義代數黎卡提方程；半定規劃；線性矩陣不等式

1 問題的陳述與準備工作

考慮以下離散時間的帶有馬爾科夫跳躍過程的隨機系統:

x(l+1)=Aθ(l)(l)x(l)+Bθ(l)(l)u(l)+[Cθ(l)(l)x(l)+Dθ(l)(l)u(l)]ωl,l∈N,x0∈Rn.

(1)

我們指定F(l)是由ω(l)(l∈Ν)生成的σ-代數, 即, F(l)=σ(ω(s):1≤s≤l). 令L2(Ω,Rm)表示滿足E‖ξ‖2<的Rm-值隨機向量ξ的空間.是由所有的序列y={y(l):y(l)∈Rm}l∈N組成的, 對于l∈N, y(l)∈L2(Ω,Rm)就是F(l-1)可測量的, 在這里我們定義F(-1)也就是說, y0是一個常數. 最后,定義了的l2-范數.

并且我們在后面討論中令馬爾科夫鏈θ(l)=i, 現給出下面的定義：

是均方鎮定的, 并且Ki(l)是帶有馬爾科夫跳的適當維數的矩陣, 那么滿足u(l)=Ki(l)x(l)的u={u(l)∶l∈N}叫做均方反饋鎮定控制.

定義2 如果存在一個均方反饋鎮定控制滿足u(l)=Ki(l)x(l). 在這里Ki(l)是帶有馬爾科夫跳的適當維數的矩陣. 那么稱系統(1)在均方意義上是鎮定的.

對于系統(1), 容許控制集合Uad(x0)定義如下:

對于給定的x0,ul是均方鎮定的}.

對任意的(x0,ul)∈Rn×Uad(x0), 關于系統(1)的目標函數定義如下:

(2)

在這里Li(l)∈Rn×m,Qi(l)∈Sn以及Ri(l)∈Sm是給定的帶馬爾科夫跳的矩陣.

本文線性二次最優控制問題的重點就是要找到一個控制序列u*=(u*(0),…,u*(n),…)∈Uad(x0)滿足下列

(3)

我們把Vθ0(x0)叫做最優目標值.

定義4 在L∈Sn上

(4)

并且

(5)

滿足上述條件的代數方程叫做受約束的GARE.

引理1[2]對任意的矩陣M∈Rm×n, 都會存在一個唯一的矩陣M+∈Rn×m, 使其滿足

M+叫做M的廣義逆矩陣.

引理2[2]我們給出一個對稱矩陣M. 于是就會有

引理3[3]給定矩陣K,M,N, 當且僅當KK+NMM+=N時, 則矩陣方程KXM=N就會有一個解X. 此外, X是由X=K+NM++Y-K+KMM+給出的, 這里的Y是一個帶有適當維數的矩陣.

引理4 (舒爾補引理)[4]若具有適當維數的矩陣M=M′,N,R=R′, 則以下條件是等價的:

i)M-NR+N′≥0,R≥0,以及N(I-RR+)=0.

2 廣義代數黎卡提方程的充分性

定理1 如果GARE(4)有一個解, 并且存在Yi(l)∈Rm×n和Zi(l)∈Rm滿足下面的控制:

(6)

證明 假定L是GARE(4)的一個解. 顯然, 當?T∈N,L∈Sn時, 有

把上述等式添加到性能指標, 我們得到

(7)

定義下面等式

通過配方, 式(7)可以寫成

(8)

從而說明以下控制數列

定義5 如果存在一個由公式(6)決定的容許控制, 那么稱GARE(4)的一個解L是鎮定的.

如果GARE(4)的一個解L是鎮定的, 當且僅當對任意x0, 存在Zi(l)∈Rm, 使得控制:

(9)

是容許的, 這里的x(l)是上述控制在初始狀態x0下的系統(1)的解.

定義6 如果L≥L*且對任意的L*滿足

(10)

通過定義6可知, 如果最大解存在, 那一定是唯一的. 接下來, 我們將討論GARE(4).

定理2GARE(4)至多有一個鎮定解. 而且, 這個鎮定解也是它的最大解.

對任何的L*滿足式(10)以及GARE(4)的鎮定解L. 把L*帶入等式(8)中, 可以得到

3 線性二次控制問題的適定性和可達性

引理5 如果LQC問題(1)-(3)是適定的. 當且僅當存在一個對稱的常數矩陣Pθ0滿足下列等式

(11)

(12)

添加到下列的目標函數:

然后應用等式(1), 對于任意的(x0,u(l))∈Rn×Uad(x0), 我們可以看出:

(13)

上述不等式說明了LQC問題的適定性.

通過動態規劃原理. 我們得到下列不等式:

基于等式(1)和上述不等式. 我們得出

(14)

定理4 對于任意的x0,LQC問題(1)-(3)是可達的, 那么GARE(4)就會有一個鎮定的解. 而且任意的最優控制都是由等式(6)給出的.

(15)

對任何的初始狀態x0, 我們假定u*是一個最優控制. 和定理3一樣, 我們得出下列公式:

(16)

接下來, 我們證明了任何最優控制u*(l)均可由公式(6)得出. 通過公式(15), 可以得出

4 通過半定規劃表示線性二次控制問題

定義7[5]假設向量c=(c1,…,cm)′∈Rm和矩陣F0,F1,…,Fm∈Sn. 下面最優化問題:

(17)

稱之為一個半定規劃. 如果存在一個x滿足Fi(x)≥0, 則半定規劃就是可行的.

考慮下面的半定規劃問題:

(18)

下面的定理介紹了LQC問題的適定性, 半定規劃的可行性以及GARE三者之間的關系.

定理5 半定規劃是可行的, 當且僅當LQC問題(1)-(3)是適定的.

定理7 如果LQC問題(1)-(3)是可達的, 則半定規劃(18)的唯一最優解是GARE(4)的鎮定解.

5 結束語

本文研究了帶有狀態和控制獨立噪音的離散隨機系統的跳變無限不定LQC問題. 文中利用了GARE. 證明了LQC問題的適定性等價于LMI的可行性. 而且,LQC問題的可達性等價于GARE鎮定解的存在性. 所有的最優控制都可根據GARE的解來得到. 基本上來說, 本文的結論可以看作是文獻[6]一種含馬爾科夫跳變系統的版本.

[1]HUANGYL,ZHANGWH,ZHANGHS.Infinitehorizonlinearquadraticoptimalcontrolfordiscrete-timestochasticsystems[J].AsianJournalofControl,2008,10(5):609-615.

[2]PENROSER.Ageneralizedinverseformatrices[J].MathematicalProceedingsoftheCambridgePhilosophicalSociety, 1955, 51(3): 406- 413.

[3]RAMIMA,CHENX,ZHOUXY.Discrete-timeindefiniteLQcontrolwithstateandcontroldependentnoises[J].JournalofGlobalOptimization, 2002, 23(3/4): 245-265.

[4]ALBERTA.Conditionsforpositiveandnonnegativedefinitenessintermsofpseudo-inverse[J].SIAMJournalonAppliedMathematics, 1969, 17(2): 434-440.

[5]VANDENBERGHEL,BOYDS.Semidefiniteprogramming[J].SIAMReview, 1996, 38(1): 49-95.

[6]ZHANGWH,LIY,LIUXK.Infinitehorizonindefinitestochasticlinearquadraticcontrolfordiscrete-timesystems[J].ControlTheoryandTechnology, 2015, 13(3): 230-237.

(編輯：姚佳良)

Infinitehorizon indefinite stochastic LQC for discrete-time Markov jump systems

ZHANG Zhi-ming1，WANG Wen-ying2

(1.College of Mathematics and Systems Science, Shandong University of Science and Technology, Qingdao 266590, China; 2.College of Economics and Management, Shandong University of Science and Technology,Qingdao 266590, China)

This paper primarily discusses discrete-time infinite horizon stochastic linear quadratic control (LQC) problem with state and control dependent noise and Markov jump. The problem provides a generalized algebraic Riccati equation (GARE) that involves equality and inequality constraints. The well-posedness of the indefinite LQC problem with Markov jump is equivalent to the feasibility of a linear matrix inequality (LMI). In addition, the existence of a stabilizing solution to the GARE is equivalent to the attainability of the LQC problem with Markov jump. Definitively, we give an LMI-based approach to figure out the GARE by a semidefinite programming.

discrete-time system; Markov jump; indefinite stochastic LQC; generalized algebraic Riccati equation; semidefinite programming; linear matrix inequality

2016-03-28

張志銘, 男, zhimingzhang1989@163.com; 通信作者：王文瑩, 女, wenyingwang1990@163.com

1672-6197(2017)01-0043-06

O231.3

A