隨機多智能體系統(tǒng)的多率協(xié)同控制

張云清，馮江濤，范曉宇，謝云飛

(山西大學 自動化與軟件學院，太原 030031)

0 引言

近幾十年，多智能體系統(tǒng)因其有著廣泛的應(yīng)用，受到了眾多學者的關(guān)注和研究，如生物集群行為，社交網(wǎng)絡(luò)[1]、多機器人協(xié)同工作[2-3]、航天器姿態(tài)控制[4]、多區(qū)域電網(wǎng)的經(jīng)濟調(diào)度[5]等。而一致性作為多智能體系統(tǒng)的基本問題，其多樣性已經(jīng)從理論和應(yīng)用的角度得到了廣泛的研究。一致性控制是指通過設(shè)計一個合適的控制協(xié)議，使得多智能體系統(tǒng)中所有的智能體的狀態(tài)或輸出在有限時間內(nèi)收斂至目標值。目前，一階、二階乃至高階的線性動力學系統(tǒng)已經(jīng)得到了廣泛的研究[6-11]。此外，部分學者還針對系統(tǒng)可能會受到自身固有的非線性動力學以及外部干擾的影響，研究了更為一般的隨機多智能體系統(tǒng)的一致性[12-15]。

在連續(xù)時間下，多智能體系統(tǒng)能夠?qū)崿F(xiàn)一致性的前提條件是每個智能體都能與自己的鄰居智能體持續(xù)通信。然而與鄰居智能體持續(xù)通信將消耗大量的網(wǎng)絡(luò)資源，并且對網(wǎng)絡(luò)環(huán)境也提出了相當高的要求。因為一旦通信堵塞，就會不可避免地造成網(wǎng)絡(luò)時延、進而產(chǎn)生丟包現(xiàn)象，最終將破壞多智能體系統(tǒng)的一致性。所以這僅僅在理論上可以實現(xiàn)。使用采樣控制方法，可以將連續(xù)信息變?yōu)殡x散信號，減少每個智能體的計算負擔以及節(jié)省網(wǎng)絡(luò)通信資源，進而減少控制器的更新頻率和執(zhí)行器的動作次數(shù)，延長設(shè)備的使用壽命，同時確保期望的系統(tǒng)性能。

在過去的時間里，采樣控制方法已經(jīng)得到了廣泛研究。至今，針對多智能體系統(tǒng)使用恰當?shù)牟蓸訖C制來設(shè)計通信協(xié)議，在保證系統(tǒng)理想性能的前提下節(jié)省通信資源仍是熱點話題。在現(xiàn)有的有關(guān)多智能體系統(tǒng)的研究成果中，有兩種采樣控制方法得到了廣泛應(yīng)用，即同步采樣機制[16-17]和異步采樣機制[18-20]。同步采樣機制指的是多智能體系統(tǒng)中所有智能體的所有狀態(tài)都使用相同的采樣器進行采樣，即采樣周期相同。而異步采樣機制指的是不同的智能體使用不同采樣周期的采樣器進行采樣，即采樣周期不盡相同。但不管是同步采樣還是異步采樣，針對單個智能體而言，他們都假設(shè)其狀態(tài)分量或者輸出分量是以相同的采樣周期T進行采樣。該種采樣方式又稱為單率采樣。然而，在實際中，單個智能體的狀態(tài)量或輸出量往往包含著多組分量，且不同的分量一般表示著不同的物理特性。此時若以相同的采樣周期來對所有分量進行采樣，不僅很難確定采樣周期，同時也不符合實際應(yīng)用。因此應(yīng)該根據(jù)實際情況，針對具體的物理特性以恰當?shù)牟蓸又芷谶M行采樣，即狀態(tài)分量或輸出分量不同，采樣周期不盡相同。該種采樣機制又稱為多率采樣。顯然，相比較于單率采樣，多率采樣由于針對不同物理特性進行采樣，采樣器更具有針對性，采樣數(shù)據(jù)更及時更精確，控制器更新也更加高效，從而可以實現(xiàn)更好的控制性能。

文獻[21]針對不同的系統(tǒng)研究了多率采樣機制下的網(wǎng)絡(luò)化控制問題；文獻[22]研究了在欺騙網(wǎng)絡(luò)攻擊下，多智能體系統(tǒng)基于多率采樣機制的安全一致性控制問題；文獻[23]研究了多智能體系統(tǒng)在多率采樣機制下的二分一致性控制問題。然而，在多智能體系統(tǒng)領(lǐng)域中，關(guān)于多率采樣機制的研究才剛剛起步，還有很大的發(fā)展空間，這也是本文研究的動機所在。

在多智能體系統(tǒng)中，智能體的采樣信息將通過無線傳感網(wǎng)絡(luò)進行傳輸。然而在實際應(yīng)用中，每個智能體的計算資源以及智能體之間的通信網(wǎng)絡(luò)帶寬都是有限的。因此，如何設(shè)計合適的大規(guī)模分布式控制方案，在保證理想控制性能的前提下，又能節(jié)省通信和計算資源是近幾十年來的熱點話題。事件觸發(fā)方案因其比時間觸發(fā)方案在減少對有限的通信和計算資源的使用方面更有優(yōu)勢而受到人們的青睞，尤其是在帶寬有限的網(wǎng)絡(luò)環(huán)境中，該方法的優(yōu)勢更為明顯。與傳統(tǒng)的采樣傳輸方法相比較，基于采樣的事件觸發(fā)控制方案的顯著特征是，應(yīng)當執(zhí)行傳輸動作和控制更新的時刻由與系統(tǒng)測量(例如，系統(tǒng)狀態(tài)或輸出)或性能水平密切相關(guān)的預(yù)定義事件觸發(fā)條件確定[24]。該傳輸方案的核心思想是事件檢測僅在每個采樣時刻進行，而不是連續(xù)進行。因此，每次進行事件檢測的時間間隔本質(zhì)上是一個采樣周期的下界，這意味著該方案能夠絕對排除芝諾行為[25]。文獻[26]首次提出了一種用于多智能體系統(tǒng)的事件觸發(fā)控制協(xié)議，它通過將鄰居之間的連續(xù)通信改為離散通信來減少通信負擔。然后，文獻[27-29]中提出了用于更普遍的n階線性多智能體系統(tǒng)的事件觸發(fā)控制協(xié)議。此外，文獻[30]針對帶有非線性動力學和外部干擾的隨機多智能體系統(tǒng)研究了事件觸發(fā)一致性控制問題。

然而，以上所研究的事件觸發(fā)方案都是在某個智能體滿足觸發(fā)條件后，該智能體將自身的信息廣播給所有的鄰居智能體。這種廣播式的傳輸方式難免會造成一些資源浪費。因為在多智能體一致性控制過程中，有時可能僅有某幾個鄰居智能體狀態(tài)偏離較大，需要獲得新的鄰居信息來更新控制器，而其余智能體已經(jīng)達到了理想的位置狀態(tài)。基于此，有學者提出了一種基于邊的事件觸發(fā)控制協(xié)議[31-32]，該協(xié)議是在相鄰的兩個智能體之間設(shè)計觸發(fā)函數(shù)，當兩個相鄰的智能體之間的狀態(tài)誤差信息滿足了一定的觸發(fā)條件后，有且僅有這兩個智能體互相傳輸信息。相比較一般的廣播式的事件觸發(fā)傳輸機制，該機制對具體鄰居信息的誤差更為敏感，控制調(diào)節(jié)更為及時。此外，傳統(tǒng)的事件觸發(fā)控制協(xié)議需要同時與所有鄰居進行通信，因此需要在鄰居之間保持時鐘同步，這意味著需要消耗更多的通信資源，而基于邊的事件觸發(fā)控制協(xié)議因為只針對與具體邊相連的兩個智能體設(shè)計而非某個智能體的所有鄰居智能體，因此不需要保證所有的鄰居智能體之間時鐘同步，而且智能體之間的通信是非周期性且異步的，可以大大降低通信成本，這在文獻[31-32]中的仿真結(jié)果中都有很好地體現(xiàn)。文獻[33]分別針對安全的網(wǎng)絡(luò)環(huán)境和遭受重放攻擊的網(wǎng)絡(luò)環(huán)境，利用邊事件觸發(fā)方案設(shè)計了彈性控制協(xié)議，使得多智能體系統(tǒng)在實現(xiàn)一致性目標的前提下，能夠節(jié)省大量通信資源。

受上述討論的啟發(fā)，本文針對帶有非線性動力學的隨機多智能體系統(tǒng)研究多率采樣機制下基于邊事件觸發(fā)機制的一致性控制問題。主要貢獻點總結(jié)如下：

1)針對帶有非線性動力學的隨機多智能體系統(tǒng)引入多率采樣機制，采用不同的傳感器組對智能體的不同狀態(tài)變量進行采樣，使得采樣數(shù)據(jù)能夠更符合實際應(yīng)用。

2)設(shè)計了一種新的邊事件觸發(fā)傳輸機制和相應(yīng)的控制協(xié)議以實現(xiàn)對隨機多智能體系統(tǒng)的均方一致性控制，同時排除了芝諾行為。

3)通過數(shù)值仿真實例對同步采樣、異步采樣以及多率采樣對系統(tǒng)性能的影響做了比較。充分說明了采用多率采樣機制和邊事件觸發(fā)機制可以獲得很好的系統(tǒng)性能。

1 預(yù)備知識和問題描述

1.1 預(yù)備知識

引理1：如果G是一個無向圖，那么

1.2 問題描述

考慮由N個智能體組成的帶有非線性動力學的隨機多智能體系統(tǒng)，每個智能體的動力學表示如下：

dxi(t)=[f(xi(t))+ui(t)]dt+

g(x(t))dω(t)

(1)

其中：i=1，…N。xi(t)∈Rn×1、f(xi(t))∈Rn×1、ui(t)∈Rn×1和g(xi(t))∈Rn×m分別表示智能體i的狀態(tài)、固有的非線性動力學、控制輸入以及隨機擾動。ω(t)=[ω1(t)，…，ωm(t)]Τ∈Rn×m表示m維的布朗運動且滿足E[dω(t)]=0，E[dω2(t)]=dt。對于所有的i≠j，i，j=1，…，N都有ωi(t)獨立于ωj(t)。

考慮每個智能體狀態(tài)x(t)是通過多率采樣機制進行采樣的。具體而言，第i個智能體的狀態(tài)xi(t)的n個元素被相應(yīng)的傳感器組分成r個子向量，即：

xi(t)= [xi1Τ(t)，xi2Τ(t)，…，xirΤ(t)]Τ

不同傳感器組將采樣后的數(shù)據(jù)傳給緩存器，并在緩存器中對這些采樣時刻以先后順序進行重排。我們以兩組傳感器組為例，對照圖1進行說明。

圖1 多率采樣機制下多智能體系統(tǒng)的結(jié)構(gòu)

xi(τih)= [xi1Τ(ki1Ti1)，xi2Τ(ki2Ti2)]Τ

(2)

(3)

本文的目的是構(gòu)建一個合適的控制協(xié)議，使得經(jīng)過多率采樣后的隨機多智能體系統(tǒng)可以指數(shù)地實現(xiàn)均方一致性，即對于任意給定的初值，所有智能體的狀態(tài)都可以實現(xiàn)：

(4)

其中：i，j=1，…，N。為了實現(xiàn)控制目標，首先給出如下假設(shè)。

假設(shè)1：對于時間t≥0，存在一個非負常數(shù)ρ使得下式成立：

‖f(x1(t))-f(x2(t))‖≤

ρ‖x1(t)-x2(t)‖，?x1(t)，x2(t)∈Rn×1

假設(shè)2：對于時間t≥0，存在一個非負常數(shù)θ使得下式成立：

trace{[g(z1(t))-g(z2(t))]Τ·[g(z3(t))-g(z1(t))]}≤

θ(‖z2(t)-z1(t)‖2+‖z3(t)-z1(t)‖2)

注1：假設(shè)1和假設(shè)2是隨機近似中常用的標準假設(shè)，文獻[34]提出該假設(shè)后，通過一個滿足正態(tài)分布的協(xié)議來實現(xiàn)對具有狀態(tài)依賴的噪聲干擾和可修復(fù)的故障執(zhí)行器的非線性多智能體系統(tǒng)的一致性控制。

2 多率采樣機制下隨機多智能體系統(tǒng)的控制設(shè)計

(5)

g(xi(t)，t)dω(t)=[f(xi(t)，t)-

(6)

進一步，提出如下的邊事件觸發(fā)條件：

(7)

(8)

假設(shè)3：G是一個包含有向生成樹的平衡圖。

引理2：針對下述非線性隨機微分方程：

dx(t)=φ(x(t))dt+ψ(x(t))dω(t)，

t∈[t0，∞)，x(t0)=x0

(9)

針對基于多率采樣機制下的隨機多智能體系統(tǒng)，提出定理一來解決其均方一致性問題。

定理一：如果隨機多智能體系統(tǒng)滿足假設(shè)1，2和3，并且存在標量α使得

(10)

dy(t)=Mdx(t)=

[Mf(x(t))-αM(L?In)(x(t)+e(t))]dt+

Mg(x(t))dω(t)=

[Mf(x(t))-αM(L?In)y(t)-αM(L?In)e(t)]dt+

Mg(x(t))dω(t)

(11)

選擇Lyapunov函數(shù)如下：

(12)

αyΤ(t)M(L?In)e(t)+

(13)

(14)

(15)

根據(jù)假設(shè)1，可得：

(16)

進一步可得：

-yΤ(t)M[L?In]e(t)=-yΤ(t)[L?In]e(t)=

(17)

-yΤ(t)M[L?In]e(t)=

(18)

-yΤ(t)M[L?In]e(t)≤

(19)

根據(jù)假設(shè)2，可以推出：

trace[gΤ(x(t))MΤMg(x(t))]=

[g(xi(t))-g(xk(t))]}=

(20)

根據(jù)引理一，可得：

(21)

根據(jù)表達式(14)和(16)～(20)，可得：

(22)

最后根據(jù)邊事件觸發(fā)條件，可以推出：

yΤ(t)y(t)≤κV

(23)

注2：當智能體i在時刻t滿足有向邊(i，j)∈E的事件觸發(fā)條件時，智能體i將更新自己控制器的控制輸入信號，并把自身的狀態(tài)信息定向發(fā)送給智能體j。智能體j將在時刻t收集智能體i狀態(tài)信息用于自身的事件觸發(fā)判斷并在下一次智能體j滿足事件觸發(fā)條件時用于控制器的更新。如果邊(i，j)∈E且邊(j，i)∈E，則邊(i，j)∈E是無向的。當在時刻t無向邊(i，j)∈E滿足事件觸發(fā)條件時，智能體i和智能體j將分別收集彼此在時刻t的狀態(tài)信息，并通過無向邊(i，j)∈E相互傳輸其狀態(tài)信息。

注3：雖然智能體i有著多個鄰居，但當智能體i滿足事件觸發(fā)條件即每次控制器更新時，有且僅有一條邊(i，j)∈E會有信息傳輸，所以本文的事件觸發(fā)傳輸方案比傳統(tǒng)的基于節(jié)點的廣播式傳輸方案(在智能體i滿足事件觸發(fā)條件時所有的(i，j)∈E都會發(fā)生信息傳輸)更能節(jié)省通信資源。此外，由于使用零階保持器將離散的控制輸入信號保持為連續(xù)的信號，所以控制輸入僅在智能體的事件觸發(fā)時刻才會發(fā)生變化。因此所設(shè)計的控制方案可以減少控制器的更新頻率，延長控制器的使用壽命。

3 仿真結(jié)果與分析

為了說明所提出的邊事件觸發(fā)機制(5)和(7)可以實現(xiàn)系統(tǒng)的均方一致性以及多率采樣機制可以獲得更好的系統(tǒng)性能，給出以下的數(shù)值仿真例子。在實際中，智能體本身可能具有復(fù)雜多樣的非線性動力學，而復(fù)雜多變的狀態(tài)又會受到不同的干擾。這里選取典型的非線性函數(shù)——正弦函數(shù)作為智能體的動力學模型。

考慮一個包含4個多智能體的隨機多智能體系統(tǒng)，其通訊拓撲圖如圖2所示。每個智能體都根據(jù)不同的邊事件觸發(fā)條件異步地向自己的兩個鄰居智能體發(fā)送信息。

圖2 通訊拓撲結(jié)構(gòu)

由圖2知，系統(tǒng)的鄰接矩陣A和Laplacian矩陣L分別如下：

顯然Laplacian矩陣L滿足假設(shè)3。

將系統(tǒng)固有的非線性函數(shù)選取為：

相應(yīng)的，與狀態(tài)相關(guān)的隨機干擾g(xi(t))選取為：

通過計算，可得到λ2(L)=2。以二維空間為例，4個智能體的初始狀態(tài)(橫向位置狀態(tài)和縱向位置狀態(tài))坐標分別選擇如下：

圖3表示在多率采樣機制和邊事件觸發(fā)機制下系統(tǒng)的狀態(tài)響應(yīng)曲線。智能體的橫向位置狀態(tài)在0.5秒時就已經(jīng)實現(xiàn)了一致性，縱向位置狀態(tài)大致在1.8秒左右實現(xiàn)一致性。圖4表示在異步采樣機制和邊事件觸發(fā)機制下系統(tǒng)的狀態(tài)響應(yīng)曲線。從圖中可以看出，智能體的橫向位置狀態(tài)在1.8秒左右才實現(xiàn)一致性，比多率采樣慢了1.3秒左右，而縱向位置狀態(tài)變化曲線與圖3并無明顯區(qū)別，都是在1.8秒左右實現(xiàn)一致性。圖5表示在同步采樣機制和邊事件觸發(fā)機制下系統(tǒng)的狀態(tài)響應(yīng)曲線。圖中顯示，智能體的橫向位置狀態(tài)在2.2秒實現(xiàn)一致性，比多率采樣慢了1.7秒，比異步采樣慢了0.4秒。而縱向位置狀態(tài)在3秒后才實現(xiàn)一致性，比多率采樣和異步采樣慢了1.2秒。

圖3 多率采樣機制下智能體的運動狀態(tài)軌跡

從曲線的振蕩次數(shù)和衰減速度角度來看，圖3的振蕩次數(shù)最少，衰減速度最快，說明控制更及時，控制效果也更好。圖4比圖3總體來說振蕩次數(shù)更多，衰減更慢，控制效果略差。圖5的振蕩次數(shù)最多，衰減速度最慢，控制效果最差。

結(jié)果表明，不管系統(tǒng)以何種方式采樣，所設(shè)計的邊事件觸發(fā)機制 (5)和(7)都可以保證系統(tǒng)最終實現(xiàn)一致性。但不同的采樣周期對系統(tǒng)的狀態(tài)響應(yīng)很大的影響。在同步采樣下，系統(tǒng)一致性的收斂速度最慢，狀態(tài)響應(yīng)也最差，異步采樣其次，多率采樣最快，并且所表現(xiàn)出的系統(tǒng)性能也最好。

圖4 異步采樣機制下智能體的運動狀態(tài)軌跡

圖5 同步采樣機制下智能體的運動狀態(tài)軌跡

4 結(jié)束語

本文針對具有非線性動力學的隨機多智能體系統(tǒng)研究了一致性控制問題。在對被控對象采集信息時引入了多率采樣機制。通過利用多率采樣的數(shù)據(jù)設(shè)計了基于邊的事件觸發(fā)控制協(xié)議。該協(xié)議避免了智能體之間的同步通信，使得系統(tǒng)可靈活地調(diào)度每條邊上的信息，從而減少了網(wǎng)絡(luò)通信資源。通過李亞普諾夫穩(wěn)定性理論，證明了在所提出的邊事件觸發(fā)機制下，隨機多智能體系統(tǒng)可以指數(shù)地實現(xiàn)均方一致性。此外，通過數(shù)值仿真例子驗證了在所提出的邊事件觸發(fā)機制下，隨機多智能體系統(tǒng)可以很好地實現(xiàn)一致性。并通過比較在多率采樣機制、異步采樣機制和同步采樣機制下系統(tǒng)的狀態(tài)響應(yīng)曲線，分析了不同采樣機制對曲線的震蕩次數(shù)，衰減速度和收斂速度的影響，充分說明在多率采樣機制下，系統(tǒng)會有更好的響應(yīng)。在未來，我們將針對更為一般的或受到網(wǎng)絡(luò)攻擊的隨機多智能體系統(tǒng)研究在多率采樣機制下完全分布式的邊事件觸發(fā)控制協(xié)議，并從理論的角度證明其優(yōu)勢。