吳　垠,　劉忠信,　陳增強,　孫青林

(1.南開大學 計算機與控制工程學院,天津　300071; 2.南開大學 天津市智能機器人技術重點實驗室,天津　300071)

?

迭代學習在多智能體編隊中的控制研究

吳垠1,2,劉忠信1,2,陳增強1,2,孫青林1,2

(1.南開大學 計算機與控制工程學院,天津300071; 2.南開大學 天津市智能機器人技術重點實驗室,天津300071)

摘要：針對具有控制時延的非線性多智能體系統(tǒng)模型,設計了一種能夠實現(xiàn)其穩(wěn)定編隊的迭代學習控制算法.首先,建立單個智能體的動態(tài)特性,根據(jù)多智能體的拓撲連接結構,將多智能體編隊控制問題轉化為跟蹤問題.其次,針對每個智能體設計形式統(tǒng)一的迭代學習控制器,根據(jù)每個智能體不同的動態(tài)特性,選取合適的學習增益矩陣.最后,基于λ范數(shù)理論證明了算法的收斂性.由于該迭代學習控制算法放寬了對迭代初值的限定,使其達到在任意常值初態(tài)條件下的穩(wěn)定控制,從而滿足了各個智能體在初始位置隨機分布時的編隊控制要求.仿真結果證明了文中所給算法的有效性.

關鍵詞：迭代學習控制; 多智能體系統(tǒng); 編隊控制

迭代學習控制方法適用于具有某種重復運動性質的被控對象,它通過系統(tǒng)輸出與給定信號之間的偏差來修正不理想的控制信號[1-5].通過迭代過程改善控制信號并施加到控制系統(tǒng)中,進而不斷提升跟蹤性能直至實現(xiàn)系統(tǒng)零誤差跟蹤為止[6-8].由于迭代學習控制是一種基于模型的控制方法,而被控對象的系統(tǒng)模型及控制器形式往往復雜多樣,這使得迭代學習控制算法存在嚴重依賴于特定系統(tǒng)參數(shù)及初始條件等問題.這些問題正是一直以來迭代學習控制理論研究所要解決的目標[9-11].

近幾年,基于迭代學習控制理論和應用方面取得的成果,越來越多的學者將迭代學習控制方法運用到多智能體系統(tǒng)中[12-16].文獻[12-13]研究了利用迭代學習算法解決線性多智能體系統(tǒng)一致性問題.文獻[14]討論了線性多智能體系統(tǒng)在有擾動及模型不確定性等情況下的編隊控制問題,設計了一種PD型迭代學習律來實現(xiàn)穩(wěn)定編隊.文獻[15]針對非線性系統(tǒng)模型,設計了一種D型學習控制律,實現(xiàn)了多智能體系統(tǒng)在固定拓撲結構下的穩(wěn)定編隊.在此基礎上,文獻[16]采用迭代學習控制方法研究了在切換拓撲結構下實現(xiàn)多智能體編隊控制的問題.

以上關于迭代學習控制在多智能體系統(tǒng)編隊問題中的研究,全部基于各個智能體的初始位置與期望軌跡的初始位置相同這一條件進行,即所有智能體在初始時刻已經(jīng)形成期望編隊.而實際問題中各個智能體的初始位置往往具有隨機性,這使得上述研究的適用范圍具有很大的局限性.多智能體在實際通信過程中,時延現(xiàn)象往往不可避免,而迭代學習控制器中的控制時延會對最終的控制效果產(chǎn)生較大影響[17-20].針對這些問題,本文設計了一種考慮控制時延,且在任意初態(tài)條件下實現(xiàn)多智能體系統(tǒng)穩(wěn)定編隊的迭代學習控制律,對該控制律進行了收斂性證明,并通過仿真研究進一步驗證了該方法的有效性.

1問題描述

設智能體i為領導者,智能體j為跟隨者,考慮具有控制時延的單個智能體(以領導者為例),動態(tài)特性由如下非線性系統(tǒng)描述:

(1)

式中:xi為系統(tǒng)狀態(tài);ui為t時刻的控制輸入;Bi為控制系數(shù)矩陣;θ為控制時滯;yi為系統(tǒng)輸出;Ci為輸出系數(shù)矩陣;fi(xi,t)為未知的非線性函數(shù).跟隨者動態(tài)特性的形式與式(1)相同.

多智能體編隊問題可以看作廣義上的跟蹤問題,可將跟隨者與領導者保持編隊運動的過程理解為跟隨者始終與領導者保持某種特定的位置關系來對領導者的運動軌跡進行跟蹤.在編隊過程中,領導者i始終跟隨給定曲線,跟隨者j始終以某一位置關系跟蹤某一智能體,并將其作為自身的領導者.如圖1所示的多智能體系統(tǒng)拓撲結構中,智能體i作為領導者跟蹤給定直線,智能體j1將智能體i看作是它自身的領導者進行跟蹤,智能體j2將智能體j1看作是它自身的領導者進行跟蹤,以此類推.

圖1多智能體系統(tǒng)拓撲連接結構

Fig.1Topological connection structure of

multi-agent systems

利用迭代學習控制的方法來解決跟蹤控制問題,在迭代過程中,設當前的迭代次數(shù)已進行至第k次,則對于單個智能體i(以領導者為例)在第k次迭代時的動態(tài)特性可由式(1)重新表示為

(2)

式中:時間t∈[0,T];k表示迭代次數(shù)(k=1,2,…,N);控制時滯θ≥0.

(3)

(4)

(5)

比較式(3)和式(5)可知,領導者和跟隨者的動態(tài)特性和系統(tǒng)誤差模型在形式上達到完全統(tǒng)一,這就為后面的統(tǒng)一證明提供了依據(jù).

說明1每個智能體對應的學習控制律具有完全統(tǒng)一的形式.將這些控制律分別施加到各自對應的智能體上,使每個智能體的輸出yk(t)收斂于各自給定的輸出yd(t),即可達到多智能體系統(tǒng)整體實現(xiàn)以期望隊形編隊運動的目的.

2控制器設計與收斂性分析

對所有智能體設計如下PD型學習控制律

式中:時間t∈[-θ,T-θ];Γ與L為學習增益矩陣;k為迭代次數(shù);ek為第k次的迭代誤差.

定義1向量函數(shù)h:[0,T]→n的λ范數(shù)定義為‖‖h(t)‖}(λ>0),式中,‖·‖為n上的一種范數(shù).

定理1在式(6)所示的迭代學習控制律的作用下,若滿足以下條件:a.非線性函數(shù)f(·,·)滿足Lipschitz條件‖f(x1(t),t)-f(x2(t),t)‖≤kf‖x1(t)-x2(t)‖;b.‖I-ΓCB‖≤ρ<1;c.智能體第k次迭代的初態(tài)為一常值x0,即xk(0)=x0;則當k→∞時,有yk(t)一致收斂于yd(t).

證明為統(tǒng)一書寫,記Δuk(t)=ud(t)-uk(t)與Δfd(t)=fd(t)-fk(t),且在t∈[-θ,T-θ]時,有Δuk+1(t)=ud(t)-uk+1(t),那么

式中,I為單位矩陣,對上述等式兩邊取范數(shù),有‖Δuk+1(t)‖≤‖(I-ΓCB)Δuk(t)‖+‖ΓC·(fd(t+θ)-f(t+θ))‖+‖ΓCLΔxk(t+θ)‖,由條件(1),得

‖Δuk+1(t)‖≤‖(I-ΓCB)Δuk(t)‖+

‖ΓCkfΔxk(t+θ)‖+‖ΓCLΔxk(t+θ)‖

‖Δuk+1(t)‖≤ρ‖Δuk(t)‖+

a1‖Δxk(t+θ)‖

(7)

由系統(tǒng)方程及條件c可得

對上式兩邊取范數(shù),并由Lipschitz條件可得

利用引理1可得

‖Δxk(t+θ)‖≤

(8)

將式(8)代入式(7),得

‖Δuk+1(t)‖≤ρ‖Δuk(t)‖+

其中,c=a‖B‖.對上式取λ范數(shù)(λ>kfi),有

‖Δuk+1(t)‖λ≤ρ‖Δuk(t)‖λ+

由引理2可得

‖Δuk+1(t)‖λ≤ρ‖Δuk(t)‖λ+

‖Δxk(t+θ)‖λ≤

說明2作用于每個智能體個體中的PD型學習控制律,雖然形式統(tǒng)一,但針對不同智能體個體時,由于它們的動態(tài)特性并不相同,因此每個控制器的學習增益矩陣并不相同,需要區(qū)別對待.

3仿真研究

選取4個智能體進行編隊控制的仿真研究,智能體1～4的動態(tài)特性依次由以下4組非線性方程確定:

式中:t∈[0,1];控制時滯θ=0.1.

第一次迭代(k=1)的初始控制函數(shù)為

本文對領導者選取3種不同的期望軌跡,分別對多智能體系統(tǒng)進行編隊控制的仿真研究.若在每種期望軌跡條件下多智能體系統(tǒng)均能實現(xiàn)較好的編隊控制效果,則說明該編隊控制算法是有效的.

3.1期望軌跡為直線和拋物線

4個智能體初始位置隨機生成.圖2和圖3給出了在時間間隔為[-θ,T-θ]的范圍內,在經(jīng)過了30次迭代以后(k>30),對各個智能體進行控制的智能體運動軌跡,其中橫、縱坐標均表示距離,單位為m.可以看出在初始位置隨機分布的條件下,領導者的期望軌跡無論是直線還是拋物線,各個智能體最終均能形成較理想的期望編隊效果.圖4和圖5給出了不同期望軌跡下每個智能體輸出狀態(tài)的最大絕對誤差隨迭代次數(shù)的變化情況,由圖4和圖5可以看出經(jīng)過一定次數(shù)的迭代優(yōu)化,各個智能體的跟蹤誤差逐漸趨于0.

3.2期望軌跡為圓

4個智能體初始位置仍然隨機生成.類似地,圖6和圖7分別表示各個智能體的運動軌跡和輸出狀態(tài)的最大絕對誤差.同樣可見,各個智能體在初始位置隨機分布的條件下依然達到期望的編隊隊形,且隨著迭代次數(shù)的增加,每個智能體輸出狀態(tài)的最大絕對誤差均能收斂至0.

從以上仿真結果可以看出,在具有控制時延及初始位置隨機分布的條件下,利用本文設計的迭代學習控制律,可以有效地實現(xiàn)多智能體系統(tǒng)的編隊運動.

圖2　領導者跟蹤直線時各個智能體在迭代

Fig.2Trajectories of multi-agent at 30 iterations when the leader is tracking a straight line

圖3　領導者跟蹤拋物線時各個智能體在迭代

Fig.3Trajectories of multi-agent at 30 iterations when the leader is tracking a parabola

圖4　領導者跟蹤直線時各個智能體輸出狀態(tài)的

Fig.4Changes in maximun absolute error of the output

state of each agent along with the iteration times

when the leader is tracking a straight line

圖5　領導者跟蹤拋物線時各個智能體輸出狀態(tài)的

Fig.5Changes in maximun absolute error of the output state of each agent along with the iteration times when the leader is tracking a parabola

圖6　領導者跟蹤圓時各個智能體在迭代

Fig.6Trajectories of multi-agent at 30 iterations when the leader is tracking a circle

圖7　領導者跟蹤圓時各個智能體輸出狀態(tài)的

Fig.7Changes in maximun absolute error of the output state of each agent along with the iteration times when the leader is tracking a circle

4結束語

多智能體系統(tǒng)在通信過程中,時延現(xiàn)象往往不可避免.本文設計了一種考慮控制時延條件下實現(xiàn)多智能體編隊控制的分布式迭代學習控制算法,并給出了該算法的收斂性證明.由于在算法設計的過程中放寬了對迭代初態(tài)的限定要求,使初態(tài)不必依賴于期望路徑且可選取任意固定值,因此極大降低了對智能體初始位置的限定,這使本算法在應對實際應用問題時更具有普遍性和一般性.仿真研究進一步驗證了本算法的有效性.

參考文獻：

[1]Chen Y,Wen C,Gong Z,et al.An iterative leaning controller with initial state learning[J].IEEE Transactions on Automatic Control,1999,44(2):371-376.

[2]李仁俊,韓正之.迭代學習控制綜述[J].控制與決策,2005,20(9):961-966.

[3]章國慶,蘇文悌,石超峰.求解單調變分不等式的一類迭代算法[J].上海理工大學學報,2004,26(1):7-10.

[4]Bristow D A,Tharayil M,Alleyne A G.A survey of iterative learning control[J].IEEE Control Systems,2006,26(3):96-114.

[5]Ahn H S,Chen Y Q,Moore K L.Iterative learning control:brief survey and categorization[J].IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews,2007,37(6):1099-1121.

[6]孫明軒,黃寶健.迭代學習控制[M].北京:國防工業(yè)出版社,1999.

[7]Butcher M,Karimi A,Longchamp R.A statistical analysis of certain iterative learning control algorithms[J].International Journal of Control,2008,81(1):156-166.

[8]Xu J X.A survey on iterative learning control for nonlinear systems[J].International Journal of Control,2011,84(7):1275-1294.

[9]Lee J H,Lee K S.Iterative learning control applied to batch processes:an overview[J].Control Engineering Practice,2007,15(10):1306-1318.

[10]Amann N,Owens D H,Rogers E.Predictive optimal iterative learning control[J].International Journal of Control,1998,69(2):203-226.

[11]Gunnarsson S,Norrl?f M.On the design of ILC algorithm using optimization[J].Automatica,2001,37(12):2011-2016.

[12]伍巧鳳,劉山.初始誤差修正的多智能體一致性迭代學習控制[J].計算機工程與應用,2014,50(1):29-35.

[13]Li J S,Li J M.Consensus seeking in multi-agent systems by the iterative learning control[J].Control Theory & Applications,2012,29(8):1073-1077.

[14]Meng D Y,Jia Y M.Formation control for multi-agent systems through an iterative learning design approach[J].International Journal of Robust and Nonlinear Control,2014,24(2):340-361.

[15]Ahn H S,Chen Y Q.Iterative learning control for multi-agent formation[C]∥Proceedings of the ICROS-SICE International Joint Conference,Fukuoka:IEEE,2009.

[16]Liu Y,Jia Y M.An iterative learning approach to formation control of multi-agent systems[J].Systems & Control Letters,2012,61(1):148-154.

[17]Liu S,Xie L H,Lewis F L.Synchronization of multi-agent systems with delayed control input in formation from neighbors[J].Automatica,2011,47(10):2152-2164.

[18]Olfati-Saber R,Murray R M.Consensus problems in networks of agents with switching topology and time-delays[J].IEEE Transactions on Automatic Control,2004,49(9):1520-1533.

[19]唐衛(wèi)寧,徐福緣.基于智能體的大批量定制體系結構及協(xié)同方法[J].上海理工大學學報,2007,29(5):423-428.

[20]Sun Y G,Wang L.Consensus of multi-agent systems in directed networks with nonuniform time-varying delays[J].IEEE Transactions on Automatic Control,2009,54(7):1607-1613.

(編輯:丁紅藝)

Multi-agent Formation in the Iterative Learning Control

WU Yin1,2,LIU Zhongxin1,2,CHEN Zengqiang1,2,SUN Qinlin1,2

(1.College of Computer and Control Engineering,Nankai University,Tianjin 300071,China;2.Tianjin Key Laboratory of Intelligent Robot Technology,Nankai University,Tianjin 300071,China)

Abstract：For the nonlinear multi-agent systems with delay,an iterative learning control law was designed in order to achieve the stable formation of multi-agent systems.The dynamic characteristics of a single agent were established,and the problem of formation control of multi-agent was transformed into a tracking problem according to the topology structure of multi-agent.A unified iterative learning controller was designed for each agent.According to the different dynamic characteristics of each agent,a suitable learning gain matrix was selected.Then the convergence of the proposed iterative learning law was proved based on the λ norm theory.Due to the relaxation of initial value in the iterative learning control algorithm,the stability of the control can be achieved in any constant initial condition.The algorithm proposed can meet the formation control requirement for each agent having random initial position.Finally,the simulation results were given to illustrate the effectiveness of the proposed method.

Keywords：iterative learning control; multi-agent system; formation control

中圖分類號：TP 273

文獻標志碼：A

通信作者：劉忠信(1975-),男,教授.研究方向:多智能體系統(tǒng)、復雜動態(tài)網(wǎng)絡、計算機控制與管理.

基金項目：國家自然科學基金資助項目(61273138,61573200);天津市自然科學基金資助項目(13JCYBJC17400,14JCYBJC18700,14JCZDJC39300)

收稿日期：2014-12-23

DOI：10.13255/j.cnki.jusst.2016.01.015

文章編號：1007-6735(2016)01-0087-06

第一作者： 吳垠(1989-),男,碩士研究生.研究方向:多智能體系統(tǒng)與控制.E-mail:973704278@qq.com

E-mail:lzhx@nankai.edu.cn