多智能體編隊問題的研究

高熾揚　湯雅婷　徐海波

【摘要】? ? 無人機或無人車等裝備是軍工領域中常見的現代作戰裝備之一。然而在很多作戰環境下單一的無人作戰裝備難以完成復雜的軍事任務，因此提出了多智能體協同作戰的理念。多智能體在執行任務時往往需要實現不同的預設編隊，進而實現避障、減小雷達反射截面積等任務，因此多智能體編隊控制問題便成為需要解決的核心問題。多智能體編隊控制問題有固定編隊及時變編隊等問題，時變編隊顯然更具有實際的工程意義。多智能體編隊分布式控制算法可以有效解決上述問題。本文對基于二階積分器模型的多智能體系統進行研究，通過設計分布式控制器實現了對多智能體時變編隊的控制，并利用數值仿真驗證了控制器的有效性。

【關鍵詞】? ? 多智能體;時變編隊? ? 分布式? ? 無人武器裝備

Abstract： Equipment such as unmanned aerial vehicles or unmanned vehicles is one of the common modern combat equipment in the military industry. However， in many combat environments， it is difficult for a single unmanned combat equipment to complete complex military tasks， so the concept of multi-agent cooperative combat is proposed. Multi-agents often need to implement different preset formations when performing tasks， so as to achieve obstacle avoidance， reduce radar reflection cross-sectional area and other tasks， so the multi-agent formation control problem has become a core problem that needs to be solved. Multi-agent formation control problems include fixed formations and time-varying formations. Time-varying formations obviously have more practical engineering significance. The distributed control algorithm of multi-agent formation can effectively solve the above problems. This paper studies the multi-agent system based on the second-order integrator model. By designing a distributed controller， the control of the time-varying formation of multi-agents is realized， and the effectiveness of the controller is verified by numerical simulation.

Key Words： Multi-agents;time-varying formation;distributed;Unmanned weaponry;

引言：

多智能體的協同在很多工程中具有廣泛應用背景，如區域搜索、戰場環境偵察、多戰機協同作戰、艦隊協同作戰、導彈突防、目標多點跟蹤等[1]。在執行不同的任務時，需要依據不同的場景實現不同的編隊形態，既能夠實現既定任務，又能夠保證協同作戰時的靈活性。因此，對于多智能體的編隊問題研究對于多智能體協同執行任務是有較大的意義的。多智能體編隊問題包括固定編隊控制和時變編隊控制，其中固定編隊控制是時變編隊控制的特例。由于在實際問題中多智能體編隊往往需要針對不同的任務場景采用不同的編隊形式，如導彈突防時多智能體需要采用間距較小的編隊形式，而在巡航階段需要采用間距較大的編隊形式，所以可以看出多智能體的時變編隊研究具有更高的實用意義。基于上述的多智能體時變編隊的優點，本文重點研究多智能體時變編隊的控制問題。

一、多智能體編隊控制的現狀和當前存在的問題

針對多智能體編隊的研究，目前對于固定編隊的研究方法較為成熟，且研究成果較多。比較常見的一種方法是基于人工勢場方法的編隊保持策略，即系統建立多智能體之間的人工勢場，通過感知勢場梯度的變化來給單個智能體的控制器一個控制量，進而給出單個智能體的運動方向和運動速度。該方法要求多智能體系統之間具有通信能力，至少應該保證系統的通信拓撲能夠生成一個以圖論語言描述的有向生成樹。簡單來說就是任何一個智能體的狀態信息發生變化時都可以通過通信網絡將信息傳遞至整個多智能體網絡。該方法被廣泛的應用于“領導-跟隨者”、“虛擬領航者”以及智能體避碰、避障等編隊問題研究[2]。

但是人工勢場法的建模方式過于理想，在實際場景中很難建立起較為理想的人工勢場來實現多智能體編隊，因此基于人工勢場法的多智能體編隊問題研究很難在實際工程中得到應用。因此目前的多智能體編隊研究問題多數已經不再使用人工勢場方法，而是基于成熟的傳感器來對智能體之間的通信進行描述，進而建立起多智能體編隊控制的控制模型。如基于圖像傳感器和雷達測距的數學模型建立，以及考慮極端條件下，難以直接獲取全部狀態參數時，引入狀態觀測器的方法來實現數學模型的建立等方法。上述方法具有較高的使用價值，是當前研究的熱點。但基于圖論和一致性等理論的分布式多智能體控制研究還是基于固定編隊為研究目標的較多，對于更有軍事實用意義的時變編隊研究還有很多的問題。

1.1研究背景及意義

目前基于一階積分器模型的多智能體時變編隊控制的研究成果較多，但是一階積分器模型在實際的工程應用中難以直接得到應用。二階積分器模型能夠更加接近實際的描述多智能體的動力學模型，但現有的基于一階積分器模型設計的時變編隊控制器難以直接擴展為二階積分器模型的時變編隊控制器。此外，在實際的系統中，往往采用分布式計算方法，系統中沒有進行集中解算的主機。這是因為單個智能體有可能會出現故障，若是主機出現問題會給整個系統的通信造成影響，導致整個編隊失控，因此采用分布式計算的多智能體編隊的魯棒性要更加優秀。多智能體時變編隊具有更廣的工程應用背景，因此，本文以具有實用意義的二階積分器模型的多智能體時變編隊為研究目標，以圖論為理論基礎對多智能體之間的通訊進行描述，研究多智能體時變編隊的收斂性問題。

多智能體編隊在實際的場景下，往往需要對期望的軌跡進行跟蹤以實現任務目標。分布式計算式的多智能體時變編隊控制對于提高智能體對期望軌跡的跟蹤精度，具有較高的研究價值。

1.2預備知識與問題描述

1.2.1圖論基礎概念

令G={V，E，W}表示包含N個節點的帶權重有向圖，其中V={v1，v2，…，vN}表示圖中節點集，每個點代表一個智能體。E={（vi，vj）：vi，vj∈V，i≠j}表示圖中的邊的集合，W=[wij]∈RN×N表示圖的鄰接矩陣，將eij=（vi，vj）記為圖G的邊。鄰接矩陣中的變量W是非負的，也就是說，對于任意的i，j∈{1，2，…，N}，當且僅當eij∈E時wji>0，否則wji=0。令Ni={vj∈V：eji∈E}為vi的相鄰節點集。將D=diag{degin（vi），i=1，2，…，N}定義為G的階次矩陣。圖G的拉普拉斯矩陣可以定義為L=D-W。對于圖G，存在有向生成樹意味著信息可以傳遞至圖中的任意節點[3]。

1.2.2問題描述

考慮一個由N個智能體組成的二階群智能系統，系統的動力學模型為：

其中 ，分別代表智能體 的位置狀態，速度狀態和控制輸入量， 與均為已知的常數。N個智能體之間的通信拓撲可以用圖論的知識來進行描述。既當智能體i與j之間的通信用圖的邊eij的取值來進行描述，也就是當智能體之間無通訊時eij=0，有通訊時eij≠0，在本問題中不將邊的權值作為考慮因素，因此當有通訊時eij=1，此時鄰接矩陣中對應位置上的元素為1。由此可知，鄰接矩陣中的元素均是由0或1構成。

為了描述上述二階系統多智能體的編隊形狀，這里引入 等參量，其中 為分段連續的可微向量。令 ，該向量用于表征智能體相對編隊形狀某一個參考點的偏移量。

由上述的條件與假設，可以得到以下數學模型：

其中，用于表征編隊在空間中的位置，可以看作是編隊形狀參考點的位置，當發生變化時編隊整體會在空間中發生移動，這期間會伴隨著編隊形狀的變化，這也是時變編隊在宏觀上的最直觀體現。由式（2）可知，若編隊能夠收斂到期望形狀，則之間的殘差應能隨著時間的推進逐漸收斂至0。這也成為式（1）中的控制器的設計依據，既通過設計合適的控制器輸入可以使得多智能體編隊收斂至期望形狀和位置。

圖 1說明了由上述變量描述的時變編隊，以由4個智能體組成的多智能體系統為例， 為編隊在空間中的位置表征量， 是以為基準的編隊形狀表征量， 為二者之差。當編隊是固定的時候為常數，而對于時變編隊為一個變量。因此為了實現對時變編隊隊形的跟蹤，需要式（2）所示的條件來保證隊形的收斂。

此外，本文中所有的問題均可以通過矩陣的克洛內克積運算擴展至高維問題，為了簡化問題的描述，這里不再考慮更高維度的情況。

二、多智能體時變編隊控制器

基于上述的理論基礎，可以知道我們需要基于（1）式設計一個分布式控制器來實現（2）式中的收斂條件。實際的多智能體系統中，智能體之間的相鄰通信節點往往是變化的，因此，考慮基于變化通信拓撲圖的分布式控制器如下：

式中 為常數增益矩陣，實際計算中會對其進行定義。令 。由于式（3）為控制器的定義表達式，為了實現與系統維度的匹配，進行克洛內科積矩陣乘法，系統的維度匹配后將（3）帶入（1）中可以得到此時系統整體的表達式為：

在（3）中的控制器條件下，系統的狀態空間方程如（4）所示，式中的表示克洛內科積，不對狀態轉換產生影響，只起到維度匹配的作用。在上述的分布式控制器作用下，多智能體可以實現時變編隊的跟蹤控制。

三、結果

為了驗證上述控制器對時變編隊的控制效果，對（1）式中的多智能體動力學系統進行建模并進行數值仿真計算，觀察仿真條件下多智能體系統對指定時變編隊隊形的跟蹤情況。以Matlab為仿真環境進行建模與計算[4]，并將計算結果可視化輸出。在進行數值計算之前先對計算所需的參量以及前提條件進行定義。

考慮在平面坐標系（XY坐標系）下，由8個智能體組成的多智能體系統。每個智能體的動力學模型都可以由式（1）來描述，其中。每個智能體裝備的距離探測器的極限探測距離為12，智能體的最大運動速度為40。

3.1通信拓撲圖

由于計算中考慮智能體之間的通信不是固定的通訊模式，因此考慮設定三種隨機的通信拓撲，在編隊過程中隨機進行切換，驗證在此狀態下多智能體系統是否能夠收斂到期望隊形。設定的三種通信拓撲圖如圖2所示

3.2編隊隊形

編隊在空間中處于時變運動狀態，無人機中較為常見的是一種圍繞形狀中心進行旋轉運動的環航編隊。該隊形運動狀態較為簡單，容易實現，并且能夠驗證多智能體系統時變編隊控制器的控制效果。由表征的環航時變編隊隊形由式（5）所示。

3.3仿真計算與結果分析

動力學方程、控制器以及編隊參數給定后，開始進行數值仿真計算。計算中智能體的初始位置隨機生成，觀察最終是否能收斂到指定的編隊形狀。

仿真結果如圖3～圖4所示，圖3表示式（3）的控制器能夠對期望編隊形狀與軌跡進行跟蹤。智能體隨機生成的位置是在坐標系中的一個較小范圍內的區域中，而隨著迭代進行，智能體能夠迅速對期望軌跡進行跟蹤，圖3表示智能體能夠實現時變編隊的指定形狀，但是實際形狀與期望形狀的編隊中心并不重合，有一定的誤差，但總體上實現了對期望編隊形狀的跟蹤。

四、總結與展望

4.1本文所做工作的總結

本文對二階積分器模型多智能體系統的時變編隊問題進行研究，依靠設計的分布式計算控制器對多智能體進行控制，實現了多智能體對動態時變期望編隊軌跡和形狀的跟蹤。文中考慮了通信拓撲隨機變化的狀態下多智能體系統編隊的收斂性，同時由于是基于更有實用意義的二階系統，因此該方法更容易推廣至實際的場景當中。文中最后對一個含有8個智能體的系統進行了數值仿真，驗證了多智能體系統對期望編隊形狀的跟蹤性，表明該控制器的有效性。

4.2存在的不足

根據最終的仿真結果可知，多智能體編隊雖然能夠實現期望的編隊形狀，但是對期望隊形的位置跟蹤誤差較大，反映了控制器的不足。因此在后續的工作中仍需對控制器進行改進以實現編隊形狀和位置的跟蹤，并盡量減小跟蹤誤差。此外，理論部分做了很多的理想化假設，例如并未考慮外界干擾的影響，通訊拓撲的可能情況考慮并不特別充分等問題。最后，實際的系統多為非線性系統，而這里只考慮了二階積分器模型，該模型為線性系統，針對非線性系統的控制器設計要更加復雜，也更具有實際工程意義。上述問題都是本文可以進行改進的方向，可以作為后續工作的切入點。

參? 考? 文? 獻

[1]YU J， DONG X， LI Q， et al. Cooperative integrated practical time-varying formation tracking and control for multiple missiles system[J]. Aerospace Science and Technology， 2019，93： 105300.

[2]陳杰等. 多智能體系統的協同群集運動控制[M]. 科學出版社， 2017.

[3]等 美. 哈拉里 F. HARARY. 圖論[M]. 上海科學技術出版社， 1980.

[4]陳杰等. MATLAB寶典[M]. 電子工業出版社， 2011.