多智能體系統的隊形控制方法及應用綜述

禹鑫，何燕琳，歐林林，程 誠

(浙江工業大學 信息工程學院，杭州 310023)

多智能體系統的隊形控制方法及應用綜述

(浙江工業大學 信息工程學院，杭州 310023)

多智能體系統隊形控制的研究主要集中于隊形形成、隊形保持和隊形變換3個方面；首先，介紹、分析了多種隊形控制方法，包括軌跡跟蹤法、行動選擇法、假想剛體法、網絡關系圖分析法、動態編隊法、虛擬勢場法、學習控制法和混合控制法等；其次，對移動機器人、無人機、水下機器人等多智能體系統的隊形控制應用進行研究；然后，給出了近年來多智能體系統隊形控制的研究進展，包括基于復Laplacian矩陣的多維空間隊形控制方法，其它領域技術(云計算、圖像處理等)用于隊形控制的研究成果，并對基于隊形控制的多移動機器人和無人機搬運作了介紹；最后，給出了當前隊形控制研究中尚未解決的問題，包括隊形擴展，隊形穩定性，通信、傳感器功能，異構多智能體系統隊形控制和機械臂編隊等。

隊形控制；多智能體系統；編隊應用

0 引言

隨著社會生產的發展和科學技術的創新升級，越來越多的任務正從由人類完成轉變到通過智能體來完成。隨著任務復雜度的提高，對單智能體的要求也越來越高，出現了單智能體很難或是無法完成給定任務的情況，人們開始對多智能體系統進行研究。多智能體系統“是由多個智能體組成的集合，智能體之間以及智能體與環境之間通過通訊、協商與協作來共同完成單個智能體所不能解決的問題”[1]。多智能體系統有很多優勢，如提高完成任務的效率，較大的冗余，更好的容錯性、魯棒性、經濟效益等等，因此多智能體系統的規劃、協調和競爭等研究在控制領域和人工智能領域獲得了廣泛的關注[2-4]。在較多任務中，需要多智能體在運動和完成任務時保持一定的隊形，這樣不僅能夠充分獲取周邊環境信息，還能提高工作效率，增強系統的魯棒性，因此多智能體的隊形控制研究受到了多方面的關注。

隊形控制指“多個智能體組成的團體在向特定目標或方向運動過程中，相互之間保持預定的幾何形態(即隊形)，同時又要適應環境約束(例如避開障礙物)的控制問題”[5]。近十幾年來，國內外在隊形控制方面進行了大量的研究，研究內容主要集中在以下3個方面：第一是隊形形成，主要研究多智能體如何自主形成目標隊形的問題；第二是隊形保持，研究多智能體實現隊形后，在運動和作業時保持隊形不變的問題；第三是隊形變換，研究多智能體從一種隊形轉換到另一種隊形的問題，包括主動變換和被動變換兩種方式，主動變換往往是由于任務要求，需要多智能體變換成另一種隊形從而能夠完成或是更好的完成任務，被動變換一般是由環境造成的，使得多智能體不得不做出隊形變換，此時的隊形變換主要是為了躲避障礙物以便多智能體能夠順利進行任務。

隊形控制的應用十分廣泛，在工業、軍事、航空等領域擁有很好的前景。在工業制造中，例如通過多智能體系統進行大型物體或是危險物品的搬運，對多智能體的隊形位置有一定的要求，需要實現搬運過程中負載平衡，避免出現某一智能體承受過多負載的情況，同時還提高了效率，保障人類安全。在軍事領域，自古排兵布陣是很有學問的，在現代軍事裝備下，通過保持合理合適的隊形，可以做到攻守兼備，大大提高了軍事實力；在危險、惡劣環境下，通過智能體代替士兵的方式，進行諸如探索未知環境、排雷、巡邏、偵察等任務，能夠最大程度的保證人員安全，同時完成任務。在航天領域，航天器如地球衛星等在一定程度上可以看成是智能體，因此航天器的編隊也是屬于多智能體編隊領域，通過將衛星、探測器等航天器進行編隊探索宇宙，不僅能降低成本，提高系統的可靠性，還可以完成許多單個航天器無法實現的任務。在某些特殊情況下，可以進行地震或是水災后的營救、物資發放。民用上可以進行農作物的播種、播撒(農藥)、收割。因此，對多智能體系統隊形控制的研究在多智能體控制領域得到了廣泛的關注。

1 國內外研究現狀

隨著在工業領域中計算機技術，人工智能技術，自動化控制技術的飛速發展，多智能體系統的隊形控制已經成為國內外的熱點前沿研究領域，每年在國內外主流學術期刊以及重要國際、國內控制會議上都有許多關于多智能體系統隊形控制的文獻出版。近幾年提出的主要編隊方法有軌跡跟蹤法，行動選擇法，假想剛體法，網絡關系圖分析法，動態編隊法等。

關于不同編隊方法的國內外研究現狀將分別加以詳細闡述。

1.1 軌跡跟蹤法

軌跡跟蹤法是一種由領航智能體和跟隨智能體組成的編隊方法，領航者采用直接指定的方式，需完成跟蹤給定軌跡的任務，余下的智能體作為跟隨者跟蹤領航機器人軌跡，同時與領航者之間保持相對位置或是保持一定的距離[6]。該方法將隊形控制的問題轉換成軌跡跟蹤的問題，主要研究距離和角度的相對誤差，與控制理論知識的誤差概念相近，因此也可以用控制理論的知識來研究該方法。

Kumar教授是較早對軌跡跟蹤法進行研究的人員，對這種方法的主要工作包括：提出了l-φ和l-l兩種跟蹤領航者軌跡的經典編隊模式，提出輸入輸出線性化方法[7]，之后在l-φ和l-l兩種模式基礎上實現了任意隊形切換[8-9]。除了以上兩種策略實現軌跡跟蹤法的編隊，還有其它的控制策略能夠實現編隊，包括基于李雅普諾夫直接法的運動控制方法[10]，轉換策略[11]等等。其他研究人員也對這種方法進行了研究。Soorki等[12]將Kumar提出的兩種編隊模式結合，提出了l-l-φ的編隊方式，利用反饋線性化分析方法，對相對于領航者的跟隨者進行了相對距離和方向角穩定性分析，針對機器人的一階和二階運動學模型設計了隊形控制器，同時將障礙物作為一個虛擬領航者，提出了快速避障的方法；Peng等[13]采用了軌跡跟蹤法的思想研究編隊問題，通過簡單的輸入輸出線性方法推導出4個控制律研究了編隊問題；Wu等人[14]研究了基于跟隨領航動力學模型的編隊問題，采用線性化方法設計了速度控制器，將隊形控制問題轉換成追蹤問題實現編隊；Guo等[15]給出了雙領航者的控制策略，規定只有領航者知道行進路線，其余每個智能體有且只有兩個鄰居智能體并組成三角形隊形，對三角形的組成規則進行了約束，構成了串級連接，能夠用于大規模編隊；日本學者Choi等[16]考慮到實際環境和噪聲會對傳感器數據產生影響，導致隊形不穩定，因此對軌跡跟蹤編隊控制下的多智能體系統隊形進行了PID控制算法的研究，提高了隊形的穩定性。

軌跡跟蹤法只需要給定領航者的行進路線，就能夠控制所有智能體形成隊形，不需要進行復雜的數學分析。此外，該方法能夠進行擴展，即通過指定多個多級領航者形成大規模的隊形，但隊形的主領航者只有一個，其余領航者根據上下級關系保持跟蹤上一級的隊形領航者，其余跟隨者按照隊形要求跟蹤各個次級領航者，從而實現規模擴展。這種方法也有缺點：整個隊形依賴領航智能體[17-19]，隊形沒有反饋機制。研究人員提出了一些解決辦法。針對領航者出現故障的情況，最直接有效的解決方法是更換領航者。曹志強等人[20]就對“Leader更換”的方法進行了研究，即當領航智能體無法繼續執行任務時，按設定的規則從余下智能體中選出新的領航者繼續執行接下去的任務，解決了領航智能體出現故障時隊形控制的問題；針對缺乏反饋機制的問題，Kumar等人采用反饋線性化技術克服了該缺點[7]，并以智能體之間不同的拓撲位置關系作為依據，設計了適合不同情況的3種控制器[11-21]。

1.2 行動選擇法

行動選擇法很早就被用于計算機仿真，研究動物的行動，如鳥類、魚類的聚集行動。Balch和Arkin首次將行動選擇法運用到多智能體隊形控制領域，設計了一系列基本行動，實現多智能體系統編隊、避障并最終到達目標點[22]。行動選擇法“主要是通過對智能體基本行動以及局部控制規則的設計使得智能體群體產生所需的整體行動”[23]。該方法的核心是行動和行動選擇，因此如何定義行動和行動選擇機制十分重要。行動往往是一些簡單的基本動作，主要包括了避碰、避障和保持隊形等等，且都有各自的觸發條件和實現目標，“當智能體傳感器接收到外界環境刺激后，根據傳感器的輸入信息做出反應，并輸出反應向量作為該行動的期望反應(如方向和運動速度)”[5]。

對行動的設計可以根據已知任務中可能會遇到的情況進行設計，同時考慮智能體是否能夠執行該行動。相比行動設計問題，行動選擇機制的研究更有意義，行動選擇機制目前主要有3種[[22，24]：第一種是行動抑制法，基本思想是對行動按照規則制定優先級，雖然各個行動之間是相互獨立的，但是在編隊和運動過程中，行動之間會發生時間上的沖突，如當智能體向目標前進的過程中遇到了障礙物，此時的智能體最應該采取的是避障行動，但當前執行的是向目標前進的行動，為了解決這樣的沖突，可以通過設定優先級解決沖突問題，即高優先級的行動抑制低優先級的行動。第二種是加權平均法，行動抑制法用數學語言描述就是行動權值大小的問題，但是只有兩種權值0和1，因此有可能會造成控制不平滑，加權平均法是將各個行動的輸出向量乘以一定的權重求出矢量和，其權值的大小對應行動的重要性，經正則化后作為智能體的輸出，是在充分考慮行動的重要性后再進行的行動選擇，可以得到較好的結果。第3種是模糊邏輯法，該方法本質是加權平均法的變形，根據具體情況確定權值的大小，按照模糊規則綜合各個行動的輸出，從而確定智能體的輸出。

行動選擇法中，智能體的最終行動取決于基本行動，基本行動的選擇依賴于其它智能體的信息，因此隊形具有明確的反饋機制；當多智能體系統需要對多個競爭性目標進行整合時，只需通過制定的規則選擇行動和權重，就能夠快速得出控制策略；從本質上來說，這是一種分布式的控制方法，可以進行規模擴展。該方法的主要缺點在于行動難以量化，很難從數學上進行性質(如穩定性)分析。

1.3 假想剛體法

Tan和Lewis[25]是最早提出假想剛體法的，當時是為了解決多智能體系統協作的問題，該方法的基本思想是，將整個隊形作為一個假想的剛性結構體進行研究。剛體在空間中運動時，其上面每一點的位置雖然都在變化，但是點與點之間的相對位置是保持不變的，如果將這些點看作是智能體，那么當這樣的剛體運動時，智能體在剛體作為參考的坐標系下的坐標是不變的，即多智能體系統能夠組成具有一定幾何形狀的隊形并且保持不變，這些智能體共同形成了一個假想的剛性結構，這樣的結構稱為假想結構。

假想剛體法進行編隊的本質是智能體跟蹤剛體上對應的期望點，每個智能體的期望點可以通過對目標隊形的分析計算得到，將編隊的問題轉換成了跟蹤的問題，但又不同于軌跡跟蹤法的跟隨者跟蹤領航者軌跡的跟蹤，假想剛體法的跟蹤是各個智能體跟蹤通過隊形分析得到的相應的軌跡，此外，軌跡的獲取需要其余智能體的信息，因此具有反饋機制。有學者就是將編隊問題轉換成跟蹤問題，以假想剛體法分析計算得到智能體期望點的路徑，采用反步法技術，設計了非線性控制算法進行隊形控制[26]。當機器人規模擴大時該怎樣進行編隊呢？Jian等[27]先以多智能體系統的空間分布將智能體分成多個群集，然后對每個群集的運動軌跡進行規定，并設計了基于狀態反饋的控制率用于在限定時間內穩定轉向角度誤差和位置誤差。Ren等[28]采用這種方法研究隊形的精確控制，提高系統性能同時保證了系統的穩定性。

假想剛體法容易描述整體行為，具有隊形反饋機制和較高的控制精度，但在實際應用中，反饋機制和高精度控制都需要高通信質量和高計算能力作為代價。

1.4 網絡關系圖分析法

Desai等人是較早采用關系圖對隊形控制進行分析的研究人員，在文獻[8]中采用有向關系圖來表示編隊問題中多智能體系統的拓撲關系，并對隊形變化問題進行了研究。之后，Desai及其團隊將智能體間的控制關系圖用有向無環關系圖進行描述，并設計了控制策略，以枚舉所有可能情況的方式實現任意隊形切換[9]。Wang等人[29]研究了基于有向和切換拓撲的線性隊形控制方法。Lafferriere等人[30]使用代數圖知識對隊形的穩定性進行分析，智能體之間的信息交換通過預先設定的(無向)通信關系圖G進行，僅僅以通信獲得的關于智能體狀態的相對信息作為反饋控制，證明了只要通信關系圖G一直是連通的，則線性穩定反饋就一直存在，此外還對編隊收斂速率受到通信圖G的李雅普諾夫最小正根的大小的控制進行說明。Azuma等人[31]采用假想剛體法進行編隊，重點研究了隊形的網絡結構，結合剛性圖的知識，提出了只要網絡關系結構是剛性的，那么隊形控制就具有容錯能力以應對智能體失聯的情況。王祥科等人對關系圖分析法的編隊方法進行了較為詳細的總結：基于關系圖進行多智能體系統隊形設計及隊形控制策略設計；“代數圖論借助線性代數理論研究圖的表示、變換和性質等”；剛性圖用來研究隊形變換的問題[32]。

網絡關系圖分析法的數學屬性使得該方法在數學分析上很有優勢，也可用于分析大規模的編隊問題，如利用數學知識可以進行隊形穩定性、收斂性等性質的研究，但分析過于理想化，實際中碰到的問題較難用數學語言表示。

1.5 動態編隊法

對編隊控制的研究，大多數的研究前提是在已知環境、靜態環境、同構智能體等條件下，研究的編隊控制問題集中在形成隊形和隊形保持上，但實際環境復雜多變，更有可能發生突發狀況，如對未知環境的搜索，地形復雜，障礙物也可能是動態的，隊形控制的研究成果很難有較好的實際效果，因此，如何才能讓編隊更好的適應變化的環境引起了研究人員的思考，動態編隊得到發展。對動態編隊很難進行定義，但進行研究的目的是為了控制編隊能夠更好的適應復雜的環境，積極應對環境的變化。

日本學者Kohata、Yamaguchi等人較早研究動態編隊，主要是為了解決實際的多智能體系統搬運問題，他們選擇在FAMOUS和CFS系統的基礎上進行改進，根據當時通過傳感器等獲得的環境信息，動態改變智能體的控制模塊，以重新分配智能體角色的方式進行隊形切換，實現動態編隊[33-34]。楊麗等人以環境信息作為約束條件，“提出了一種在不確定環境下對多智能體系統進行動態編隊的控制方法，解決了輸入輸出反饋線性化方法中因離軸點造成的問題，實現了包括線性隊形在內的隊形控制，并將復雜的編隊問題分解成若干組兩個智能體之間的協調問題，通過建立隊形、保持隊型、編隊避障保持智能體之間的指定相對信息，躲避在行進中可能出現的障礙物”[35]。張瑞雷等人[36]將環境條件設計成更貼近實際的三維地形，研究了異構多智能體系統在該環境條件下的混合動態編隊，利用反步法和李雅普諾夫函數對構建的軌跡跟蹤系統模型進行軌跡跟蹤器的設計，實現了不同運動學模型智能體的混合動態編隊控制。Li等人[37-38]結合圖論知識，利用動態交互拓撲研究了編隊問題，采用了基于帶魯棒性的自適應神經網絡控制的局部控制方法，通過動態選擇編隊方式實現動態編隊，不僅實現編隊任務，同時還能躲避障礙物，適應不同環境。Hou等人[39]將所有智能體限制在一定的幾何圖形內，以幾何圖形的方式運動，提出了一種動態區域編隊控制方法，不僅能夠按比例將圖形變大或縮小實現避障，還能夠在運動中改變幾何圖形以適應變化的環境。Ballard及其團隊[40]探索實施了一種新的分布式策略進行動態變換隊形控制，目的是為了智能體能夠適應隊形的形狀和大小，此外在加入新的智能體之后，原有的形狀也不發生改變。學者Low[41-42]以假想剛體法為基礎，結合軌跡跟蹤控制系統，對多智能體系統的隊形控制進行了研究，實現動態編隊控制。

1.6 其它隊形控制方法

國內外學者還提出了虛擬勢場法、學習控制法、混合控制法等隊形控制方法。

(1)虛擬勢場法。該方法來源于物理學中的電子在電場中運動，是Khatib在1986年提出的[43]，其基本思想是假定智能體在一個虛擬的力場中運動，目標點產生吸引力，力的大小隨著與智能體距離的減少而減小，障礙物產生排斥力，力的大小隨著與智能體距離的減少而增加，吸引力、排斥力用勢場函數描述，在這兩種力的合力作用下，智能體將沿著最小勢能方向運動。Song等人[44]提出了一種基于勢函數的有效實現護衛隊形和避障的控制算法，根據任務要求的不同，設計了3種勢函數，并在此基礎上設計了分布式控制律，該控制律不僅能夠實現預期隊形，還能保證在隊形行進中避碰、避障。虛擬勢場法計算簡單，能夠進行實時控制，對空間的避障、避碰問題很有效[45]，但勢場函數設計比較困難。

(2)學習控制法。該方法的基礎是學習控制，針對的是重復性較高的任務，如工廠物件的編隊搬運、安全巡邏任務等等。對多智能體系統隊形進行預期編隊，通過學習控制實現大致的預期隊形，隨著學習次數的增加，隊形精度、運行效率都會得到大幅度提高[46]，適用于重復性高的任務，學習花費的時間與任務復雜度成正相關性，缺點是當運行環境發生變化影響任務時，多智能體系統需要重新進行學習，方法不靈活，時間成本較高。

(3)混合控制法。上面提到的編隊形控制方法都是單一的控制方法，每種方法都有各自的優缺點，面對復雜多變的環境，單單采取其中某種方法是不能滿足需求的，因此研究人員開始將兩種或是幾種方法混合運用或是借鑒優化，取長補短，以便實現更好的隊形控制。例如，軌跡跟隨法可以實現準確、穩定的隊形，但對動態環境適應能力較差，而行動選擇法對動態的環境適應能力強，但在隊形穩定性上存在不足。Zhao等人[47]結合了軌跡跟隨法和虛擬勢場法兩種方法，控制多智能體系統形成了一個“圓”的隊形，用于實現追捕任務；Kishorekumar等人[48]采用虛擬勢場法對領航智能體導航避開障礙物，對跟隨者智能體采用l-φ的方法進行控制，從而實現編隊并能夠避障。

2 多智能體系統隊形控制的應用研究

對多智能體系統隊形控制進行實際應用，研究人員通常會采用移動機器人進行研究。移動機器人擁有多種傳感器，能進行通信交換數據，具有很好的機動性和靈活性，通過設計算法就能夠表現出一定的智能。用移動機器人進行隊形控制的研究應用十分廣泛。在對未知環境進行探索時，多移動機器人通過控制形成隊形，每個機器人在行進過程中探測環境的一部分，通過分享數據獲得較為全面的環境信息，有利于人們快速熟悉環境；工業生產中，通常會需要搬運一些大型物件，對多移動機器人的位置分布有一定的幾何要求，同時需要平衡負載，在一些特殊的環境下(如核反應堆內部)進行搬運，隊形的控制要求更加嚴格。近年來，計算機科學的發展、機器人的發展都給隊形控制研究注入了新的活力，出現的新型機器人拓展了隊形控制的研究。

無人機是近年來研究的熱點，以用途廣泛，成本低，無人員傷亡風險，生存能力強，機動性能好，使用方便等眾多優勢吸引了一大批專家學者對其進行研究，無人機編隊便是研究方向其中之一，研究人員研究較多的無人機是四旋翼飛行器。對無人機的研究，比之前的移動機器人的研究難度要大，也更有挑戰性。首先，移動機器人的研究往往是兩維平面，而無人機則是三維立體的研究，維度上增加了，需要考慮的影響因素也增加了，如無人機自身的平衡性。Mercado等人[49]使用軌跡跟蹤法的編隊方法，利用隊形誤差用滑模控制控制跟隨者保持與領航者的相對位置，從而維持隊形；Hamed等人[50]也用軌跡跟蹤法，設計了模糊邏輯控制器控制跟隨者，將跟隨者的速度和姿態最小化編隊誤差來解決編隊問題，該方法還能夠實現未知非線性運動學的固定翼無人機的任意三維編隊；Rui[46]同樣采用了模糊控制器對多無人機進行編隊控制，并用強化學習算法——Q學習算法對參數進行調整，提高控制精度。Luo等人[51]研究了隊形保持和隊形變換問題，采用PID控制方法進行隊形保持，對于隊形變換則是考慮到變換中可能出現的碰撞問題，設計了控制策略解決問題。針對固定翼無人機的特點，袁利平等[52]利用局部相對信息，提出了一種基于信息一致性的分散化編隊飛行策略，即利用無人機之間的相對速度和相對航向信息進行速度和航向的同步，利用無人機之間的相對位置信息進行編隊形成和隊形保持。

除了對無人機進行研究，研究人員也對水下機器人編隊控制進行研究。地球絕大多是水覆蓋的，海洋資源很豐富，但因目前技術有限，人類對海洋的研究進展緩慢，通過對水下機器人的研究可以加快對海洋的探索。水下因其自身的特點，機器人之間不得不通過網絡進行數據傳輸，但在數據傳輸時會存在通信延遲的問題，Millan等人[53]就注意到了這個問題，研究了在通信時延的情況下，水下機器人的編隊控制問題；李一平等人[54]考慮到水下環境復雜，跟隨者可能出現異常狀態，提出了基于跟隨者狀態反饋確定領航者的策略，并在實現了一個領航者、3個跟隨者的隊形形成和保持的情況下，將控制策略推廣到了N個跟隨者的情況；Guohua等人[55]采用軌跡跟蹤法進行編隊，基于反推控制和生物啟發神經網絡研究了三維隊形控制和避障問題。

3 多智能體系統隊形控制的研究新進展

3.1 基于復Laplacian矩陣的多維隊形控制方法

林志赟教授帶領的團隊將拉普拉斯算法從實數域擴展到復數域，對二維及更高維的隊形控制方法進行了研究，獲得了許多研究成果。多智能體系統實現一維編隊的條件是當且僅當實數Laplacian矩陣有一個零特征根，或是隊形關系圖中存在一個根，從根出發其余各節點都可以到達[56-58]。對實數Laplacian矩陣有了一定的研究之后，該團隊用復數Laplacian矩陣，研究了無向、有向拓撲結構下的多智能體隊形控制，提出相似編隊的概念，在此基礎上，還研究了切換拓撲網絡結構下的隊形控制問題。

基于無向拓撲結構，通過復Laplacian矩陣和空間拓撲結構來描述隊形控制問題，在此結構下得到了隊形形成的代數幾何條件，即圖是雙根的，并且還得出只受形狀限制的相似隊形位于滿足一定秩條件的復Laplacian矩陣的零空間內，然后又在復Laplacian矩陣的基礎上，設計了基于相對位置信息的分布式控制策略，同時能夠保證其全局穩定性[59]?？紤]多智能體系統的傳感能力有限，環境復雜度等問題，研究不能局限于無向拓撲結構，進而研究了有向拓撲結構下隊形控制問題，其研究思路與無向拓撲結構相同，并得到了相同的結果，是對之前結果的完善[60]。

前面的工作主要是固定拓撲結構下進行的研究，很自然就會對切換拓撲網絡結構下的隊形控制的研究。通過之前的研究可知，隊形能夠形成的充分必要條件是拓撲結構是雙根的，因此，假設系統是在一組全部是雙根的拓撲圖中進行切換。假定每個智能體只能獲得周邊傳感信息，考慮到物理傳感約束、智能體運動超時的情況，系統的傳感圖是有向并且時變的，這就很難進行編隊控制，于是在假設傳感圖在某些情況下可以轉變的前提下，提出了一種線性切換控制方法用于編隊控制，并進行了穩定性分析[61]。之后研究了有向切換拓撲情況下二階智能體三維編隊耦合控制的問題，目的是控制雙積分動力學模型的跟隨者群體和領航機器人群體耦合，形成一種單一全局剛性編隊[62]。

3.2 基于云計算和圖像處理的隊形控制研究

云計算、圖像處理等其它領域的技術發展也為隊形控制研究提供了新思路。Turnbull等人[63]利用云計算對多智能體系統進行了隊形控制；有學者通過智能體自身攜帶的攝像頭，實時進行圖像處理，獲得相對信息從而進行隊形控制[64]，或是利用視覺反饋進行研究編隊問題[65]。Wang等人[66]基于遞歸神經網絡研究多智能體系統的最優編隊問題，采用圖形理論描述目標隊形，該理論能夠生成一系列的可行隊形，最優隊形意味著從一系列可行隊形中尋找到與目標隊形最小距離的隊形，因此將編隊問題轉換成最優化的問題；特別的，當所有智能體是同構機器人時，每個智能體的目標位置是可變化的，此時的隊形最優又成了組合隊形最優的問題，這類問題通過借助補償法可以近似成凸優化問題進行解決。張洪亮[67]采用分布式層次控制結構研究多智能體系統編隊問題，設計了基于聲納傳感器(獲得周圍信息)和多智能體系統通信的隊形保持方法。

3.3 基于隊形控制的多移動機器人搬運

多移動機器人編隊應用十分廣泛，在軍事、工業生產、航空航天、農業生產等領域都有很好的前景，能夠實現搬運、偵察、巡邏等多項任務。搬運是實際生產生活中涉及面最廣、應用也是最頻繁的任務，因此以該任務作為說明對象對多移動機器人編隊應用進行介紹。

實際搬運中參與搬運任務的可能是移動機器人，也有可能是移動機械臂，或者是帶有手抓的移動機器人。Dalfior等人[68]研究多移動機器人編隊控制實現協同物體搬運，研究的重點是如何讓機器人與物體一直保持接觸，并且協調它們的運動完成搬運到目標地點的任務，通過設計編隊控制器，將負載當做虛擬領航機器人，控制多移動機器人形成隊形，并采用一種非線性位置控制器用于定義負載到目標點的移動。Moon等人[69]研究協同完成推箱子任務，為了兩個移動機器人在推箱子的過程中保持一定的隊形，定位系統實時獲得各個機器人的位置信息，通過計算控制速度。Bai等人[70]采用移動機械臂研究協同搬運問題，需要搬運的有效負載是可變化的，用漸變的非線性電勢能建模移動機械臂和負載之間的接觸力，機械臂和有效負載收斂到相同的速度才能完成搬運，搬運的問題就可以近似當成編隊控制問題。Eoh等人[71]利用多移動機器人協同編隊進行重物體的搬運，該團隊成員認為物體搬運能否成功與機器人編隊有很強的關聯，提出了基于推和拉(抓)兩種行為的pusher-puller隊形。作為pusher的機器人在物體后面推，作為puller的機器人在前面拉。Zhaohui等人[72]研究多個機器人搬運重物時，對物體質量也進行了考慮，并假定物體是剛性的，移動機器人有手抓且能緊緊抓住物體，采用分散控制技術保證搬運過程中所有機器人手抓之間的相對位置保持不變，完成搬運任務。之后又考慮環境中可能會有參數不確定的情況，結合神經網絡在線學習技術，實時逼近系統的動力學模型，來實現搬運。

考慮到空中搬運，人們在以前研究時往往采用直升機作為研究對象，隨著無人機的出現，專家學者開始將目光轉向無人機搬運。當出現如地震、泥石流、山體滑坡等自然災害，路面物資運輸往往受阻，人工物資運輸效率低下，空中投擲物資不精確，常常出現物資失蹤的情況。無人機小巧靈活，無人員傷亡風險，成本低，能低空飛行，可在復雜區域登陸，采用無人機運輸能夠很好的解決物資運輸的難題。Michael等人[73]研究控制多四旋翼無人機進行纜繩運輸負載的問題，證明了因單邊張力約束導致系統欠驅動，依然能夠控制無人機將負載運輸到指定的位置；Lee[74]重點研究剛性負載的跟蹤控制，負載與任意數量的無人機通過剛性線纜連接，構造了一個幾何控制器，控制負載漸進的跟蹤給定期望軌跡，該方法獨到之處是將剛性負載、鏈接和無人機之間的耦合動力明確地合并到控制系統設計和穩定性分析中；Lee與Farhad[75]合作研究了任意數量的四旋翼無人機通過軟電纜連接剛性負載，提出了一種幾何非線性控制器將剛性負載運輸到指定地點，并將所有的連接電纜垂直對齊。

4 尚未解決的研究問題

4.1 隊形擴展

對隊形進行擴展包括兩方面：數量和維度。目前很多隊形控制研究方法面向的都是小規模的多智能體系統，運用到大規模的系統中會出現各種問題，特別的，當智能體數目是動態變化時，如智能體發生故障無法執行任務需要退出隊伍或是有新的智能體需要加入隊伍中時，又該如何進行隊形控制；當前很多的研究都是局限在二維平面上，對智能體在更一般的三維空間中的隊形控制研究較少，隨著無人機、水下機器人等新型智能體的發展，三維編隊控制的研究也顯得越來越迫切。

4.2 隊形穩定性問題

多智能體系統的隊形控制中，隊形的穩定性是研究者廣泛關注的一個方面，主要包括了多智能體系統能否實現穩定的隊形和運動過程中隊形能否保持穩定兩方面。此外，當環境發生變化，隊形還能否繼續穩定保持，這些都是在設計控制算法是需要考慮的問題。目前關于隊形穩定性的研究處于理論性階段，需要大量的實驗進一步論證。

4.3 通信、傳感器功能受限

隨著計算機技術的發展，通信的重要性越來越重要，也是多智能體系統隊形控制的基礎，在進行理論分析時，一般將通信理想化，但當理論成果運用到實際時，通信就要考慮很多問題，如數據傳輸的時延問題、帶寬限制、數據丟包、通信范圍等等，這些問題對多智能體系統的隊形控制是有很大影響的。除了通信理想化，智能體的傳感功能也會做理想化處理，即多智能體系統不僅能實時獲得周圍信息，而且數據準確，但在實際應用中，除了受到智能體自身傳感器的限制，諸如感知范圍有限、獲得數據存在時延、數據精度不足等，還會受到環境噪聲的影響。此外，一些智能體自身的信息(如速度和加速度)是無法精確獲取的。因此，在通信和傳感器功能受限條件下的隊形控制問題也是應用到實際環境中需要解決的問題。

4.4 異構多智能體系統隊形控制研究

在目前現有的隊形控制研究成果中，絕大多數的研究都是針對同構智能體進行的，采用同構智能體進行研究有其優勢：所有智能體的動力學特性相同，數學分析、建模都比較簡單，且擁有相同的功能，能夠相互替換完成任務。但在實際應用中，以遠距離運輸為例，部分智能體編隊組成導航組進行導航，部分智能體編隊組成搬運組進行運輸，實現的功能不同，隊形設計的側重點不同，相互之間的動力學特性也存有較大的差異?，F在社會分工越來越細，專業化的智能體往往比綜合性智能體有更好的經濟效益，這也就意味著智能體之間的動力學特性等存在差異，在面向實際應用方面，異構多移動機器人的編隊控制也有很大的發展前景。

4.5 機械臂編隊研究

當前研究的編隊控制對象幾乎都是輪式機器人、無人機、水下機器人等，很少有對機械臂進行編隊研究，機械臂都是固定式的，當機械臂的操作對象在移動時，就可以將機械臂看成是移動的，機械臂的編隊研究也有實際應用。比如噴漆操作，當需要對部件進行噴漆處理時，不同的部位需要噴上不同的顏色，當機械臂組成一定隊形時，就能實現該任務。

5 應用前景展望

多智能體系統的隊形控制涉及的內容十分廣泛，具有很大的應用前景。在對海底環境勘探時，水下機器人組成特定隊形，每個機器人在行進過程中探測環境的一部分，通過通信分享數據獲得較為全面的全部環境信息，有利于加快人們對海底環境的了解。但是，海底環境復雜，多機器人系統保持良好的穩定性和良好的通信狀況是實現水下機器人勘探海底環境的重要前提。在工業生產中，通常需要搬運一些大型物件，多移動機器人可以很好地完成這個任務。然而，在遠程搬運中，就需要有異構多智能體，一部分負責導航，一部分負責搬運。因此，異構多智能體系統隊形控制的研究將對遠程搬運起到很大的作用。無人機的快速發展，促進了人們對空中搬運的研究，當發生地震、泥石流等自然災害時，無人機空中搬運將大大降低救援成本和救援人員傷亡的可能性。因此，對多智能體系統三維編隊控制的研究也越來越迫切。此外，多智能體的隊形控制還能夠應用于排雷、定點巡邏、災后營救、農作物播種等許多領域。隨著科技的不斷發展，多智能體系統的隊形控制方法與應用水平將得到不斷地提高，隊形控制也將在更多的領域中得到實際應用。

[1] 劉 佳, 陳增強, 劉忠信. 多智能體系統及其協同控制研究進展[J]. 智能系統學報, 2010, 5(1): 1-9.

[2] Yang F, Liu S, Liu F. Cooperative transport strategy for formation control of multiple mobile robots[J]. Journal of Zhejiang University SCIENCE C, 2010, 11(12): 931-938.

[3] Galuszka A, Swierniak A. Planning in multi-agent environment using strips representation and non-cooperative equilibrium strategy[J]. Journal of Intelligent and Robotic Systems, 2010, 58(3-4): 239-251.

[4] Liu S, Sun D, Zhu C. Coordinated motion planning for multiple mobile robots along designed paths with formation requirement[J]. IEEE/ASME Transactions on Mechatronics, 2011, 16(6): 1021-1031.

[5] 蘇治寶, 陸際聯. 多移動機器人隊形控制的研究方法[J]. 機器人，2003(1):88-91.

[6] Soltani N, Shahmansoorian A, Khosravi M. Robust distance-angle leader-follower formation control of non-holonomic mobile robots[A]. 2014 Second RSI/ISM International Conference on Robotics and Mechatronics (ICRoM)[C]. 2014: 24-28.

[7] Desai J, Ostrowski J, Kumar V. Controlling formations of multiple mobile robots[A]. Proceedings of the IEEE International Conference on Robotics and Automation[C]. 1998: 2864-2869.

[8] Desai J, Ostrowski J, Kumar V. Modeling and control of formations of nonholonomic mobile robots[J]. IEEE Transactions on Robotics and Automation, 2001, 17(6): 905-908.

[9] Desai J. A graph theoretic approach for modeling mobile robot team formations[J]. Journal of Robotic Systems, 2002, 19(11): 511-525.

[10] Li X, Xiao J. Robot formation control in leader-follower motion using direct Lyapunov method[J]. International Journal of Intelligent Control and Systems, 2005, 10(3): 244-250.

[11] Fierro R, Das A K, Kumar V, et al. Hybrid control of formations of robots[A]. Proceedings of the IEEE International Conference on Robotics and Automation[C]. 2001, 1: 157-162.

[12] Soorki M N, Talebi H A, Nikravesh S K Y. A leader-following formation control of multiple mobile robots with active obstacle avoidance[A]. Proceedings of the 19th Iranian Conference on Electrical Engineering (ICEE)[C]. 2011: 1-6.

[13] Peng T, Li S. Formation Control of Multiple Wheeled Mobile Robots via Leader-Follower Approach[A]. 第26屆中國控制與決策會議論文集[C]. 2014.

[14] Lijuan W, Hui W. Multi-robot formation control and simulation[A]. Proc of the 25th Chinese Control and Decision Conference (CCDC)[C]. 2013: 2830-2833.

[15] Guo J, Lin Z, Cao M, et al. Adaptive leader-follower formation control for autonomous mobile robots[A]. American Control Conference (ACC)[C]. 2010: 6822-6827.

[16] Choi I, Choi J, Chung W J. Leader-follower formation control without information of heading angle[A]. IEEE/SICE International Symposium on System Integration (SII)[C]. 2012: 842-846.

[17] Mesbahi M, Hadaegh F Y. Formation flying control of multiple spacecraft via graphs, matrix inequalities, and switching[J]. Journal of Guidance, Control, and Dynamics, 2001, 24(2): 369-377.

[18] Vela P, Betser A, Malcolm J, et al. Vision-based range regulation of a leader-follower formation[J]. IEEE Transactions on Control Systems Technology, 2009, 17(2): 442-448.

[19] Panagou D, Kumar V. Cooperative Visibility Maintenance for Leader-Follower Formations in Obstacle Environments[J]. IEEE Transactions on Robotics, 2014, 30(4): 831-844.

[20] 曹志強, 張 斌. 基于行為的多移動機器人實時隊形保持[J]. 高技術通訊, 2001, 11(10): 74-77.

[21] Desai J, Kumar V, Ostrowski J. Control of changes in formation for a team of mobile robots[A]. Proceedings of the IEEE International Conference on Robotics and Automation[C]. 1999, 2: 1556-1561.

[22] Balch T, Arkin R C. Behavior-based formation control for multirobot teams[J]. Transactions on Robotics and Automation, 1998, 14(6): 926-939.

[23] 劉銀萍, 楊宜民. 多機器人編隊控制的研究綜述[J]. 控制工程, 2010, 17(9): 182-186.

[24] Goodridge S G. A fuzzy behavior-based nervous system for an autonomous mobile robot[M]. 1994.

[25] Tan K H, Lewis M A. Virtual structures for high-precision cooperative mobile robotic control[A]. Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems[C]. 1996, 1: 132-139.

[26] Chen Lei, Baoli Ma. A nonlinear formation control of wheeled mobile robots with virtual structure approach[A]. Proceedings of the 34th Chinese Control Conference(CCC)[C]. 2015: 1080-1085.

[27] Jian Yuan, Tang Gongyou. Formation control for mobile multiple robots based on hierarchical virtual structures[A]. Proceedings of the 8th International Conference on Control and Automation (ICCA)[C]. 2010: 393-398.

[28] Ren W, Beard R W. Formation feedback control for multiple spacecraft via virtual structures[A]. Control Theory and Applications[C]. 2004, 151(3): 357-368.

[29] Wang L, Han Z, Lin Z, et al. A linear approach to formation control under directed and switching topologies[A]. International Conference on Robotics and Automation (ICRA)[C]. 2014: 3595-3600.

[30] Lafferriere G, Caughman J, Williams A. Graph theoretic methods in the stability of vehicle formations[A]. Proceedings of the American Control Conference[C]. 2004, 4: 3729-3734.

[31] Azuma T, Karube T. Formation control with fault-tolerance based on rigid graph theory[A]. Proceedings of SICE Annual Conference[C]. 2010:1137-1140.

[32] 王祥科, 李 迅, 鄭志強. 多智能體系統編隊控制相關問題研究綜述[J]. 控制與決策, 2013, 28(11): 1601-1613.

[33] Kohata N, Yamaguchi T, Sato M, et al. Dynamic formation generating for intelligent transport systems using algorithm to select function by environmental information[A]. Proceedings of the IEEE/IEEJ/JSAI International Conference on Intelligent Transportation Systems[C]. 1999: 798-803.

[34] Yamaguchi T, Sato M, Kohata N, et al. Dynamic formation generating in mobile-agents using algorithm to select function by environmental information[A]. Fuzzy Systems Conference Proceedings[C]. 1999, 3: 1443-1448.

[35] 楊 麗, 曹志強, 譚 民. 不確定環境下多機器人的動態編隊控制[J]. 機器人, 2010, 32(2): 283-288.

[36] Ruilei Z, Chun Y, Sheng L, et al. Hybrid dynamic formation control for nonholonomic mobile robots[A]. Proceedings of the 33rd Chinese Control Conference (CCC)[C]. 2014: 8396-8401.

[37] Li Y, Chen X. Dynamic control of multi-robot formation[A]. International Conference on Mechatronics[C]. 2005: 352-357.

[38] Li Y, Chen X. Leader-formation navigation using dynamic formation pattern[A]. Proceedings of the IEEE/ASME International Conference on Advanced Intelligent Mechatronics[C]. 2005: 1494-1499.

[39] Hou S P, Cheah C C, Slotine J. Dynamic region following formation control for a swarm of robots[A]. International Conference on Robotics and Automation[C]. 2009: 1929-1934.

[40] Ballard L, Ren W. Dynamic formation algorithms and experiments[A]. Proceedings of the 4th IEEE Conference on Industrial Electronics and Applications[C]. 2009.

[41] Low C B. A dynamic virtual structure formation control for fixed-wing UAVs[A]. Proceedings of the 9th IEEE International Conference on Control and Automation (ICCA)[C]. 2011: 627-632.

[42] Low C B, Ng Q S. A flexible virtual structure formation keeping control for fixed-wing UAVs[A]. Proceedings of the 9th IEEE International Conference on Control and Automation (ICCA)[C]. 2011: 621-626.

[43] Khatib O. Real-time obstacle avoidance for manipulators and mobile robots[J]. The international journal of robotics research, 1986, 5(1): 90-98.

[44] Song Y, Wang X, Gong Z. Safeguarded formation control via the artificial potential approach[A]. Proceedings of the 11th World Congress on Intelligent Control and Automation (WCICA)[C]. 2014: 4790-4796.

[45] Liang Y, Lee H H. Decentralized formation control and obstacle avoidance for multiple robots with nonholonomic constraints[A]. American Control Conference[C]. 2006: 6 pp.

[46] Rui P. Multi-UAV formation maneuvering control based on q-learning fuzzy controller[A]. Proceedings of the 2nd International Conference on Advanced Computer Control (ICACC)[C]. 2010, 4: 252-257.

[47] Zhao L, Ma D. Circle formation control for multi-agent systems with a leader[J]. Control Theory and Technology, 2015, 13(1): 82-88.

[48] Kowdiki K H, Barai R K, Bhattacharya S. Leader-follower formation control using artificial potential functions: A kinematic approach[A]. Proceedings of the International Conference on Advances in Engineering, Science and Management (ICAESM)[C]. 2012: 500-505.

[49] Mercado D A, Castro R, Lozano R. Quadrotors flight formation control using a leader-follower approach[A]. Proceedings of the European Control Conference (ECC)[C]. 2013: 3858-3863.

[50] Rezaee H, Abdollahi F, Menhaj M B. Model-free fuzzy leader-follower formation control of fixed wing UAVs[A]. Proceedings of the 13th Iranian Conference on Fuzzy Systems (IFSC)[C]. 2013: 1-5.

[51] Luo D, Xu W, Wu S, et al. UAV formation flight control and formation switch strategy[A]. Proceedings of the 8th International Conference on Computer Science & Education (ICCSE)[C]. 2013: 264-269.

[52] Li-Ping Y, Zong-Ji C. Decentralized formation flight control of multiple fixed-wing UAVs using only local relative states[A]. Proceedings of the 30th Chinese Control Conference (CCC)[C]. 2011: 4871-4877.

[53] Millan P, Orihuela L, Jurado I, et al. Formation control of autonomous underwater vehicles subject to communication delays[J]. IEEE Transactions on Control Systems Technology, 2014, 22(2): 770-777.

[54] Li Y P, Yan S X. Formation control of multiple autonomous underwater vehicles based on state feedback[A]. Proceedings of the 11th World Congress on Intelligent Control and Automation (WCICA)[C]. 2014: 5523-5527.

[55] Guohua D, Daqi Z, Bing S. Formation control and obstacle avoidance of multi-AUV for 3-D underwater environment[A]. Proceedings of the 33rd Chinese Control Conference (CCC)[C]. 2014: 8347-8352.

[56] Jadbabaie A, Lin J. Coordination of groups of mobile autonomous agents using nearest neighbor rules[J]. IEEE Transactions on Automatic Control, 2003, 48(6): 988-1001.

[57] Lin Z, Broucke M, Francis B. Local control strategies for groups of mobile autonomous agents[J]. IEEE Transactions on Automatic Control, 2004, 49(4): 622-629.

[58] Ren W, Beard R W. Consensus seeking in multiagent systems under dynamically changing interaction topologies[J]. IEEE Transactions on automatic control, 2005, 50(5): 655-661.

[59] Lin Z, Wang L, Han Z, et al. Distributed formation control of multi-agent systems using complex Laplacian[J]. IEEE Transactions on Automatic Control, 2014, 59(7): 1765-1777.

[60] Wang L, Han Z, Lin Z. Formation control of directed multi-agent networks based on complex Laplacian[A]. Proceeding of the IEEE 51st Annual Conference on Decision and Control (CDC)[C]. 2012: 5292-5297.

[61] Wang L, Han Z, Lin Z, et al. A linear approach to formation control under directed and switching topologies[A]. Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)[C]. 2014: 3595-3600.

[62] Han T, Lin Z, Xu W, et al. Three-dimensional formation merging control of second-order agents under directed and switching topologies[A]. Proceedings of the 11th IEEE International Conference on Control & Automation (ICCA)[C]. 2014: 225-230.

[63] Turnbull L, Samanta B. Cloud robotics: Formation control of a multi robot system utilizing cloud infrastructure[A]. Proceedings of IEEE Southeastcon[C]. 2013: 1-4.

[64] Cook J, Hu G. Vision-based triangular formation control of mobile robots[A]. Proceedings of the 31st Chinese Control Conference (CCC)[C]. 2012: 5146-5151.

[65] Scheggi S, Morbidi F, Prattichizzo D. Human-robot formation control via visual and vibrotactile haptic feedback[J]. IEEE Transactions on Haptics, 2014, 7(4): 499-511.

[66] Wang Y, Cheng L, Hou Z G, et al. Optimal Formation of Multirobot Systems Based on a Recurrent Neural Network[J]. IEEE Transactions on Neural Networks and Learning System, 2015, PP(99):1.

[67] 張洪亮. 多機器人編隊技術的研究與應用[D]. 北京:北京工業大學, 2009.

[68] Dalfior J S, Vassallo R F. Nonlinear formation control for a cooperative load pushing[A]. IEEE International Conference on Industrial Technology (ICIT)[C]. 2010: 1439-1444.

[69] Moon S, Kwak D, Kim H J. Cooperative control of differential wheeled mobile robots for box pushing problem[A]. Proceedings of the 12th International Conference on Control, Automation and Systems (ICCAS)[C]. 2012: 140-144.

[70] Bai H, Wen J T. Cooperative load transport: a formation-control perspective[J]. IEEE Transactions on Robotics, 2010, 26(4): 742-750.

[71] Eoh G, Jeon J D, Choi J S, et al. Multi-robot cooperative formation for overweight object transportation[A]. IEEE/SICE International Symposium on System Integration (SII)[C]. 2011: 726-731.

[72] Zhaohui D, Min W, Xin C. Multi-robot cooperative transportation using formation control[A]. Proceedings of the 27th Chinese Control Conference(CCC)[C]. 2008: 346-350.

[73] N. Michael, J. Fink, and V. Kumar. Cooperative manipulation and transportation with aerial robots[J]. Autonomous Robots, 2011,30(1):73-86.

[74] Lee, Taeyoung. Geometric control of multiple quadrotor UAVs transporting a cable-suspended rigid body[A]. Proceedings of the IEEE 53rd Annual Conference on Decision and Control (CDC)[C]. 2014.

[75] Farhad A.Goodarzi, Taeyoung Lee. Dynamics and Control of Quadrotor UAVs Transporting a Rigid Body Connected via Flexible Cables[A]. American Control Conference[C]. 2015: 4677-4682.

Research on Formation Control Method and Application of Multi-agent Systems

Yu Xinyi, He Yanlin, Ou Linlin, Cheng Cheng

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Survey on the formation control method and application of multi-agent systems is summarized in this paper. The main problem of formation control includes three aspects: formation architecture, formation keeping and formation transformation. Firstly, a variety of formation control methods are deeply analyzed, including several methods: the leader-follower, the behavior based, the virtual structure, the graph theoretic, the dynamic formation, the artificial potential field, the learning control and so on. Secondly, the application of formation controled on multi-agent systems (mobile robots, unmanned aerial vehicles, underwater vehicles) is presented. Thirdly, the research on: the recent multi-dimensions formation control method based on complex Laplacian matrix, the other areas’ technology which is used into formation control and multiple mobile robots transportation based on multi-agent systems formation control is introduced. Finally, some unsolved problems need to be investigated in depth are proposed.

formation control; multi-agent systems; formation application

2016-12-15；

2017-02-06。

國家自然科學基金資助項目(61273116);863計劃(2014AA041601-05);寧波重點項目(2014B10017);浙江省自然科學基金(LYl5F030015);浙江省公益項目(2016C31064)。

禹鑫燚(1979-)，男，浙江余姚人，博士，講師，主要從事多智能體系統協同控制和機器人路徑規劃與控制方向的研究。

1671-4598(2017)07-0001-07

10.16526/j.cnki.11-4762/tp.2017.07.001

TP3

A