無人水下航行器編隊控制研究現狀及技術綜述?

楊 洋 王 征 胡致遠 尹 洋

（海軍工程大學電氣工程學院 武漢 430033）

1 引言

無人水下航行器（UUV）是一種小體積，具有良好操縱性，能搭載各種傳感器和強續航力的水下移動載體，無人乘坐、成本低的特點使其可以服務于海洋科技、海洋軍事和海洋經濟等不同領域［1］。隨著對UUV的技術研究逐漸成熟，多智能體協同執行任務已經成為UUV發展的必由之路。相較于單體UUV，集群運動控制的優勢顯而易見，比如更高的可拓展性與穩定性、更強的魯棒性等［2］。

UUV集群系統在作業時常以編隊形式移動，這對其編隊控制提出了較高要求。多UUV的編隊控制是指在多艘航行器抵達目的地的過程中受到環境中多種約束條件的限制基礎上保持某種特定的隊形行進的控制技術，其必要性主要由目標搜索、地形勘探等覆蓋性的任務要求以及隊形中UUV之間信息交互的便捷性所體現。

在集群系統中，編隊航行相較于隨機分散航行又具有以下優勢：

1）更高的資源利用率；

2）有效抵御多個方向的威脅，增強安全性；

3）大大降低集群成本；

4）具有較高的可靠性和生存能力［3］；

5）增強集群的搜索力，提高搜索任務的發現概率［4］。

目前，受阻于特殊的海流、近水面海浪等水下干擾和惡劣的水下通信條件，前期發展較為完備的空中無人機編隊控制理論無法直接運用于UUV集群系統，這一方面限制了UUV編隊控制的迅速發展，另一方面也激發了國內外學者的科研熱情，改善已有成果或者探索全新理論，用于解決水下無人系統的特殊難題［5］。

本文將從編隊的國內外應用成果、任務類型、關鍵技術和研究展望等方面，在理解UUV集群研究現狀的基礎上，系統總結UUV集群編隊控制的研究進展，以期為日后UUV集群技術的發展提供參考與思路。

2 國內外應用成果

2.1 國外應用成果

自20世紀60年代第一臺UUV誕生以來，其控制技術已經過了明顯的發展，集群編隊控制領域也在近幾年大放異彩［6～7］。國外UUV編隊控制現有研究成果由美國領軍，葡萄牙、英國等緊隨其后，均已取得了長足的發展。

自主海洋采樣網絡（Autonomous Ocean Sam?pling Network，AOSN）由美國海洋研究局資助，多水下滑翔機系統運轉實現，其搭載的多種傳感器可同時完成多深度層次的海洋參數采集任務［8］。該項目下AOSN-II子項目采用了一組五種類型的水下滑翔機構成自適應采樣網絡編隊行進，采用利于結構調整的隊形控制策略，系統中每個成員機器人各得其所，利用適配傳感器在蒙特利爾海灣進行了約30天的海洋數據采集試驗，任務中涉及的參數包括溫度、深度、鹽度、葉綠素等數據，并將這些數據在編隊成員之間，下位機與上位機之間進行傳輸處理。

英國由Nekton研究機構牽頭開發了一種水下多智能體平臺（Underwater Multi-agent Platform，UMAP），它由四臺低成本、可操縱性強的小型AUV及其配套軟件構成。日漸成熟的UMAP現可以開展分布式搜索算法、海洋學調查、編隊控制等相關研究，并已被用于美國Sandia國家實驗室開發的多智能體合作熱流柱定位算法，以及用以繪制北卡羅萊納州海岸線上紐波特河口灣一帶的鹽度移動情況［9～10］。UMAP已成為UUV編隊系統可完成多種類型使命任務的典型案例。

圖1 三臺水下滑翔機編隊示意圖

美國國防高級研究計劃局（DARPA）自2009年開始就已在著手部署網絡協同無人水下航行器（CNAV）系統，它通過一定數量的UUV在共享水聲網絡中互相發送數據，進行水下目標的探測、定位、跟蹤任務，同時能減弱因目標位置、戰斗因素和環境條件的變化引起的干擾，如圖2所示。結合使用具有固定的被動聲納節點后，該系統將應用在分布式敏捷獵潛系統（DASH）中，用于廣闊海域搜尋檢測作戰對象。通過該技術，水下無人系統的自主控制等級將向7級（多機編隊控制、航路重規劃、指揮、執行重規劃戰術）發展［11］。

圖2 CNAV項目示意圖

為了協調處理多無人水下航行器系統，法國、意大利等五國多家科研機構在歐盟第六框架計劃（6th framework programme of the European Union，FP6）的資助下創建了GREX研究項目［12］。該項目開發的技術較為通用，可通過接口連接到已存在的異構系統，同時其足夠的魯棒性可用以解決故障通信等引起的問題。GREX項目核心研究包括了“異構多水下無人系統在未知環境中的協調控制研究”在內的多項成果。最后階段的一系列海上試驗于2019年底完成，最終目的是驗證異構AUV集群系統的操縱理論，其第二步便測試了編隊機動任務，該過程與帶有時變形成模式的協調路徑跟隨任務相同。AUV在部署后四散成編隊隊形，并在無沖突的前提下計算出抵達終點的路徑，順利完成了多AUV系統的編隊行進試驗。

圖3 四臺AUV協調轉彎的GPS軌跡

觀測系統仿真實驗（Observing System Simula?tion Experiment，OSSE）項目作為由美國國家科學基金會資助的海洋觀測站計劃（Ocean Observatories Initiative，OOI）的先期啟動項目，主要的研究內容共涉及到四個方面，其中三項是關于多UUV使命規劃與編隊協調控制的研究［13］。截止2009年底，針對多UUV仿真平臺的調試工作已然完成，并且在2010年中大西洋海灣進行的多滑翔式水下機器人試驗取得了令人矚目的成績。

在歐盟第七框架計劃（7th framework pro?gramme of the European Union，FP7）的資助下，由德國、意大利、法國、葡萄牙及西班牙的相關科研機構在2016年聯合完成了名為“海洋機器人系統的自組織與基于邏輯的節點連接”（Marine robotic sys?tem of self-organizing，logically linked physical nodes）的研究項目，簡稱MORPH。該項目旨在為嚴苛海洋環境下的海底探測與標圖提供有效的方法和工具，并在2012年～2015年間完成了多次海上試驗。MORPH項目集成現有的多個AUV并設計了適用于協同作業的體系結構和通信系統，在此基礎上研究了多AUV系統的協調編隊控制［14～15］、協同定位與協同導航問題。圖4為MORPH海試場景。

圖4 MORPH海上試驗

2.2 國內應用成果

國內在UUV集群編隊控制研究方面雖然起步較晚，且以仿真研究為主，但在哈爾濱工程大學、北京航空航天大學機器人研究所、中國科學院沈陽自動化研究所等組織的帶領下正在迎頭趕上，近些年已取得了豐碩成果，較為典型的成果包含UUV編隊反水雷、監視敵對潛艇、水下目標搜索等任務。

哈爾濱工程大學的學者們早年已初步開發了多智能體系統協調路徑規劃的仿真環境以及多UUV系統的實物［16］。而后在這一套平臺系統的基礎上進行了雙UUV編隊航行試驗，但由于前期研究的不完備性，該試驗未能深入探討可實際應用的體系結構和控制策略［17］。從結果上來看，這次實驗完成的UUV設計和多UUV系統搭建工作為以后更為完善的集群研究打下了堅實的基礎。

2014年～2015年，哈爾濱工程大學的水下機器人技術重點實驗室綜合考慮海洋環境與可用設備因素，合理選取了威海老港和榮成西霞口附近海域，利用三臺AUV完成了一系列異構多AUV系統的協調控制海試［18］。該系列試驗分別驗證了水聲通信設備的通信性能、制導-控制系統的設計可行性，以及協調路徑跟隨、目標跟蹤、基于行為的編隊控制算法的有效性。試驗過程中雖未考慮和處理領航者失效的極端情況，但妥善解決了水聲組網通信系統出現的故障，轉而采用無線電開展水面編隊航行以模擬水聲通信［19］。圖5為基于路徑跟隨的多AUV編隊控制海試場景。

圖5 基于路徑跟隨的多AUV編隊控制海試

鑒于UUV編隊在水下網絡中心戰（UWNCW）中的運用已經有相當的局限性，王圣潔等將人工智能引入UUV編隊控制，設計了一種潛艇與AUV相結合的協同編隊系統，并詳細分析了系統的優點及其復雜性，針對系統控制體系結構及決策問題等關鍵技術進行了研究探討，對系統在突發威脅情況下的航跡規劃過程進行了仿真，仿真結果表明潛艇與智能UUV協同系統能夠有效地實現避障并能躲避突發威脅，顯著提升了整個系統的應急能力［20］。

2014年中國科學院沈陽自動化研究所的機器人學國家重點實驗室研究團隊在基于無線通信的多AUV編隊湖上試驗的基礎上，接續開展了基于水聲通信的AUV編隊試驗［21］。試驗采用了研究所研制的便攜式AUV——“探索100”，可搭載溫鹽深儀、側掃聲吶、DVL等傳感器，并加裝了水聲通信機模塊，以便編隊成員交換信息。試驗任務設計為兩臺AUV成“一”字型，按照預定軌跡編隊行進，編隊過程中通過水聲通信機交互信息，實現隊形保持。最終編隊成員在動態平衡中完成了試驗任務。圖6為隊形生成過程中的AUV成員。

圖6 隊形生成中的AUV

綜合比較國內外應用成果可以得出結論：多UUV集群系統的研究越來越受到眾多專家學者的重視，而編隊控制作為集群運動控制的重要一環，在主要項目成果中從未缺席。近二十年以來美國眾多相關機構已將UUV編隊控制應用于各大集群項目中，在世界各地均有部署其水下勘測與數據采集系統設施。歐盟國家借助其框架計劃，在多UUV編隊控制領域也有了長足的發展。而國內的UUV編隊控制研究起步晚于國外，從理論仿真轉入海上試驗階段的時間也并不長，但目前正在已構建好的試驗系統基礎上加速發展。

3 技術研究現狀

多UUV系統編隊控制的研究受到單體UUV自身結構與軟件設計、UUV成員之間通信質量、系統體系機構等多方面影響，控制架構層次較多。在實際研究過程中，通常將UUV編隊控制問題解耦為單體UUV路徑跟蹤控制子問題和多UUV隊形控制子問題。編隊任務的解耦分層為理解控制架構和將編隊控制用于完成水下實際任務提供了極大便利，同時大大簡化了研究流程，降低了科研難度。

3.1 路徑跟蹤控制

UUV的路徑跟蹤控制是指單體UUV從給定初始狀態開始運動，在某一光滑路徑上運行其路徑跟蹤控制器，并在其持續激勵下完成跟蹤任務。系統中每臺UUV均包含一個獨立的路徑跟蹤控制器，以實現UUV實時位置與期望路徑位置誤差為零的目標。路徑跟蹤任務的提出是基于單體UUV角度的，在集群領域屬于微觀層面。路徑跟蹤控制隨著UUV控制技術的發展已經有了相當豐碩的研究成果。

2000年文獻［22］首次證明了UUV實現路徑跟蹤控制的等價條件為控制UUV的艏向角速度，使得UUV的速度向量與路徑曲線的切線方向相一致且向量大小相等。侯恕萍等［23］研究了海流干擾下多UUV的空間曲線路徑跟蹤控制問題，針對單個UUV的路徑跟蹤控制，基于Lyapunov穩定性理論設計了一種海流觀測器來估計未知恒定的海流速度，并利用LaSalle不變集原理對路徑跟蹤子系統的收斂性進行了分析。文獻［24］基于Lyapunov直接法和反步法設計了編隊成員的位置和航向跟蹤控制器，并考慮了質量矩陣中非零非對角線項和未知流體動力阻尼項的影響。邊信黔等［25］在單個UUV的路徑跟蹤控制中引入視距導航（Line of sight guidance）算法設計路徑跟蹤控制器，使得跟蹤誤差漸近收斂到零。

單體UUV路徑跟蹤控制器的設計大多基于級聯系統理論，在以速度和姿態角為虛擬控制變量設計UUV運動學控制器的基礎上，使用backstepping的遞推方法結合UUV動力學模型設計動力學控制器［26～27］。但由于UUV路徑跟蹤控制處于單體研究層面，且仿真設計思路較為單一，本文不再贅述。

3.2 隊形控制

多UUV隊形控制是指編隊系統內UUV根據其他成員的狀態，調整自身速度、航向、位姿以達到多UUV協調編隊航行的控制技術。隊形控制任務是在多個UUV協同進行任務的情況下提出的，在集群領域屬于宏觀層面。由于UUV的集群編隊概念提出較晚，該任務目前也是一眾學者攻克研究的主要方向，如何實現智能化是其重點，融合多種已知算法或開發新算法已成為主要解決途徑。

邊信黔等通過引入代數圖論知識，得到多個UUV復雜網絡通信拓撲的數學表達，根據通信得到相鄰UUV的狀態來調整自身的航速，設計協調控制器，使得多UUV沿期望路徑的位置和速度在規定隊形下達到一致，實現多UUV間的協調，而不影響空間域上的路徑跟蹤性能［28］。文獻［29］將隊形控制器設計過程分解為運動學控制和動力學控制：運動學控制部分實現動目標跟蹤、UUV間避碰及UUV偏航角誤差為零的控制目標；動力學控制部分應用反步法設計實際的控制輸入。隊形控制器的控制目標是在多UUV編隊跟蹤并圍捕動態目標過程中，避免UUV成員之間，UUV與障礙物以及UUV與目標之間的碰撞并以穩定的編隊結構圍捕動態目標。

在已有的UUV集群控制技術中，隊形控制算法一直是國內外學者研究的重點、焦點。主流的UUV隊形控制算法涵蓋了人工勢場法、領航者-跟隨者法、虛擬結構法、基于行為法、強化學習等方法。多UUV隊形控制中的關鍵技術包含隊形生成、隊形保持、隊形重構與協同避障［30］。

人工勢場法最早由Khatib在1985年提出［31］，其指導思想是將智能體在外界環境中的運動擬作在一種虛擬勢場中的運動，該勢場中的目標點對智能體施加引力作用，障礙物和其他威脅施加斥力作用，智能體在兩種虛擬勢場力的合力中產生加速度而運動。文獻［32］在主從式編隊形式下，將自組織神經網絡（SOM）和人工勢場法結合起來進行隊形控制設計，綜合互補了SOM的自適應性和人工勢場法的避障可行性優勢。文獻［33］在二維空間中使用人工勢場法用于路徑規劃和協同避障，同時考慮了機器人移動空間的邊界斥力。同時有研究將人工勢場法與虛擬領航者法結合，設計人工勢場用于編隊控制，虛擬領航者作為編隊領導者用于隊形生成。二者結合使編隊控制在保證簡單結構的前提下增強了系統的可靠性［34］。人工勢場法易于實現，能有效解決隊形重構與協同避障問題，但也存在勢場函數較難設計和易陷入局部極值的缺點。

領航者-跟隨者法是UUV集群編隊控制中最常用的算法之一，其思想是將UUV編隊中的某一成員定義為領航者，其他成員作為跟隨者，領航者運行其路徑跟蹤控制器，跟隨者根據相對于領航者的位置誤差與速度誤差進行編隊控制［35］。為了使跟隨者能夠更好地跟蹤上領航者，李娟等利用領航者的位置與速度信息進行編隊控制器設計，增加系統的魯棒性的同時，分別對跟隨者的縱向速度誤差和橫向速度誤差進行了積分滑模面的設計［36］。李娟等還提出了一種AUV路徑控制和編隊協調控制相結合的新型編隊控制器，在路徑跟蹤控制基礎上，編隊協調控制器將領航者與跟隨者的位置誤差控制轉化為跟隨者的速度誤差控制，使跟隨者能快速達到期望位置，從而使所有AUV實現期望的隊形并保持［37］。薛多銳基于虛擬領航者的編隊控制策略，在有向通信拓撲下，結合歐拉一拉格朗日誤差系統無源性提出了一種基于領航者-跟隨者的制導-控制結構多AUV編隊軌跡跟蹤控制方法［38］。但是領航者-跟隨者法的缺陷也顯而易見：領航者較難得到跟隨者的速度、位姿等信息；領航者與跟隨者相對獨立，一旦領航者出現故障或與跟隨者失去聯系，UUV編隊系統將無法正常運行——故其魯棒性與系統可靠性往往不強。針對該缺點，有研究提出了建立虛擬領航者的觀點，即領航者作為一虛擬參考點參與編隊控制。其優勢在于，領航者是虛擬的，因而不會影響整個系統的性能，明顯提高系統的可靠性，且更容易實現分布式的控制結構［39～40］。

基于行為的控制方法即將UUV的協調編隊控制器分解為若干簡單的子行為，包括但不限于向目的地移動、保持隊形、協同避障。通過對各個UUV子行為的控制即可完成對UUV集群的編隊控制。文獻［41］探討了基于行為的方法在未知環境中執行編隊控制任務的多個移動機器人的路徑規劃中的應用。根據任務和環境，采用五種原始行為，設計了一系列的生成函數來生成行為組合的控制參數。由于可以根據當前情況調整這些功能的輸出，因此機器人可以通過合理地組合行為來實現運動策略，從而提高了對環境的適應性。而對于各個子行為的處理，可采用兩種方法：一是Brooks的行為抑制法，即同一時間點UUV的子行為僅進行一種，不同子行為無法同時運行；二是Arkin控制變量的矢量累加方法，即同一時刻多種子行為可通過自定義的權重進行矢量相加，UUV進行復合行為的運轉。顯然，前者每一時刻的控制行為較為精確，但控制任務并不平滑且任務完成時間較長；后者在各個子行為之間容易出現干擾，但完成任務速度較快，且平滑銜接。

虛擬結構法的主要思想是將UUV的編隊模擬為一個虛擬的剛性結構，移動時該結構中每臺UUV成員的相對位置固定，并參照虛擬結構的幾何中心設計路徑跟蹤控制器，該方法由Lewis等最早提出［42］。袁健等［43］基于虛擬結構思想采用坐標變換將各AUV相對于虛擬領航者的相對位置轉換為各自的期望位置，并設計了一種有限時間跟蹤控制律以確保各AUV能在有限時間內跟蹤上其期望軌跡，從而實現了多AUV的小尺度有限時間編隊控制。文獻［44］提出了虛擬結構和虛擬領航者相結合的隊形控制方法，利用隊形向量實現UUV編隊的隊形保持和隊形變換。虛擬結構法優點在于僅通過虛擬結構的中心點就可以進行編隊控制的路徑設計，便于完成隊形生成，但由于其剛性的結構，算法的靈活性并不高，不適合用于解決協同避障與隊形重構。

強化學習的概念最早由Minsky在20世紀60年代提出的［45］。隨著UUV集群產業的快速發展，如何將強化學習應用在UUV編隊系統中得到了各路學者越來越多的重視。強化學習是在環境激勵中不斷強化或弱化使用某種行為策略的可能性，無教師信號。雖然針對編隊控制的強化學習研究還未完全將目光轉移至UUV控制領域，但強化學習方法仍然將是UUV編隊控制的重要發展方向。徐健等［46］設計了一個用于UUV集群的強化學習算法研究平臺，其強化學習模塊讀取環境仿真模塊參數后進行強化學習的訓練，輸出集群系統的行為策略，并將得到的策略結果傳輸給每一個UUV成員的任務處理模塊，完成集群動作，包含了編隊控制。文獻［47］設計了一種基于代價函數的新型強化學習方法，可以集中式端到端方式訓練分散策略，其采用了一種將每個智能體聯合行為值估算為僅基于本地觀測條件值的非線性組合的網絡，聯合行為值在各智能體中均單調，這保證了離線學習中聯合行為值的易處理性最大化。李波等［48］提出了一種基于分層強化學習及CMAC神經網絡的多agent動態編隊方法，在多agent動態編隊中引入“抽象機制”把任務分為三個層次，其次利用CMAC神經網絡可以作為狀態泛化方法和分層強化學習中的Q-學習方法相結合，加快算法的學習速率。強化學習作為當今熱門的領域之一，其迅猛的發展將改變UUV編隊控制研究的現狀。在有足夠的環境交互數據的前提下，強化學習可以提供十分完善的UUV編隊解決方案，適用于解決所有的編隊控制關鍵技術。

4 結語

本文從UUV編隊控制的國內外應用成果、技術研究現狀和研究展望等方面，在理解UUV集群研究現狀的基礎上，系統總結了UUV集群編隊的研究進展，為日后UUV集群技術的發展提供了參考思路。

近些年來UUV的編隊控制研究雖已經過多年研究，目前卻也存在多處可以展望的前進方向。

1）前人的研究，特別在國內，大多基于理論層面，各類文獻中記載海上試驗過程較少，僅有仿真驗證，而無實物考察。而在實際任務中，海洋環境復雜多變、測距和測向傳感器的精度通常較低、水聲通信也有可能出現誤碼甚至中斷，這些非理想因素均可使常規編隊控制算法失效。對于UUV編隊的研究，最終目的都應是實現其實用性，這是編隊控制的必經之路。

2）在實用性的思想前提下，UUV編隊結構必將是異構的，以便編隊系統完成更為復雜的任務。而現有文獻大部分停留在對同構系統的解析，異構系統編隊控制仍有空缺。有必要針對異構UUV集群系統設計其編隊控制算法。

3）本文所引用的文獻大多在編隊任務解耦之后將幾種算法改進或結合，而對于新興算法的研究尚少。目前UUV編隊控制算法的使用主要集中于使用飛行器編隊控制算法的移植或者將傳統編隊控制算法進行改進，鮮有提出UUV編隊控制的全新算法。新穎算法的空缺，勢必將激起各學者的研究熱情［49～50］。