智能水下機器人路徑規劃研究現狀與展望

孫玉山， 冉祥瑞， 張國成， 王力鋒， 王建

(1.哈爾濱工程大學 水下機器人技術重點實驗室，黑龍江 哈爾濱 150001；2.中國船舶及海洋工程設計研究院，上海 200011)

智能水下機器人(autonomous underwater vehicles，AUV)是集成人工智能、目標探測與識別、數據融合、智能控制以及導航通信等多系統的水下無人平臺，在海洋開發、水下作業、深海探測、援潛救生等領域有廣泛的應用前景[1-3]。 路徑規劃技術是智能水下機器人的關鍵技術之一，是指為了到達某個目標或完成某個任務，對所規劃設備的航行方向、航行路線等進行預先計算、設定、優化的過程。路徑規劃技術在一定程度上標志著水下機器人智能化程度的高低[4-5]。AUV的路徑規劃過程分為5個步驟：環境信息采集、水下環境建模、全局路徑規劃、水下態勢感知以及局部路徑規劃。利用已有的海圖和采集到的環境信息建立水下環境模型；利用路徑規劃方法基于環境模型在經濟性、安全性、隱蔽性等多約束條件下搜尋最優路徑；規劃系統基于最優路徑結算目標指令發送至控制系統，控制AUV跟隨最優路徑航行；在航行過程中，AUV利用其所搭載的傳感器探測水下環境及威脅；利用局部路徑規劃方法實現AUV對突發態勢進行躲避。

本文對AUV的規劃方法進行了分類，介紹了各個方法的優缺點；當前AUV路徑規劃所面臨的問題；AUV路徑規劃的研究現狀及應用情況并總結了AUV路徑規劃的研究重點和發展方向。

1 路徑規劃方法分類

路徑規劃在AUV技術領域的獲得了廣泛的研究，規劃方法也種類繁多，可以將這些方法分成3類：幾何模型搜索、虛擬勢場以及人工智能。

1.1 基于幾何模型搜索方法

將幾何模型搜索方法需要建立環境模型，然后按照策略搜索路徑。建模方法包括：可視圖、Voronoi 圖、單元分解法等，常用的搜索策略有A*搜索算法、D*搜索算法等。

1)可視圖法：將AUV看作質點，將障礙物簡化為多邊形，并將起點、終點以及多邊形的頂點連接，且連線不與多邊形的邊相交，即得到可視圖[6-7]。該方法簡單，但障礙物較多時，規劃時間會大幅增加，且不夠靈活難以適用于三維空間；

2)Voronoi圖法：不同于可視圖，Voronoi圖法是將整個平面分解為多邊形進行規劃，其優點是能夠保持路徑距離障礙物足夠遠，但是也會導致航行路徑過長；

3)單元分解法：基于路線圖構建的方法描述簡單便于實現，但通常適用于低維度空間的規劃問題。目前路徑規劃技術對機器人環境模型的要求越來越高，路線圖構建法無法描述復雜的水下環境信息?；趩卧纸獾姆椒軌蛲ㄟ^將環境空間分解為子單元，通過附加單元屬性信息，從而表達更完整的環境信息；

4)A*和D*算法：常見的啟發式搜索法，通過建立節點與目標位置的估值函數，A*算法搜索最優路徑節點形成路徑，該方法比較適合靜態路徑規劃[8]。在規劃空間范圍較大時，A*算法的搜索效率有些不足。D*算法被看作是動態的A*算法，比較適用于進行動態路徑規劃[9]。

1.2 基于虛擬勢場的方法

人工勢場法由Khatib等提出[10-11]，是路徑規劃領域常用的方法，思想是建立虛擬勢場，在障礙物與AUV之間建立斥力場，在目標點與AUV之間建立引力場，斥力與引力的合力視為AUV的控制力，控制AUV避開障礙物抵達目標位置。勢場法的優勢在于算法簡單、效率高，但是也面臨局部最小值、路徑擺動大以及相近障礙物路徑不易搜索等缺點。

1.3 基于人工智能及其改進的方法

人工智能算法是將參考自然界的動物行為設計建立的尋優方法，可應用于AUV的路徑尋優。粒子群算法、蟻群算法、進化計算、遺傳算法、自組織神經網絡等是目前主流的人工智能算法。采用智能算法規劃AUV水下路徑時，不需要細致的環境模型，搜索能力強且能夠穩定收斂，易得到全局最優解。

1.3.1 基于群體智能的方法

1) 遺傳算法：由Holland[12]提出，借鑒了自然遺傳的思想。算法具有強大的搜索能力，但是易陷入局部最優，容易過早收斂。學者通過各種方法的結合對算法進行了改進，徐玉如等[13]將粒子群算法與遺傳算法結合對海流影響下的AUV進行了全局規劃，思想是在遺傳算法中利用粒子群優化特殊算子，使得收斂速度和效率得到提高。

2) 蟻群算法：由Marco等提出[14]，是一種以概率為基礎的算法，借鑒了螞蟻尋找食物是的探索路徑行為，能夠較好的解決旅行商和作業調度問題。蟻群算法較廣泛的應用于路徑規劃，王宏健等[15]提出利用切割算子和差點算子解決蟻群算法在規劃路徑時的不平滑問題，實現了AUV平面路徑規劃。另外，基于群體智能的方法還有螢火蟲算法和生物地理學優化算法等。

1.3.2 基于機器學習的方法

多數AUV規劃方法是將問題轉化為搜索或能量最優問題。群智能算法非常適用于全局規劃，但是在實時規劃方面有待提高。而機器學習可以將路徑規劃問題看作馬爾科夫決策的過程，以學習訓練的方式規劃AUV的航行路徑，能夠縮短規劃時間，不依賴環境模型，適用于實時動態規劃。

1) 神經網絡：是人工智能的大腦，在AUV規劃過程中，將傳感器感知到的環境數據輸入網絡，輸出AUV的行為和動作，訓練神經網絡權值參數以得到網絡模型[16]，實現輸入到輸出的映射。規劃時利用該映射，根據當前的環境輸入計算行為動作輸出得到路徑。朱大奇[17]重點研究了突發障礙物情況，利用環境變化導致神經元激勵和活性輸出值變化，從而輸出無碰撞路徑點。

2) 強化學習：把學習看作試探評價的過程[18-20]，如圖1所示為強化學習過程，AUV產生動作試探環境，環境產生相應的強化信號，AUV判斷信號的好壞再基于當前狀態產生下一動作，使得累計獎勵最大。這種通過與環境的交互進行學習的方式，不需要提前準備帶有標簽的數據，更加方便，適用于未知環境下的AUV路徑規劃。冉祥瑞[21]將分層強化學習應用于AUV的路徑規劃任務中，基于分層思想并結合強化學習理論對AUV系統進行全局及局部路徑規劃設計，提高AUV在動態復雜海洋環境下的自適應性和自主作業能力。孫玉山等[22]提出一種基于強化學習的AUV三維路徑規劃方法，以學習訓練的方式實現了機器人路徑的尋優和避障。

圖1 強化學習Fig.1 Reinforcement learning

3) 深度強化學習：強化學習訓練策略解決問題，而深度學習可以提取數據的特征，不需要再利用矩陣儲存數據，適合解決大范圍環境下的規劃問題。孫玉山等[23]采用深度強化學習方法實現了大范圍三維環境下的AUV全局路徑規劃。

2 水下機器人路徑規劃研究現狀

近年來，對AUV路徑規劃的研究層出不窮，包括多AUV路徑規劃、精細路徑規劃、大范圍路徑規劃等。Eichhorn等[24]提出了“SLOCUM Glider”AUV的最優路徑規劃的幾個重要的面向實踐的要求，以及基于快速圖的算法的解決方案。文章根據紐芬蘭和拉布拉多大陸架實際任務的要求規劃了最優航行路徑。Zhu等[25]提出了一種基于生物啟發的集成自組織映射算法，用于AUV系統在三維水下避障環境下的任務分配和路徑規劃。該算法將生物啟發神經網絡(bio-inspired neural network，BINN)，嵌入到自組織映射(self-organizing map，SOM)神經網絡中，安排多個AUV探測所有指定的目標位置，利用BINN更新SOM網絡的權值，實現AUV路徑規劃和有效導航。

Yu等[26]提出了三維大規模戰場環境下AUV路徑規劃的快速行進方法，解決了AUV被發現概率高、導航安全、油耗低等問題。其綜合考慮障礙物與地雷碰撞風險、探測概率、航行深度和航路長度等因素，同時考慮了AUV的機動約束條件，包括安全深度和轉彎半徑等因素，利用快速搜索(fast marching，FM)方法實現AUV的路徑規劃。Sun等[27]提出了三維AUV路徑規劃的優化模糊控制算法。該模型可用于復雜水下環境下的路徑規劃。建立了基于水平面上和垂直面上布置的2個聲吶的路徑規劃，利用聲吶采集的環境信息，通過帶加速/制動模塊的模糊系統，可以獲得AUV在三維空間的虛擬加速度和速度，使AUV能夠自動避開動態障礙物?？紤]到模糊邊界選擇具有較大的主觀性，生成的路徑不能保證是最優的。因此，為了解決這一問題，將2種優化方法進行比較，對模糊集進行了優化。文獻[28]針對AUV全覆蓋路徑規劃問題，提出了一種基于GBNN算法(glasius bio-inspired neural network)的離散集中規劃新策略,該算法是一種計算量小、效率高的新開發工具。針對單臺AUV大航程全覆蓋任務難度大的問題，提出了基于GBNN算法的多臺AUV全覆蓋離散集中規劃方法。

考慮到由于AUV水下動力學特性，AUV跟蹤最短路徑到達目標位置是不切實際的。Gore等[29]提出一種有效的動態估計目標路徑的算法，使AUV能夠根據估計的最短路徑重新調整運動狀態。其使用了一種本地搜索方法，結合圖像采集和分割，易于實現。在動態水下場景中，該算法也可以有效地重新規劃路徑。Pan等[30]針對三維空間環境下路徑規劃中搜索最優解效率低、搜索時間長等問題，提出了遺傳-螞蟻混合算法，設計了分區劃分方法以減小種群搜索范圍。在此基礎上，提出了一種提高集成效率的優化集成策略，并根據安全性的原則確定了評價函數。Li等[31]針對多自主水下機器人分布式任務規劃模型，提出了一種渦旋時域量子人工蜂群優化算法來求解多AUV最優任務規劃方案。在不確定海洋環境下，采用滾動時域控制技術實現了在較窄的時間范圍內的數值優化以減少計算量，實現AUV動態、環境和成本之間的權衡，并通過仿真實驗對渦旋時域量子蜂群優化算法的分布式任務規劃性能進行了評估。Ramos等[32]根據海洋流場復雜的時空結構基于動力系統規劃了一條優化科學收益和導航效率的路徑，通過對2016-04—2017-03穿越北大西洋的Silbo號水下滑翔機的實時導航策略的實現，論證了動力系統理論實現這一目標的能力。

Lin等[33]為了更有效地實現動態路徑規劃，將基于粒子群優化的動態路由算法、自整定模糊控制器、立體視覺檢測技術和6自由度數學模型集成到自主水下航行器檢測系統中。采用多目標粒子群優化的思想對基于粒子群算法的動態路由算法進行了改進，該算法能夠并行處理不同權重的目標。

Mahmoudzadeh等[34]提出了一種AUV在不同海域航行時任務分配與管理的混合路徑規劃模型。定義了分布在大尺度地形中的若干優先級任務；考慮到任務時間、車輛電池、潛在操作領域的不確定性和可變性的限制，進行適當的任務時間和能量管理。采用差分進化和螢火蟲優化算法相結合的方法，對任務分配路徑和路徑規劃的同步過程進行了仿真，該混合模型在充分利用電流提供的最小能量和控制相應的任務時間的同時，能夠有效地完成分配的最大任務數。文獻[35]為水下機器人在不確定的水下環境下，在有限的時間內完成任務分配過程設計了一個分層動態任務規劃框架；為任務優先級分配，引導AUV朝向感興趣的目標，并管理按時完成任務，開發了一個高級反應性任務規劃器。設計了一種低層運動規劃器，通過重新生成最優軌跡處理動態地形的意外變化?；谏锏乩韺W的優化算法根據任務/地形更新重新安排任務。

孫玉山等[36]提出一種基于輔助決策系統的水下潛器路徑規劃方法，綜合考慮潛器航行路徑的隱蔽性、經濟性和安全性問題，基于強化學習方法，結合潛艇的聲隱身指標，考慮到水下復雜的動態環境，建立態勢評估系統、水下路徑規劃系統以及隱身輔助決策系統：利用聲隱身態勢評估系統計算當前海域的敵方探測聲吶對潛艇的威脅范圍，利用規劃系統規劃出一條避開威脅范圍的安全、經濟、隱蔽的航路，同時潛艇實時探測當前海域情況，輔助決策系統進行實時的仿真推演，給出相應的隱身方案。

通過對當前AUV的研究現狀進行分析可以發現，水下規劃的額算法越來越趨向于智能化，規劃區域也向大范圍寬廣水域發展。無論是對作戰任務還是探測任務的規劃，研究者們都進行了一定的討論。但是對于水下干擾、水下環境感知、水下避障等問題還需深入研究。

3 水下機器人規劃的技術問題及研究方向

AUV的規劃技術發展至今已經攻克了很多難題，包括：水下大范圍的三維空間環境；水下環境信息獲取難度較大；水下定位、通訊難度較大；水流對AUV的影響增大了規劃的難度；對AUV運動的多約束條件：安全性、經濟型、隱蔽性等。但是隨著AUV智能水平及人們對其要求的逐漸提高，許多新的技術難點及研究熱點涌現，從目前的研究現狀和水下機器人未來的發展需求來看，AUV規劃技術的研究主要集中在以下幾個方面：

1)路徑規劃方法的優化及開發。

開發及改進路徑規劃方法是AUV路徑規劃技術的重要內容。為了彌補現有方法的缺點及不足，目前的主要研究方向是結合現代科技的發展，如：深度學習、強化學習等計算機智能技術，開發易于實現、能夠彌補其他算法不足的最優方法。另外，各種規劃方法的結合也是目前AUV路徑規劃技術的研究方向，將多種方法相結合以相互協作彌補單個方法的不足。

2)局部路徑規劃的研究。

由于水下環境復雜多變、環境信息不易獲取，對于AUV來說，其作業環境有許多未知因素，所以局部規劃是AUV路徑規劃技術的研究重點。水下多用光學傳感器協助聲學傳感器感知水下環境，對未知環境的探索是實現局部路徑規劃的關鍵。所以水下目標的識別與檢測、濾波算法、信息融合等技術也是目前規劃領域的研究方向。

3)多機器人協同規劃。

隨著AUV的智能性及水下任務的復雜程度逐漸提高，對多AUV協同規劃的研究逐漸火熱起來。多AUV所具備的性能優勢遠遠勝過單艘AUV，尤其是應用于某些大規模區域的水文信息采集、目標搜索、應急救援、多異構平臺協同任務等領域。該復雜的多約束多目標優化問題，主要研究在滿足各類約束條件下，合理的將任務分配給有能力的AUV，再根據分配的任務進行路勁規劃。多AUV協同規劃任務對環境及任務建模、規劃方法都有很高的要求。所以，對多AUV進行編隊、任務分配、路徑規劃等以規劃多個機器人共同完成復雜作業任務成為了當前的研究熱點。

4)多平臺協同規劃。

隨著科學技術的發展，目前的作戰體系由原來的單平臺作戰逐漸演變為陸?？仗於嗥脚_協同作戰。這種作戰方式打破軍種、領域的界限，將各種力量要素融合起來，實現全方位、立體、同步作戰，對各個平臺的規劃要求極高。信息數據交換系統是多平臺協同規劃的關鍵技術之一，如何實現地理信息數據的集成與共享是實現陸?？仗煲惑w化協同作戰規劃必須要解決的問題。在多平臺協同作戰情況下的智能決策規劃方面，現有方法基本都為針對特定具體任務設計，通用性和智能程度都很低。而當今，隨著通用人工智能技術的發展，未來無人作戰平臺智能決策規劃方法也必將朝著通用化、智能化的方向發展。未來的每一種無人作戰平臺都搭載一個智能體，在作戰任務指令下自主執行任務。

4 結論

1)就目前的研究成果來看，A*搜索算法、人工勢場法及蟻群算法等因其算法實現簡單、規劃效果良好等優點而被廣泛的應用于AUV的路徑規劃。隨著計算機智能技術的發展，使智能機器人具有自學習能力成為各領域廣泛研究的熱點，強化學習被認為是比較適合于在未知的動態環境下進行機器人避障和路徑規劃的學習方法，所以目前更多的研究者們致力于將強化學習算法更好的應用于AUV的規劃任務中。

2)水下規劃不同于陸地，具有一定的特殊性，三維規劃、水下感知、水下干擾、水下協同是當前水下規劃亟需解決的問題。

3)隨著智能化水平的提高，AUV需要完成的任務越來越復雜以至于單個AUV很難完成，所以多AUV甚至多無人平臺的協同規劃技術逐漸成為水下規劃領域的研究熱點。