POMDP-APF：一種基于POMDP模型的APF無人機路徑規劃策略

摘 要：針對無人機在路徑規劃過程中會遇到靜態或者動態的障礙物，從而導致路徑規劃失敗的問題，提出一種基于部分可觀測馬爾可夫決策過程（partially observable Markov decision process，POMDP）模型的人工勢場（artificial potential field，APF）無人機路徑規劃策略（POMDP-APF）。首先使用傳感器獲得的障礙物信息結合POMDP模型預測障礙物的未來位置，為無人機的路徑規劃做準備；其次，提出一種新的基于障礙物的正方體外接球的模型，保障無人機在路徑規劃過程中的安全性；最后，結合改進的APF算法實現無人機的路徑規劃。仿真結果表明，POMDP-APF策略在無人機實時路徑規劃中具有良好的可行性和有效性，使無人機能夠有效避開障礙物，同時路徑長度以及耗費時間更短。

關鍵詞：無人機路徑規劃； 人工勢場法； 部分可觀測馬爾可夫決策過程； 避障

中圖分類號：TP242

文獻標志碼：A

文章編號：1001-3695（2023）07-031-2124-06

doi：10.19734/j.issn.1001-3695.2022.11.0638

POMDP-APF：UAV path planning strategy of APF based on POMDP model

Feng Jianxin^1a，1b， Xie Shuang^1a，1b?， Guo Guanlin^1a，1b， Pan Chengsheng²

（1.a.School of Information Engineering， b.Key Laboratory of Communication amp; Network， Dalian University， Dalian Liaoning 116600， China; 2.School of Electronics amp; Information Engineering， Nanjing University of Information Science amp; Technology， Nanjing 211800， China）

Abstract：In order to solve the failure of path planning with static or dynamic obstacles in the process of path planning， this paper proposed an artificial potential field based on POMDP-APF path planning for UAV （unmanned aerial vehicle）. Firstly， the obstacle information obtained by sensors was combined with POMDP model to predict the future locations of obstacles. Se-condly， it proposed a new circumscribed sphere of cube for obstacle to ensure the safety of UAV in path planning process. Finally， combined with the improved APF algorithm， it realized the path planning of UAV. Simulation results show that POMDP-APF strategy has good feasibility and effectiveness in the real-time path planning of UAV， so that UAV can effectively avoid obstacles with shorter path length and time.

Key words：path planning for UAV; APF; POMDP; obstacle avoidance

0 引言

無人機（unmanned aerial vehicle，UAV）是一種由動力驅動、無人駕駛、可重復使用的航空器^［1］。UAV是人類拓展認知，探索天空的重要工具，它可以在人類無法到達的地方自主運行，完成人類無法完成的作業，具有非常深遠的研究價值。與有人駕駛飛機相比，UAV具有尺寸小、重量輕、制造成本與壽命周期費用低、操作簡單等優點。隨著科學技術的突飛猛進，UAV在許多應用領域迅速增長，包括遙感^［2，3］、搜索和救援^［4，5］、精準農業^［6，7］等。針對UAV的研究在最近幾年得到了廣泛的關注，UAV路徑規劃也成為了航空領域最具挑戰性和研究價值的技術之一^［8～11］。

UAV路徑規劃技術是一門綜合數學、統計學、運動學及人工智能等多個學科的最新研究成果，其發展對軍事、交通、農業和電影等行業具有重大的影響。UAV路徑規劃是指在UAV飛行環境地圖中設置起點和終點，并使用相關的路徑規劃算法規劃一條無碰撞、最優和安全的UAV飛行路徑^［12］。路徑規劃技術是提高UAV自主飛行能力、保障飛行安全的關鍵技術之一，其核心技術是路徑規劃算法。合適的路徑規劃算法是UAV順利完成飛行任務的前提和基礎。常用UAV路徑規劃的算法有很多，比如遺傳算法^［13］、粒子群算法^［14］、A^*算法^{［15，16］}、快速隨機搜索樹算法^［17］、Dijkstra算法^［18］、人工勢場法（artificial potential field，APF）^［19］等。文獻［20］對幾種常用的路徑規劃算法進行了全面詳細的介紹和比較。

人工勢場法是一種原理比較簡單的路徑規劃算法，由于其具有結構簡單、計算量小以及實時性較高等優點被廣泛地應用在局部路徑規劃算法中。此外，人工勢場法還具有很強的移植性，通過改變人工勢場的來源，還可以解決多智能體系統的避障問題和地形避障問題^［21］。但是，人工勢場法也存在一些問題。Koren等人^［22］指出了APF方法固有的四個重要問題，其中，局部最小值是亟待解決的問題。文獻［23］提出了一種改進的Q-learning算法與人工勢場法結合的算法，解決了兩個路徑節點之間無法進行有效路徑規劃的問題，但是當節點之間的未知障礙物過多時，該方法不能解決局部最小值問題。Liu等人^［24］提出了一種基于虛擬航路點的新型附加力模型，該模型為落入局部最小區域的候選規劃點提供了額外的力，有效地解決了局部最小值問題，但其缺陷是存在未知的動態障礙物時，該方法不可行。文獻［25］將UAV當前位置和前一個時刻的飛行位置作比較，若距離小于設定的值，則判斷UAV此時進入了局部最小區域，在UAV陷入局部最小值后，設置一個子目標來改變重力勢場，此時UAV的合力不等于零，它將從局部最小點逃逸，該方法有效地改善了傳統方法中目標點不可達和局部極小值的問題。文獻［26］提出了正六邊形引導方法來改進局部最小值問題，同時針對動態環境提出運動物體檢測與避讓的相對速度方法，該方法不僅考慮空間位置，還考慮了運動物體速度的大小和方向，可以及時避開動態障礙物，但其缺陷是當障礙物突然加速或改變運動方向時，可能會引起碰撞。文獻［27］把改進的人工勢場方法與混沌蝙蝠算法相結合，顯著地提高了找到合適規劃路徑的成功率，減少了收斂時間，且具有更好的魯棒性，在UAV路徑規劃問題中產生更好的求解性能，但是對于未知環境下的動態障礙物，該算法不能很好地起到作用。文獻［28］針對APF的局部極小值問題，提出一種新穎的障礙物周圍旋轉勢場，該勢場垂直于障礙物的排斥勢場，以確保UAV的合力不等于零，從而避免UAV陷入局部最小值的情況出現。文獻［29］結合模糊算法，將UAV重力和排斥力之差的絕對值與合力之比及其角度差作為兩個模糊輸入。借助模糊規則計算模糊輸出力以打破局部最小值，缺陷是該算法的靜態或動態障礙物都是已知的，當環境狀態未知時，導致路徑規劃失敗。文獻［30］使用高斯函數代替傳統人工勢場法中的排斥函數，但是當目標附近存在多個障礙物時，UAV無法接近目標。袁佳樂等人^［31］通過修改UAV運行過程中的步長避免UAV與障礙物發生碰撞，同時改進人工勢場計算，解決UAV局部故障問題。韓堯等人^［32］在TAPF方法的基礎上引入角度與速度調節因子使UAV飛行軌跡更加平滑，引入輔助避障力解決局部最小值問題。文獻［33］ 提出一種編隊防碰撞系統，通過該系統篩選出最有可能發生碰撞的UAV，然后使用改進的APF算法避免與障礙物發生碰撞，從而到達目標點。文獻［34］將一種繞過最近障礙物的方法集成到人工勢場中，以避免APF的局部最小值陷阱，可以幫助UAV成功脫離局部最小值而不會與任何障礙物發生碰撞。文獻［35］引入了一個額外的環力，新的合力使智能體能夠跳出局部最小值，但該算法是在二維環境下討論的，與實際的三維環境不符。文獻［36］把UAV陷入局部最小值的區域假設成一個障礙物，改變合力的大小和方向，從而避免UAV陷入局部最小值。

由于空中的UAV以及運動障礙物具有很高的速度，僅僅依靠傳感器的檢測，無法滿足UAV路徑規劃的實時性。所以，需要根據檢測到的幾個時刻的數據，進一步估算障礙物的下一步的運動位置，來保證路徑規劃的安全性和實時性。目前已有研究以馬爾可夫決策模型（Markov decision process，MDP）^{［37～39］}預測障礙物的運動狀態，從而規劃UAV的路徑。MDP模型應用在路徑規劃中要求對所處環境狀態是完全可以觀察的，換句話說要求任意時刻可以得到UAV所處環境的實際狀態，進而根據當前完全已知的實際環境狀態作出決策。但是實際場景中，由于傳感器存在噪聲影響，并且周圍環境是隨機的，難以獲得實際環境精確狀態，所以MDP模型的應用受到限制。在不確定的環境中，本文選用POMDP模型，利用傳感器獲得的部分環境信息進行障礙物未來狀態預測，有效地彌補了MDP模型必須完全已知實際環境狀態的這一缺陷。

POMDP模型適應于環境狀態并不完全可知的情況下，能夠很好地用于環境、動作以及觀測的不確定情況，因此本文在充分利用UAV路徑規劃特性的基礎上，提出了一種改進的人工勢場法，將改進的人工勢場法和部分可觀察馬爾可夫決策模型結合，提出POMDP-APF策略，該策略解決了傳統的人工勢場法在UAV路徑規劃的過程中會陷入局部最小值，從而導致目標不可達的問題。本文的主要貢獻如下：

a）目前使用POMDP模型進行UAV路徑規劃的文章中，多數都以UAV為中心建立模型，這很有可能造成UAV頻繁地進行路徑切換，降低路徑規劃的效率。本文首次提出以障礙物為中心的POMDP模型，預測障礙物的運動狀態，提高UAV路徑規劃的效率。

b）多數算法在UAV路徑規劃的過程中都將障礙物看做一個粒子，而忽略了障礙物的實際形狀所造成的影響。這種情況下很有可能致使UAV和障礙物發生碰撞，導致路徑規劃失敗。本文提出了基于障礙物的正方體外接球的模型，能夠有效地避免UAV與障礙物碰撞的情況發生，提高路徑規劃的安全性。

c）本文結合POMDP模型提出POMDP-APF無人機路徑規劃策略，該策略能夠保證UAV在未知環境中路徑規劃的安全性。同時，解決了傳統APF算法的局部最小值問題。

1 問題闡述及模型構建

在UAV的飛行地圖中，由于UAV對環境狀態是未知的，周圍環境較為復雜，UAV從起點向目標飛行的過程中可能會遇到許多典型的障礙物，例如建筑物、山脈、火災威脅以及其他飛行物等。此時，UAV需要利用攜帶的傳感器實時獲取靜態或者動態障礙物的距離和方位角，并根據這些測量結果實時規劃UAV的飛行路徑以保證可以順利避開障礙物，到達目標點。本文假設UAV的飛行速度固定，UAV開始以恒定的速度和方向朝著目標點飛去。

為了能夠實時規劃UAV飛行路徑，本文采用輕量級的APF進行實時在線路徑規劃，要求UAV在安全避開障礙物到達目標點的同時，保證避障過程中的實時性。由于POMDP模型適用于解決環境狀態不確定的相關問題，能夠提高UAV在未知環境執行飛行任務的能力，所以本文提出了基于POMDP模型的APF無人機路徑規劃策略：POMDP-APF。

1.1 路徑規劃中的POMDP要素

UAV路徑規劃問題中的POMDP模型可以用S、A、O、T、B、C六個組件來表示。其中：S表示狀態空間;A代表動作空間;O為觀測函數;T為狀態傳遞規律;B為信念狀態;C為回報函數。

1.1.1 狀態空間

在UAV路徑規劃問題中，狀態空間S包含兩個子系統狀態進行問題的描述，這兩個子系統狀態分別是UAV的運動狀態UAV_t和障礙物的運動狀態Obstacle_t。在t時刻的狀態空間可定義為

S_t=（UAV_t，Obstacle_t）（1）

其中：UAV的狀態UAV_t表示UAV在時刻t的位置和速度。它由一個五維向量表示UAV_t=（x^u_t，y^u_t，z^u_t，v^u_t，?^u_t），其中（x^u_t，y^u_t，z^u_t）表示UAV在t時刻的位置，v^u_t表示UAV在t時刻的速度，?^u_t表示UAV在t時刻的運動方向。同理，可以表示出t時刻障礙物的運動狀態Obstacle_t=（x^o_t，y^o_t，z^o_t，v^o_t，?^o_t），其中，v^o_t表示t時刻障礙物的運動速度。障礙物在路徑規劃中的部分數據是可以通過機載傳感器觀察到的，比如位置、速度、航向等。

1.1.2 動作空間

在路徑規劃問題中，UAV能夠根據傳感器獲得的障礙物運動狀態采取相應的動作，從而控制UAV的狀態，改變飛行路徑。因此，本文使用t時刻障礙物采取的動作A_t作為動作空間，如式（2）所示。

A_t=（Δx^o_t，Δy^o_t，Δz^o_t，φ^o_t，α^o_t）（2）

其中：A_t指的是t時刻障礙物所采取的動作；（Δx^o_t，Δy^o_t，Δz^o_t）是指在t時刻狀態下障礙物相對于t-1時刻在大地坐標系上所偏移的距離；φ^o_t是指相對于t-1時刻的傾斜角度；α^o_t是指t時刻障礙物的加速度。

1.1.3 觀測空間和觀測函數

將觀測空間定義為t時刻UAV通過傳感器觀測到障礙物的運動狀態Ob_t，如式（3）所示。

其中：Ob_t為t時刻傳感器所觀測到的障礙物運動狀態，包括此時障礙物的位置、速度、運動方向以及相對于UAV的方位角θ。方位角θ可以由式（4）計算。

在POMDP模型中，由于距離以及周圍環境因素，UAV攜帶的傳感器不能夠準確地測量障礙物在t時刻的狀態。在某一時刻，只能得到包含噪聲的觀測結果。因此，將障礙物的觀測方程定義成存在噪聲情況下的觀測概率函數。觀測方程為

式（5）表示存在噪聲時，障礙物在t時刻采取動作a_t后，在t+1時刻到達狀態s_t+1時，觀察到o_t+1的概率。其中，a_t∈A_t、s_t+1∈S_t、o_t+1∈Ob_t，Err為傳感器的觀測噪聲序列。

在獲取障礙物的狀態的過程中，Err與UAV和障礙物之間的位置有關。當UAV與障礙物距離較近時，觀測噪聲小，觀測精度高。當距離較遠時，噪聲較大，觀測誤差也相應變大。噪聲Err可以表示為

觀測函數依賴于UAV相對于障礙物的位置，其中k、m是一個大于0且固定的系數，Dis（UAV_t，Obstacle_t）表示t時刻UAV和障礙物之間的距離。設置m的主要原因是避免距離為0時，UAV與障礙物發生碰撞的狀況。

由于周圍環境較為復雜，UAV通過傳感器獲取障礙物信息時，獲取到的目標信息也存在測量偏差值，所以本文在UAV通過傳感器初次獲得障礙物相關信息時的安全距離設置較大，避免因為傳感器觀測的誤差而出現UAV和障礙物發生碰撞的情況。在距離越近時，噪聲越小，噪聲按照式（6）動態調節，進而UAV自動調整與障礙物之間的飛行距離。

1.1.4 狀態轉移函數

狀態轉移函數表示在當前時刻采取行動后，下一時刻狀態的概率分布。對于本文定義的狀態空間中的UAV和障礙物兩個子系統，它們相應的狀態轉移律分別定義如下。

UAV的狀態轉移函數定義如式（7）所示。

函數的定義是設計UAV狀態控制的動力學方程的過程。這里，本文采用的映射關系如下^［40］：

通過式（8）計算出UAV在t+1時刻的位置。其中：α是UAV的速度方向和y_z平面的夾角;β是UAV的速度方向和x_y平面的夾角;T為兩個時刻之間的采樣周期^［41］。障礙物的狀態轉移函數可以定義為狀態轉移概率，表示在t時刻障礙物采取動作a_t后，在t+1時刻到達s_t+1狀態的概率，具有馬爾可夫性。根據全概率公式，狀態轉移概率可以分解為

1.1.5 信念狀態

由于UAV的飛行環境的狀態不能完全可觀察，所以在POMDP模型中引入了信念狀態。信念狀態是每個狀態的后驗概率分布，表示障礙物對自己目前所處狀態的可信度，具有馬爾可夫性。它的更新是通過貝葉斯定律根據歷史觀察和動作值計算出來的。本文使用t+1時刻的信念狀態概率來描述此時刻的信念狀態。

式（10）表示障礙物在t時刻信念狀態為B_t的前提下，選擇動作a_t后轉移到下一個信念狀態B_t+1的概率過程。

1.1.6 回報函數

回報函數表示在某種狀態下采取行動后獲得的回報值，是預測障礙物下一時刻位置的重要判斷依據，通常需要根據多個標準來定義。鑒于路徑規劃過程中，UAV導航的目標是最小化到達目標點的路徑長度，同時避開障礙物。因此首要考慮的因素是安全性，其次是最短路徑因素。本文的回報函數用UAV在t時刻根據傳感器獲得的障礙物的狀態采取行動后的安全性以及UAV運動方向改變次數來表示。回報函數如式（11）所示。

如果UAV與障礙物發生沖突，則R_safe（s，a）獎勵為0，路徑規劃失敗；如果UAV能夠順利到達目標點，則R_safe（s，a）安全性的獎勵是100。R_count（s，a）表示UAV檢測到障礙物后所改變運動方向的次數，R_count（s，a）每增加1，則表示UAV在此時刻需要調整一次運動方向，獎勵為-10。

針對障礙物的位置預測使用文獻［30］中笛卡爾矩形柵格表示環境，由傳感器測得的障礙物信息可以被映射到環境坐標系中。在該柵格坐標系中，障礙物由當前位置可能向其周圍九個飛行航向角飛行，這九個飛行航向角分別代表東、東北、北、西北、西、西南、南、東南以及中間位置。

通過上述組件的配置以及文獻［30］的柵格地圖法，使用本文POMDP模型能夠很好地預測出障礙物的下一步位置Ret，完成障礙物的軌跡生成，為后文的UAV路徑規劃做好基礎。

1.2 障礙物影響模型

UAV在飛行過程中不僅要考慮自身約束還要考慮各種障礙物的威脅。多數路徑規劃算法中，將UAV和各種障礙物都看做一個粒子，但實際情況中，遇到的障礙物多為不規則的三維物體，比如小鳥、山丘等，如果只是將其簡單看做粒子，會加大路徑規劃的風險。由于空中靜態或者動態的障礙物多數都近似于球體，比如熱氣球、蝙蝠、小鳥等，所以本文主要處理球體或者類似球體的障礙物，只要障礙物的長度、寬度之比在5∶2之間都可以近似看做球體。為了保證UAV飛行路徑的生成以及遇到障礙物時的安全性，本文提出嵌套最小正方體的外接球障礙物模型。具體改進方法是通過UAV所攜帶的云臺檢測障礙物的圖像信息，利用最小正方體完全包圍障礙物，以正方體的對角線長度為直徑做障礙物的外接球，二維障礙物模型如圖1所示。其中，最內側的實線表示障礙物的二維平面圖，中間的虛線為正方體的二維模型，外側的實線為外接球的二維模型。

UAV在路徑規劃過程中，將UAV和障礙物都假設為一個球體，障礙物和UAV的位置是各自的球心，通過障礙物影響模型設計一個UAV飛行路徑安全范圍，為避障提供進一步保障。障礙物的影響模型如圖2所示。其中，R_u代表UAV的球體半徑，R_o代表障礙物的球體半徑。針對UAV，利用UAV質心，使用UAV半徑參數直接構成球體。只要滿足UAV球心和障礙物球心之間的距離大于半徑之和，即disgt;Dis（R_u，R_o），就認為這是一條安全有效的路徑，UAV通過這條路徑能夠安全地到達終點。其中，dis表示UAV球心和障礙物球心之間的距離。

1.3 斥力勢場模型

在UAV運動過程中為其建立一個虛擬的人造斥力場，單個障礙物形成一個斥力勢場，多個障礙物時等效為一個特定區域的斥力勢場，受力分析如圖3所示。假設單個障礙物所形成的斥力勢場是以該障礙物為中心的球體，其勢場影響范圍由障礙物的影響模型決定。障礙物Obs₁在點B的斥力勢場為U_rep₁，障礙物Obs₂在點B的斥力勢場為U_rep₂，則Obs₁和Obs₂兩個障礙物形成的合勢場為U_rep。根據分析可知，多個障礙物在某點生成的合勢場可表示為

其中：η為斥力系數;R_o為障礙物模型的球體半徑;r_i為障礙物Obs_i的最小安全飛行距離;r為任意一點與障礙物之間的距離。

當UAV進入勢力場范圍時，所受斥力表示為

其中：R_u為UAV模型的球體半徑。根據以上分析可知，多個障礙物在未知環境下形成一個等效勢場。勢場是運動障礙物周圍環境里虛擬的特殊存在，主要體現在對進入其中的UAV有斥力作用，勢場大小由障礙物模型半徑以及UAV與障礙物距離共同決定，勢場的方向都是由障礙物中心指向UAV。

2 無人機路徑規劃

將UAV起始位置到目標位置作為參考航線l，在飛行的未知環境中構建人工勢場，其中障礙物的位置坐標由傳感器測量值以及POMDP模型對障礙物的軌跡建模可得。

根據UAV在當前時刻檢測到的未知環境中的障礙物信息，建立當前時刻下未知環境的斥力等效勢場，進一步通過POMDP模型得到的障礙物預測信息，得到下一時刻未知環境中的斥力等效勢場。聯合當前時刻和下一時刻未知環境的斥力等效勢場，從而得到勢場最低的位置。

為了減少路徑規劃過程中的能量消耗，本文選用最低斥力勢場集合中的位置點作為規劃路徑。UAV飛行路徑在最低斥力勢場位置中進行選擇，位置點的選擇與其到參考航線、障礙物以及UAV的距離有關，則其目標函數如式（14）所示。

其中：N表示斥力勢場中場強最低點的坐標集合;d_1i指的是集合N中的第i個點與參考航線之間的距離;d₂i指的是集合N中的第i個點與UAV所處位置P的距離;d₃i指的是集合N中的第i個點與最近障礙物距離的倒數。通過目標函數D值最小獲得UAV飛行路徑。

UAV路徑規劃策略POMDP-APF流程如圖4所示。開始時UAV由起始點向目標點直線飛行，在飛行的過程中不斷檢測周圍環境。如果檢測到UAV處于障礙物的影響范圍之內，則使用POMDP預測障礙物的位置，并且建立一個人工的等效勢場，在等效勢場中選取滿足D最小的位置后，從而確定UAV的飛行路徑。POMDP-APF如算法1所示。

算法1 POMDP-APF策略

輸入：無人機位置坐標UAVPos;目標點位置坐標TargetPos。

輸出：無人機到達目標點。

a）UAVLinearMovement（）;

// 無人機向目標點直線運動

b）while （UAVPos ！= TargetPos）

UAVDetectObsAndBuildModel（）; /* 無人機檢測周圍是否存在障礙物并建立對應模型 */

ObsNextPos = ObsCurPos + Ret;

/* 根據POMDP預測結果獲取障礙物的下一步位置，Ret表示障礙物下一步可能性的最大方向 */

if（disgt;Dis（R_u，R_o））

// 障礙物對UAV飛行無影響

步驟a）;

else

FindLowestPoint（）;

// 尋找斥力勢場最低點

ConfimUAVPath（）;

/*確定當前時刻UAV飛行路徑*/

c） break;

// 無人機到達目標點，結束循環

d）end while

3 仿真實驗與結果分析

本章設計了基于四旋翼UAV仿真實驗，與固定翼UAV相比，四旋翼UAV具有更快的響應速度，實驗所用的UAV為大疆經緯MATRICE 100型號的四旋翼UAV，電池容量為5 700 mAh，電壓為22.8 V。傳感器使用大疆的視覺傳感導航系統，該系統能夠使用攝像頭來獲取圖像信息，然后根據圖像信息確定障礙物相對于UAV的位置和速度等狀態信息。

3.1 實驗環境與參數設置

本文算法實驗平臺的硬件配置為：CPU Intel^? Core^TM i7-8550U@3.20 GHz;GPU為NVIDIA GeFore GTX-1₆₅0Ti移動版。軟件平臺使用 Windows 11版本，仿真實驗采用MATLAB 2021b平臺以及基于Python 3.6的PyCharm 2021.2.3軟件，障礙物放置在UAV的飛行環境地圖中，經過建模處理后為球體。UAV飛行地圖大小為100×100×100，飛行路徑起點為（0，0，0），目標點位置為（100，100，100），仿真環境的基本信息如表1所示。

本文是針對人工勢場法APF的一種改進算法，在對比分析方面主要選擇與APF相關算法進行比較，包括TAPF、APF-fuzzy和CPFIBA算法。在確定起始點和目標點的情況下，對UAV路徑規劃的安全性（即是否與障礙物發生碰撞）、路徑長度以及耗費時間三方面性能進行比較分析。

3.2 靜態環境路徑規劃

UAV在執行飛行任務的過程中，首先要躲避靜態障礙物，然后到達指定目標點。靜態障礙物的信息設置如表2所示，仿真結果如圖5、6所示。

仿真環境中共設有五個半徑不同的障礙物，由圖5能夠看出，在UAV開始運動時，四種算法所規劃的路徑都是正常飛行。當機載傳感器檢測到障礙物obs₂時，TAPF算法規劃的路徑選擇從obs₂的上方繞過去，其他三種算法選擇從其下方飛行過去。在UAV從起點（0，0，0）處到（31，28，30）點處，APF-fuzzy、CPFIBA以及本文POMDP-APF策略幾乎相差無幾，效果均優于TAPF。但是當傳感器檢測到obs₃和obs₄存在的時候，TAPF和APF- fuzzy均出現了較大的轉向角，并且TAPF在遇到obs₅的時候陷入局部最小值，導致本次路徑規劃失敗。APF-fuzzy雖然能夠完成路徑規劃，但是從仿真結果來看，遠遠沒有本文POMDP-APF策略效率高。

由圖6的仿真局部放大圖不難看出，相較于APF-fuzzy、CPFIBA、POMDP-APF策略來說，整個避障路徑軌跡完整，沒有振蕩和較大轉向情況的出現，并且POMDP-APF策略相較于其他三種算法能夠產生更短的路徑，提供安全的避障。

表3表示在多個靜態障礙物環境下四種算法的路徑規劃結果，可以看出，TAPF算法在靜態障礙物過多的情況下發生了碰撞現象。本文算法、APF-fuzzy和CPFIBA都能夠避開多個靜態障礙物，但是本文算法的路徑長度最短，耗費時間也是最少。

3.3 動態環境路徑規劃

UAV在執行飛行任務的過程中，由于環境的不確定性，在其飛行路線上可能會出現動態的障礙物。由于CPFIBA只針對于靜態障礙物的飛行環境地圖中，所以本節主要與TAPF以及APF-fuzzy作對比分析。

3.3.1 單個動態障礙物

在單個動態障礙物設置如表4所示情況下，仿真結果如圖7、8所示。從圖7可以看到，在obs₁位置，三種算法都能夠有效地繞過obs₁障礙物，相較于TAPF以及APF-fuzzy，POMDP-APF策略在繞過obs₁時的轉角以及路徑長度更小。UAV繞過obs₁后，此時障礙物由靜止狀態開始運動，圖7中的虛線表示使用POMDP模型所預測的障礙物的運動軌跡，一段時間后，障礙物由obs₁運動到obs′₁的位置。此時TAPF以及APF-fuzzy都未能及時地改變UAV的運動方向，致使TAPF在（75，77，90）位置處與障礙物發生碰撞，APF-fuzzy在（83，78，90）處發生碰撞，路徑規劃失敗。而本文POMDP-APF策略在初次檢測到障礙物時一直實時預測障礙物的下一個運動位置，如果判斷UAV不在障礙物的影響范圍之內，則選擇不避障直奔目標點。

單個動態障礙物環境下的算法性能對比如表5所示。由于TAPF以及APF-fuzzy在遇到動態障礙物時未能及時改變UAV運動方向，導致UAV與障礙物發生碰撞，路徑規劃失敗。本文算法在躲避障礙物的同時，耗費時間最短。

3.3.2 多個動態障礙物

在多個動態障礙物的情況下，進行POMDP-APF和TAPF以及APF-fuzzy的仿真對比，障礙物信息如表6所示。其中，obs₂和obs₃為靜態障礙物，obs₁和obs₄初始時為靜止狀態，在UAV通過傳感器檢測到其存在并繞過時，將obs₁和obs₄設置成運動狀態，仿真結果如圖9、10所示。

圖9顯示了在多個動態障礙物情況下，UAV避障的仿真結果。與TAPF和APF-fuzzy相比，本文POMDP-APF策略能夠有效地避開所有障礙物。TAPF在obs₁處于靜止狀態時，能夠完成避障任務，但是當obs₁處于運動狀態時，由于其不能做到動態避障，在（18，54，40）處與obs₁發生碰撞，致使路徑規劃失敗。APF-fuzzy的仿真效果優于TAPF，在檢測到靜止的obs₁時能夠選擇一條正確的路徑規避，但是在obs₄開始運動時，在（72，86，62）處發生了碰撞行為。圖10為障礙物obs₄部分的局部放大圖。POMDP-APF在整個避障過程中，不管是檢測到了靜態障礙物，還是動態障礙物，UAV都可以獲得一條相對平滑的運動路徑。而且在實時避障過程中，POMDP-APF策略規劃的UAV的運動路徑是完整，沒有振蕩的。

表7是在多個靜態障礙物以及動態障礙物環境下不同算法的性能對比。可以看出本文算法在多個動態障礙物的情況下仍未發生碰撞行為，并且路徑長度和耗費時間也較短。

綜上分析，在不同環境下的仿真結果表明，相比較其他三種算法，本文算法在保證UAV在路徑規劃過程中避免與障礙物發生碰撞行為的前提下，具有更短的飛行路徑長度，耗費時間也是最少的，這也是本文算法相較于其他三種算法的優勢所在。

4 結束語

本文提出了一種實時在線POMDP-APF無人機路徑規劃策略，以適應未知障礙物的多變環境。目標是用部分已知的地圖和傳感器導航UAV到達目標位置，同時避開障礙物。該策略在UAV實時避障中具有良好的可行性和有效性，它改善了傳統APF方法的固有問題，同時保留了實時性的優點。仿真結果表明，本文策略能夠在避開障礙物的同時找到到達目標位置的最優路徑。該算法已在UAV運動規劃問題中得到驗證。

由于考慮到空中常見障礙物的形狀，本文限制了障礙物的長寬比例，如果遇到極端的不規則障礙物，使用POMDP-APF策略不能很好地進行路徑規劃，這也是本文的下一步研究重點。

參考文獻：

[1]秦博，王蕾.無人機發展綜述［J］.飛航導彈，2002（8）：5-11.（Qin Bo， Wang Lei. Overview of UAV development［J］.Aerodynamic Missile Journal，2002（8）：5-11.）

［2]Zhang Kemeng， Ma Sijia， Zheng Ruohui， et al. UAV remote sensing ima-ge dehazing based on double-scale transmission optimization strategy［J］.IEEE Geoscience and Remote Sensing Letters，2022，19：1-5.

［3]Liu Siyu， Cheng Jian， Liang Leikun， et al. Light-weight semantic segmentation network for UAV remote sensing images［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2021，14：8287-8296.

［4]Yuan Chi， Zhang Youmin， Liu Zhixiang. A survey on technologies for automatic forest fire monitoring， detection， and fighting using unmanned aerial vehicles and remote sensing techniques［J］.Canadian Journal of Forest Research，2015，45（7）：783-792.

［5]Zheng Yujun， Du Yichen， Ling Haifeng， et al. Evolutionary collaborative human-UAV search for escaped criminals［J］.IEEE Trans on Evolutionary Computation，2019，24（2）：217-231.

［6]Maes W H， Steppe K. Perspectives for remote sensing with unmanned aerial vehicles in precision agriculture［J］.Trends in Plant Science，2019，24（2）：152-164.

［7]Maddikunta P K R， Hakak S， Alazab M， et al. Unmanned aerial vehicles in smart agriculture：applications， requirements， and challenges［J］.IEEE Sensors Journal，2021，21（16）：17608-17619.

［8]Qadir Z， Ullah F， Munawar H S， et al. Addressing disasters in smart cities through UAVs path planning and 5G communications： a systema-tic review［J］.Computer Communications，2021，168：114-135.

［9]Khoufi I， Laouiti A， Adjih C. A survey of recent extended variants of the traveling salesman and vehicle routing problems for unmanned ae-rial vehicles［J］.Drones，2019，3（3）：article No.66.

［10]Zhang Hao， Xin Bin， Dou Lihua， et al. A review of cooperative path planning of an unmanned aerial vehicle group［J］.Frontiers of Information Technology amp; Electronic Engineering，2020，21（12）：1671-1694.

［11]Zhao Yijing， Zheng Zheng， Liu Yang. Survey on computational-intelligence-based UAV path planning［J］.Knowledge-Based Systems，2018，158：54-64.

［12]Aggarwal S， Kumar N. Path planning techniques for unmanned aerial vehicles： a review， solutions， and challenges［J］.Computer Communications，2020，149：270-299.

［13]Roberge V， Tarbouchi M， Labonté G. Comparison of parallel genetic algorithm and particle swarm optimization for real-time UAV path planning［J］.IEEE Trans on Industrial Informatics，2012，9（1）：132-141.

［14]Shao Shikai， Peng Yu， He Chenglong， et al. Efficient path planning for UAV formation via comprehensively improved particle swarm optimization［J］.ISA Trans，2020，97：415-430.

［15]Zhang Yan， Li Lingling， Lin H C， et al. Development of path planning approach using improved A^* algorithm in AGV system［J］.Journal of Internet Technology，2019，20（3）：915-924.

［16]Kala R， Shukla A， Tiwari R. Fusion of probabilistic A^* algorithm and fuzzy inference system for robotic path planning［J］.Artificial Intelligence Review，2010，33（4）：307-327.

［17]Kothari M， Postlethwaite I. A probabilistically robust path planning algorithm for UAVs using rapidly-exploring random trees［J］.Journal of Intelligent and Robotic Systems，2013，71（2）：231-253.

［18]Economou J T， Kladis G， Tsourdos A， et al. UAV optimum energy assignment using Dijkstra’s algorithm［C］//Proc of European Control Conference.Piscataway，NJ：IEEE Press，2007：287-292.

［19]Lu Yafei， Wu Anping， Chen Qingyang， et al. An improved UAV path planning method based on RRT-APF hybrid strategy［C］//Proc of the 5th International Conference on Automation，Control and Robo-tics Engineering.Piscataway，NJ：IEEE Press，2020：81-86.

［20]Radmanesh M， Kumar M， Guentert P H， et al. Overview of path-planning and obstacle avoidance algorithms for UAVs：a comparative study［J］.Unmanned Systems，2018，6（2）：95-118.

［21]Chen Yongbo， Luo Guanchen， Mei Yuesong， et al. UAV path planning using artificial potential field method updated by optimal control theory［J］.International Journal of Systems Science，2016，47（6）：1407-1420.

［22]Koren Y， Borenstein J. Potential field methods and their inherent limi-tations for mobile robot navigation［C］//Proc of IEEE International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，1991：1398-1404.

［23]Hou Xiaojian， Liu Fei， Wang Renjie， et al. A UAV dynamic path planning algorithm［C］//Proc of the 35th Youth Academic Annual Conference of Chinese Association of Automation.Piscataway，NJ：IEEE Press，2020：127-131.

［24]Liu Yuecheng， Zhao Yongjia. A virtual-waypoint based artificial potential field method for UAV path planning［C］//Proc of IEEE Chinese Guidance， Navigation and Control Conference.Piscataway，NJ：IEEE Press，2016：949-953.

［25]Xie Haitao， Qu Yaohong， Fan Guangpei， et al. Three-dimensional path planning of UAV based on improved artificial potential field［C］//Proc of the 40th Chinese Control Conference.Piscataway，NJ：IEEE Press，2021：7862-7867.

［26]Fan Xiaojing， Guo Yinjing， Liu Hui， et al. Improved artificial potential field method applied for AUV path planning［J］.Mathematical Problems in Engineering，2020，2020：article ID ₆₅23158.

［27]Lin Na， Tang Jiacheng， Li Xianwei， et al. A novel improved bat algorithm in UAV path planning［J］.Journal of Computers， Materials amp; Continua，2019，61（1）：323-344.

［28]Pan Zhenhua， Zhang Chengxi， Xia Yuanqing， et al. An improved artificial potential field method for path planning and formation control of the multi-UAV systems［J］.IEEE Trans on Circuits and Systems II： Express Briefs，2022，69（3）：1129-1133.

［29]Li Keyu， Lu Yonggen， Zhang Yanchi. Dynamic obstacle avoidance path planning of UAV based on improved APF［C］//Proc of the 5th International Conference on Communication， Image and Signal Processing.Piscataway，NJ：IEEE Press，2020：159-163.

［30]Liu Jiepeng， Xu Chengran， Wu Zhou， et al. Intelligent rebar layout in RC building frames using artificial potential field［J］.Automation in Construction，2020，114：103172.

［31]袁佳樂，劉蓉，王闖.改進人工勢場的無人機避障機動策略［J］.電光與控制，2022，29（7）：74-80.（Yuan Jiale， Liu Rong， Wang Chuang. A UAV obstacle avoidance strategy based on improved artificial potential field［J］.Electronics Optics amp; Control，2022，29（7）：74-80.）

［32]韓堯，李少華.基于改進人工勢場法的無人機航跡規劃［J］.系統工程與電子技術，2021，43（11）：3305-3311.（Han Yao， Li Shaohua.UAV path planning based on improved artificial potential field［J］.Systems Engineering and Electronics，2021，43（11）：3305-3311.）

［33]陳博琛，唐文兵，黃鴻云，等.基于改進人工勢場的未知障礙物無人機編隊避障［J］.計算機科學，2022，49（S1）：686-693.（Chen Bochen， Tang Wenbing， Huang Hongyun， et al. Pop-up obstacles avoidance for UAV formation based on improved artificial potential field［J］.Computer Science，2022，49（S1）：686-693.）

［34]Huang Tianpeng， Huang Deqing， Qin Na， et al. Path planning and control of a quadrotor UAV based on an improved APF using parallel search［J］.International Journal of Aerospace Engineering，2021，2021：article ID 5524841.

［35]Xiong Junqiang， Dai Jiyang， Wang Cunsong. Research on optimal control of robot motion obstacle avoidance［J］.Computer Simulation，2018，35（3）：252-256.

［36]Feng Jianxin， Zhang Jingze， Zhang Geng， et al. UAV dynamic path planning based on obstacle position prediction in an unknown environment［J］.IEEE Access，2021，9：154679-154691.

［37]Yu Xiang， Zhou Xiaobin， Zhang Youmin. Collision-free trajectory generation and tracking for UAVs using Markov decision process in a cluttered environment［J］.Journal of Intelligent amp; Robotic Systems，2019，93（1-2）：17-32.

［38]Moon C， Ahn J. Markov decision process-based potential field technique for UAV planning［J］.Journal of the Korean Society for Industrial and Applied Mathematics，2021，25（4）：149-161.

［39]Yu Xiang， Zhou Xiaobin， Zhang Youmin. Collision-free trajectory generation for UAVs using Markov decision process［C］//Proc of International Conference on Unmanned Aircraft Systems.Piscataway，NJ：IEEE Press，2017：56-61.

［40]Yang Qiming， Zhang Jiandong， Shi Guoqing. Path planning for unmanned aerial vehicle passive detection under the framework of partially observable Markov decision process［C］//Proc of Chinese Control and Decision Conference.Piscataway，NJ：IEEE Press，2018：3896-3903.

［41]Zang Rongchun， Cui Pingyuan， Cui Hutao， et al. Integrated navigation algorithm based on IMM-UKF［J］.Control Theory amp; Applications，2007，23（4）：634-638.