一種無監督學習型神經網絡的無人機全區域偵察路徑規劃

李波, 楊志鵬, 賈卓然, 馬浩

(1.西北工業大學 電子信息學院, 陜西 西安 710129;2.中國電子科技集團公司數據鏈技術重點實驗室, 陜西 西安 710068;3.中國航空工業集團公司西安航空計算技術研究所, 陜西 西安 710068)

無人機路徑規劃是指在任務空間中設計一條從起點到終點使得無人機飛行代價最優的航路，但是這種點對點的路徑規劃不能夠覆蓋全部任務區域[1-2]。在現實中，例如農藥噴灑、地圖測繪、戰場偵察等應用場景都依賴全覆蓋路徑規劃，因此開展全覆蓋路徑規劃算法研究具有重要意義。

在全區域覆蓋領域，國內外學者做了大量的研究。隨機覆蓋策略方法[3]在機器人遇到障礙物無法繼續直行時就隨機旋轉一定的角度繼續前進。分塊法[4]是通過障礙物的邊界對任務空間進行劃分，然后在完整任務空間連接圖中使用深度優先搜索的方法保證機器人訪問每個任務子空間，實現對任務空間的完全覆蓋。模板法[5]是根據先前信息來定義機動決策模板，并根據機器人所處環境的信息與各個模板進行匹配，選擇合適的運動策略并且不斷重復該過程進行區域覆蓋。

由于隨機策略無法確保全覆蓋且效率較低，分塊法需要已知探測環境，模板匹配的方法存在無法處理動態環境等問題[6]。針對上述不足，能夠通過訓練達到自適應的神經網絡引起了我們關注。

復雜結構的神經網絡在輸入信息充足的情況下，能夠較為準確地逼近任意連續的非線性函數[7]。傳統的神經網絡學習模式大致可以分為2種，即：有監督學習、無監督學習。神經網絡有監督學習就是通過訓練樣本來學習輸入與輸出之間隱藏的規律，再利用學習得到的規律將新的輸入數據送入網絡并得到推算的結果[8]。而對于本研究的輸入、輸出都是在一定區域內的連續值，在沒有訓練數據的情況下，很難根據全區域覆蓋的任務需求去設計每一種情況的值。綜上所述，無人機基于神經網絡全區域偵察路徑規劃面臨的問題有：環境信息未知，先驗知識匱乏，網絡不具有解搜索空間，樣本數量獲取有限等。

現有的遺傳算法及其改進型遺傳算法同神經網絡的結合都是為了提高神經網絡的計算精度,并且改進其易陷入局部極小值等問題,對網絡的權值與閾值進行了優化[9]。

本文提出對神經網絡通過遺傳算法進行無監督訓練的學習方法來完成全區域覆蓋路徑規劃，主要包括：①結合無人機威脅探測、區域搜索等信息，構建神經網絡輸入，設定無人機引擎推力大小為神經網絡的輸出，實現神經網絡對無人機運動的直接控制；②根據無人機是否滿足威脅約束、機動約束、全新區域探測等條件，構建適應度函數，利用遺傳算法使神經網絡進行無監督學習，訓練后的神經網絡能夠完成無人機狀態輸入到動作輸出的有效映射，實現無人機自主偵察路徑規劃和威脅規避；③加載在確定環境下無人機離線學習的控制模型數據，實現了復雜未知環境下無人機全區域偵察路徑規劃，驗證了本文所構建模型的遷移能力和泛化能力。

1 無人機全區域偵察數學模型

1.1 柵格法環境建模

采用柵格法來表示環境信息。設環境的最大長度為L,寬度為W。考慮機載偵察設備的偵察能力影響,設定正方形柵格的邊長為D,則柵格的總數目為L/D×W/D。

環境中包含諸如敵方雷達、防空火炮的威脅;還有自然環境中山峰和惡劣氣象的威脅。本文使用一系列點組成的多邊形來表示上述威脅。當某個柵格超過一半的面積被威脅所覆蓋,則該柵格所覆蓋的面積均被定義為威脅范圍,否則為可飛范圍。

1.2 無人機模型

無人機由于受到飛機性能的約束,在進行全區域偵察時并不能按照任意路徑飛行。因而在進行無人機路徑規劃的時候為了使航跡真實可飛,必須考慮飛機過載、最小轉彎半徑、最大飛行距離等制約條件。本文中無人偵察機飛行高度恒定在5 000 m,最大飛行速度為200 m/s。

圖1 無人機等高盤旋受力圖

圖1表示無人機正常盤旋時作用在飛機上的諸外力。由圖1可以得到如下方程組:

(1)

式中:P為發動機推力;Q為阻力;Y為升力;G為飛機重力;V為速度;γ為滾轉角;R為轉彎半徑。

當飛機結構強度或升力特性允許的最大過載為ny時,由(1)式可得最小轉彎半徑Rmin

(2)

無人機傳感器分為兩部分,一部分是用于探測各式環境信息的機載雷達,另一部分是掛載在飛機下方的光電吊艙。其中機載雷達能夠對無人機周圍的威脅進行探測,并且可以對周圍環境的偵察情況進行感知。

根據機載吊艙的工作性能和無人機的飛行高度,本文中無人偵察機能夠完成一定范圍內正方形區域的信息采集和拍照過程。

1.3 評價指標

無人機全區域偵察任務要求無人機對整個任務空間進行探測并自主躲避各種威脅。為了定量分析算法的性能,本文定義了如下評價指標。

1) 覆蓋率

2) 路徑重復率

3) 高頻重復率

2 神經網絡下的無人機全區域偵察路徑規劃

2.1 神經網絡的構建

無人機在發展初期普遍使用比例-積分-微分控制理論和線性控制方法對飛行進行控制。但是無人機發展的終極目標是擺脫人類直接參與控制決策。所以要求無人機能夠根據自身狀態和外界環境信息進行自主的飛行姿態、航跡規劃和作戰決策方面的控制,這是傳統控制方法所不具備的能力。

神經網絡在這一應用場景中表現出良好的能力,因為神經網絡善于找尋輸入與輸出之間的映射關系。同時人工神經網絡能夠通過自學習來不斷優化自身的網絡結構,從而達到更好的控制效果。本文意在構建一個前向神經網絡,控制無人機的機動決策,并最終完成全區域偵察任務。

2.1.1 輸出層

無人機向前飛行的速度由2個引擎的合力決定。通過改變左、右2個引擎推力的相對大小可以使飛機進行轉向機動,故設定神經網絡的輸出為左、右引擎的推力大小(al,ar)。當發動機接收到神經網絡的輸出后,可以調整引擎推力F=(al,ar),實現無人機飛行姿態的調整。

為了對無人機進行連續控制,神經網絡的輸出值應該是連續變化的。本文采用logistic函數作為激勵函數,如圖2所示。

圖2 S型曲線

當神經元的激勵值趨于正無窮時,函數值逼近1;當激勵值趨于負無窮時,函數值逼近0。當激勵值為0的時候函數值為0.5。S形函數如(3)式所示

(3)

式中:e為自然常數,其值近似為2.718 3;a是神經元的激勵值,即S形函數的自變量；p為S形函數變化率。

2.1.2 輸入層d1

無人機將機載雷達探測到的數據作為神經網絡的輸入,如圖3所示。設定傳感器個數j=5,利用傳感器分別測量無人機正右方、右前方、正前方、左前方、正左方威脅指數s1～5,其中

圖3 機載雷達探測威脅讀數

(4)

式中:sj表示第j個傳感器測量的威脅指數;dj表示第j個傳感器測量到的無人機與威脅邊界的距離值;d為傳感器的測量范圍。為了防止無人機與威脅邊界距離過近(即無人機與威脅邊界的距離已經小于最小轉彎半徑),需要檢測每個傳感器返回的讀數是否都大于安全距離。

除此之外本文希望無人機根據已經探測過區域的信息優先去探測還未被偵察的區域。如圖4所示,柵格化地圖的每一個區域都存儲著無人機在該柵格中停留的步長數,無人機傳感器能夠探測其末端位置所處方格中的停留步長數t1～5,因此可以得到無人機傳感器區域搜索信息為

(5)

式中:tj為無人機在第j個傳感器末端所處方格內的停留步長數;tmax為無人機最大停留步長數。本文設定tmax=30,表示當無人機在方格內停留超過30步時,區域搜索信息mj的示數恒為1。

圖4 雷達探測到訪信息讀數

因此,結合無人機威脅探測、區域搜索信息和無人機位置(x,y),最終設定神經網絡的輸入為

S=[s1,s2,s3,s4,s5,m1,m2,m3,m4,m5,x,y]

(6)

2.1.3 隱藏層及神經元個數的確定

本研究通過大量的實驗發現在隱藏層數為1、神經元數為6時神經網絡的性能最佳。圖5為控制無人機進行全區域偵察的神經網絡結構圖。

圖5 神經網絡結構圖

2.2 神經網絡的無監督學習模型

傳統的神經網絡學習模式大致可以分為2種,即:有監督學習、無監督學習。有監督學習依賴訓練樣本,通過訓練樣本調整神經網絡的權值,從而找尋輸入與輸出之間的關系。通過2.1節可知,本文中神經網絡的輸入與輸出均是一定區域內的連續值,并不是0或1的布爾值。在沒有訓練數據的情況下,很難根據全區域覆蓋的任務需求去設計每一種情況的值。所以需要使用無監督的學習方法來優化執行無人機全區域覆蓋的神經網絡。

在沒有輔助信息和解搜索空間知識的條件下,遺傳算法是一個有效的方法。該算法可以基于任務背景直觀的對適應度函數進行設計,從而進行個體的評價與選擇,并在此評價基礎上進行遺傳操作。這一特點使得遺傳算法能夠適應不同的應用場景。

神經網絡無監督學習模型的執行過程如圖6所示。神經網絡的輸出控制著無人機的飛行決策,離線學習階段中每個仿真步長內的飛行決策組成了執行任務的飛行軌跡。將適應度函數作為決策的優化函數,根據執行任務的飛行軌跡對無人機神經網絡進行打分,然后判斷解集合中是否有滿足算法終止條件的解。如果沒有就利用遺傳算法對網絡參數進行優化并更新網絡參數,然后重復之前的步驟。

圖6 無監督學習模型

2.2.1 染色體編碼與初始化

初始條件下的神經網絡權值是在極值的區間中隨機生成的,通常初始條件下的網絡表現是極差的。遺傳算法通過對初始種群中每個個體的表現進行打分,從中挑選優秀的個體進行遺傳,以此來不斷優化神經網絡的權值。

2.2.2 適應度函數

全區域偵察任務要求無人機能夠在神經網絡的控制下自主的躲避威脅,那么適應度函數必須能夠反映無人機規避威脅的能力。同時,該適應度函數需要滿足無人機的機動約束。考慮到無人機應該優先探索未偵察的區域而不是在有限的區域內進行重復搜索,適應度函數F還需要體現對無人機完成全新區域偵察的評價。綜合考慮以上因素,本研究中設定適應度函數F為

(7)

總適應度得分由所有仿真步長內的適應度得分求和所得,n為全區域覆蓋任務總共花費的仿真步長數目。第i個仿真步長的適應度得分由無人機質心所在位置(xi,yi)和無人機左右引擎的推力FLi和FRi共同決定。

(8)

其值由三部分組成,如(8)式所示:c(xi,yi)為無人機滿足威脅約束集的獎勵得分,d(FLi,FRi)為無人機滿足機動約束集的獎勵得分,g(xi,yi)為飛行到全新區域的獎勵得分。

(9)

式中,A為以(xi,yi)為圓心、Rmin為半徑的圓。當傳感器測量范圍內無障礙物(s1～5=1)或無人機可飛區域A與威脅區域Ω不重合(A∩Ω=?)時,視為無人機滿足威脅約束集,會得到1分;否則得到0分。此外

(10)

式中:r(FLi,FRi)為實際轉彎半徑;Rmin為最小轉彎半徑。通過判斷無人機實際轉彎半徑是否小于最小轉彎半徑來確定無人機是否滿足機動約束集。如果滿足約束則得到1分,否則0分。

(11)

式中:Ψ(xi,yi)表示點(xi,yi)所在柵格的無人機停留時間;k1為初次偵察柵格獎勵系數,k∈N*。通過第i個仿真步長中無人機的位置坐標確定所在柵格無人機是否已偵察,若未偵察則增加k1分。

2.2.3 個體選擇、交叉變異方法

本文使用精英選擇對種群中的個體進行挑選,精英數目為4。交叉方式選擇常用的兩點交叉方式。變異操作用變異位的權值加上一個-1到1的擾動值實現。

2.2.4 神經網絡優化迭代停止條件

迭代過程中滿足下列2個條件中的任何一個時,算法終止。①無人機完成全區域偵察任務;②遺傳算法的演化次數達到預定的最大閾值。

3 仿真實現及結果分析

3.1 仿真系統說明

本仿真實驗設定環境長72.5 km,寬52.5 km,柵格邊長2.5 km,考慮到威脅環境占比,真實的無人機偵察航程小于標準無障礙飛行距離De=1 575 km。為保證無人機在燃油耗盡前飛行收集到有效樣本,設定最大仿真步長數為8 000,即無人機應當在8 000 s完成全區域偵察任務。

仿真系統各個模塊的結構關系如圖7所示。無人機的類型決定了執行任務的類型，本文中是全區域偵察任務。無人機的正常飛行需要數字地圖的支持，數字地圖模塊把真實環境變成無人機能夠理解的形式。任務模塊能夠對任務的完成情況進行評估，然后遺傳算法模塊根據其評估結果去優化神經網絡中的權值。神經網絡模塊提供對無人機飛行的控制，確保其能規避威脅并且高效地完成任務。最終UI模塊把無人機的飛行狀態、數字地圖的外觀和任務的完成情況進行展示。

圖7 仿真系統結構圖

仿真系統中離線學習功能實現了偵察無人機通過對加載地圖的演化式學習過程，最終得到控制無人機進行自主避障和完成全區域偵察任務的神經網絡參數。其中離線學習過程如圖8所示，其中淺藍色的飛機代表飛行狀態正常，而淺紅色的飛機代表由于碰撞到威脅而墜毀。本文用藍色線條繪出了得分最高飛機的飛行路線。當每一代的無人機在進行8 000個仿真步長飛行的時候，會根據其飛行表現對每個個體進行打分。遺傳算法會在這8 000個步長后利用精英選擇法挑選個體進行遺傳，并以此來不斷優化控制無人機進行全區域覆蓋的神經網絡。

圖8 離線學習過程

演化過程中最高適應得分和平均適應得分的變化趨勢如圖9所示。隨著演化代數的不斷增加，前200代的最高適應分數和平均適應分數提升較快。這說明由學習所得的神經網絡控制的無人偵察機能夠越來越好地完成全區域覆蓋任務。隨著演化的進行，雖然分數提高的速度逐漸減慢，且出現了小幅的震蕩，但是最高適應得分保持收斂的趨勢。

加速優化功能利用之前離線學習的學習成果，能夠在較短的演化過程中快速提升適應度得分，從而大幅度減少了無人機從零開始學習避障和全覆蓋的時間成本。當使用神經網絡的先驗知識對環境未知的地圖進行全區域偵察時，在加速優化的模式下，無人機通過較少的演化次數就能得到較高的適應度分數，取得良好的學習效果。圖10和圖11分別對神經網絡進行50次的演化，可以發現使用加速優化模式獲得的適應度分數更高，達到了55 923；并且加速模式下適應度函數能夠快速達到收斂條件。所以加速優化模式使得無人機不再需要從蹣跚學步開始，而只需要根據地圖的特殊性，對神經網絡的權值進行優化即可。

圖9 最高與平均適應度得分變化曲線 圖10 加速優化模式下適應度分數的變化曲線 圖11 離線學習模式下適應度分數的變化曲線

在線應用功能提供了驗證學習所得神經網絡參數的功能，如圖12所示，無人機能夠有效規避威脅并執行高效的覆蓋機動策略。紅色越深的區域表示無人機在該柵格內停留的仿真步長數目越多。考慮到不同飛行環境下的無人機面對的大氣威脅、地理環境威脅不同，為了驗證算法的通用性，我們將訓練好的結果遷移到復雜多威脅環境中。如圖13所示，在復雜多威脅環境中，盡管路徑重復率有所提高，但無人機依然可以安全完成全區域偵察。這表示經過訓練的神經網絡模型，能夠適應復雜的未知環境，可以遷移至不同環境下的無人機偵察任務中。

圖12 簡單環境下的在線應用 圖13 復雜環境下的在線應用

3.2 仿真結果分析

3.2.1 算法有效性分析

使用離線學習得到的神經網絡權值，在同一地圖內運行50次在線應用，求取平均值后得到覆蓋率分別為90%,95%,99%,100%時的路徑重復率和高頻重復率，如表1所示。

表1 不同覆蓋率下的高頻重復率

從覆蓋率與重復率的對應關系可以發現，無人機已偵察區域面積達到任務要求的95%時，所飛行的距離和地圖的標準全覆蓋路程相當，高頻重復率為2.3%說明算法能很快跳出局部最優。在適應性分數的指引下，該系統已經將規避威脅和快速進行全區域偵察的機動策略轉化成為神經網絡中的權值。這一表現是令人滿意的，因為無人機沒有任何先驗知識，而僅是通過遺傳算法來不斷優化控制無人機的神經網絡參數。在覆蓋率從95%達到100%這一過程中，路徑重復率和高頻重復率均增加較快。這說明當大部分區域被偵察后，無人機想要從已偵察的區域中規劃出一條能夠到達未偵察柵格且不經過已偵察柵格的路線是比較困難的一件事情。由此可得出，覆蓋率低于95%時，無人機能夠高效的規劃偵察的線路。隨著覆蓋率不斷接近100%，無人機通常需要飛行一些重復的路徑才能到達未偵察過的區域，最終全區域偵察任務完成時路徑重復率近似為150%。

3.2.2 算法通用性分析

本文將圖8中地圖訓練得到的神經網絡參數導入到圖12中地圖進行在線應用，進而對比無人機在離線學習和在線應用中執行全區域偵察任務時路徑重復率的變化情況，如圖14所示。

圖14 不同覆蓋率下的路徑重復率變化曲線

分析該變化曲線可以得到，當無人機偵察覆蓋率在95%以下時，離線學習中訓練得到的神經網絡權值在在線應用中有良好的表現，兩者的路徑重復率差值保持在2%以下。隨著覆蓋率的提升，地圖的特殊性逐漸顯現。雖然最終無人機在在線應用中完成全區域偵察任務的路徑重復率較離線學習高出11%，但無人機在環境信息未知的條件下借助離線學習的神經網絡參數成功完成全區域偵察的任務。這說明無監督學習型神經網絡下的無人機全區域偵察路徑規劃算法能夠幫助無人機在環境信息未知的條件下完成全區域偵察任務。

4 結 論

傳統的全覆蓋路徑規劃算法需要根據威脅對任務空間進行劃分或者儲存機動模板。這就使得傳統全覆蓋路徑規劃算法無法在環境信息未知和環境信息動態變化的情況下使用。

本文提出無監督學習型神經網絡的無人機全區域偵察路徑規劃算法，能夠使無人機在離線環境下學習對障礙物的有效規避和整個任務空間高效的偵察。實驗數據表明，本文離線學習所得的神經網絡能夠控制無人機完成全區域偵察任務，并且在不同的環境信息下能夠進行遷移，具有良好的通用性。