基于GA-OCPA學習系統的無人機路徑規劃方法

劉鑫，楊霄鵬，劉雨帆，姚昆

1. 空軍工程大學 信息與導航學院，西安 710077 2. 北京航空航天大學 電子信息工程學院，北京 100083

基于GA-OCPA學習系統的無人機路徑規劃方法

劉鑫1，*，楊霄鵬1，劉雨帆2，姚昆1

1. 空軍工程大學 信息與導航學院，西安 710077 2. 北京航空航天大學 電子信息工程學院，北京 100083

為解決未知空域中無人機路徑規劃方法實時性和適用性不足的問題，以生物應激條件反射理論為基礎，將無人機實時路徑規劃類比為在外界條件刺激下的一種自學習行為。首先，將概率自動機與遺傳算法相結合，設計了基于Skinner操作條件反射理論框架(GA-OCPA)的學習系統；然后，將無人機規避機動的飛行速度、滾轉加速度和拉升加速度作為系統學習的行為，并計算每次學習嘗試之后的選擇概率和個體適應度，通過遺傳算法搜索最優行為進而得到最優路徑；最后，運用增量多層判別回歸樹(IHDR)對學習得到的最優行為建立知識庫，形成威脅狀態與路徑規劃的匹配映射。實驗結果表明GA-OCPA學習系統對于無人機路徑規劃具備有效性和適用性。

無人機；路徑規劃；遺傳算法；操作條件反射；概率自動機

路徑規劃的常規模式是通過傳感器感知周圍環境信息，進而完成實時路徑規劃。傳統方法主要有：拓撲法、柵格法、動態規劃法、勢場法、最優控制法等[1-7]。這些方法存在迭代次數多、計算復雜度高、實時性不足等缺點，無法良好地適用于無人機技術高速發展背景下空域中多種威脅因素并存時的路徑規劃需求。

無人機的動力學模型復雜程度高，同時所面向的空域環境也具有高度不確定性[8]。因此，在面臨威脅時完全依靠飛控計算機進行編程實現路徑規劃會使無人機的規避機動滯后，極大地制約了無人機性能的發揮[9]。考慮到無人機面臨空中威脅的突發性且具有相對運動速度大的特點，通過模仿生物體的學習活動，使無人機在其性能約束的條件下具備自主學習能力，可以大大提高威脅出現時路徑規劃的實時性、準確性和適用性。這種基于自學習的人工智能方法已經在無人機和機器人控制領域得到了廣泛應用。文獻[10]將博弈學習理論應用于多無人機匯聚問題，各個無人機智能體之間通過學習算法得到任務要求的路徑規劃結果。文獻[11-12]分別提出了幾何協作學習算法和幾何強化學習算法，提高了單機和多機協同下的路徑規劃能力。文獻[13]提出了基于Q學習的機器人和無人機路徑規劃算法，通過智能體與環境的信息交互實現了在線學習。文獻[14]基于證據推理理論對無人機水面艦艇的碰撞風險進行評估，并通過學習得到最優互惠避撞策略，可借鑒到無人機應對空中威脅的路徑規劃方法中。

強化學習算法雖然具有較好的實時性，其對于機器人可以實現簡單的控制需求，而無人機的任務復雜程度更高，單一強化學習方法不能保證適用性。因此，針對未知空域中的無人機路徑規劃問題，本文以Skinner操作條件反射理論(Operant Conditioning, OC)[15]為框架，結合遺傳算法(Genetic Algorithm, GA)，在概率自動機(Probabilistic Automata, PA)的平臺基礎上設計了基于遺傳算法的操作條件概率自動機(Genetic Algorithm-Operant Conditioning Probabilistic Automata, GA-OCPA)學習系統。通過學習系統對路徑規劃中無人機的飛行速度、滾轉加速度和拉升加速度進行學習，根據這3個參數的變化建立無人機動態避撞區模型。再運用操作條件反射機制學習最優行為并與環境進行交互獲得反饋信息，進而完成信息熵值的更新，同時采用增量多層判別回歸樹(Incremental Hierarchical Discriminant Reqression, IHDR)方法對最優狀態下的行為建立知識庫[16-17]。最后，通過仿真驗證了所提方法的適用性、必要性、有效性及其優勢。

1 GA-OCPA學習系統設計

仿生學是根據生物體在特定條件下的行為與環境交互后得到的反饋符合個體的取向性，則在相似條件下生物體完成類似行為的概率會增大。因為無人機采取避撞機動時的飛行速度、滾轉加速度和拉升加速度均為可控參數，所以可通過建立仿生學習系統對采集到的行為信息進行學習。

將遺傳算法(GA)思想與概率自動機(PA)相結合設計GA-OCPA仿生學習系統的結構如圖1所示。

其中每個個體代表無人機采取避撞機動行為方式的一個集合，通過作用于環境獲得的反饋實現狀態更新和性能評價，采用Skinner OC理論對個體的最優行為方式進行學習，并計算信息熵值作用于GA對個體行為方式的集合進行尋優，進而使無人機適應環境中的威脅。

圖1 GA-OCPA學習系統結構圖Fig.1 Structure diagram of GA-OCPA learning system

1.1 學習系統數學定義

根據PA的定義形式，GA-OCPA系統的數學定義為

GA-OCPA=(x,N,Q,o,F,φ,S,H,G)

(1)

該九元組的各部分含義為:

1)x=x(t)為系統的內部狀態，是實際控制系統的狀態值。

2)N={ni|i=1,2,…,m}為對系統內部狀態x=x(t)進行離散化之后的結果，是系統內部所有離散化狀態組成的集合，且m為離散化個數，ni∈N為第i個離散的狀態。

3)Q={Aj|j=1,2,…,M}為系統的種群，其中每個種群包含N個個體，Aj∈Q為第j個個體，且個體Aj={ajk|k=1,2,…,r}即學習系統行為方式的集合，ajk為個體Aj中的第k個行為方式，個體A對其包含的r個行為方式進行編碼。

(2)

5)F:ni(t)×ajk(t)→ni(t+1)為狀態轉移，F是由無人機采取機動行為引起的狀態變化ni(t)→ni(t+1),且狀態ni(t+1)只與前一時刻狀態ni(t)和該時刻行為ajk(t)有關。

6)φ={φ1,φ2,…,φm}為系統的取向函數，狀態ni(t)的取向值可以用φi表示。當某一狀態的取向值φ→0時，表示對該狀態的取向程度高且學習性能好；當某一狀態的取向值φ→1時，表示對該狀態的取向程度低且學習性能差。因此，系統的概率矢量Pj通過φi(t)的變化趨勢進行更新。

7)S:oj(t)→oj(t+1)為Skinner OC學習算法，通過算法完成對最優行為方式的選取。

(3)

9)G:ni(t)→Aj表示系統通過遺傳算法的進化思想獲得最優個體Aj。

1.2 Skinner OC算法設計

因為與系統進行交互的位置環境的狀態是動態的，所以引入獎勵概率作為行為的評價信號，系統狀態ni(t)獲得獎勵的概率為

(4)

式中：wik(t)為行為ajk獲得累計獎勵的總和；zik(t)為系統狀態為ni(t)時，行為ajk被選擇的次數。

當a(t)=ajk時，有

(5)

zik(t+1)=zik(t)+1

(6)

(7)

當a(t)=ajk1且k≠k1時，有

wik(t+1)=wik(t)

(8)

zik(t+1)=zik(t)

(9)

dik(t+1)=dik(t)

(10)

算法通過對前后兩時刻之間的取向值之差對行為概率p(t)進行更新。

當φi(t+1)-φi(t)<0時，有

(11)

(12)

其中

(13)

(14)

(15)

當φi(t+1)-φi(t)>0時，有

(16)

(17)

其中

(18)

(19)

(20)

式(11)～式(20)中:α(t)和β(t)為算法的學習速率，且0<α(t)<1,0<β(t)<1；η1和η2均為大于0的常數；Δ為行為概率的增量部分。

將取向值函數φi(t)加入行為選擇概率公式能夠改變系統學習速度，同時使學習系統更好地表現出生物體的取向性特點。當任意狀態取向值增大時，其行為選擇概率更新的增量值就會隨α(t)的減小而減小，進而使學習速度降低；同理，當狀態取向值減小時會使系統學習速度加快。且行為選擇概率更新使得第j個個體的行為熵更新為

(21)

1.3 算法學習流程

無人機基于GA-OCPA學習系統的路徑規劃流程可以分為6個步驟：

步驟1建立避撞區模型

由于無人機在空間中遭遇碰撞威脅多數采用向右滾轉并拉升、向左滾轉并拉升或拉升的機動方式，且無人機避撞機動時的飛行速度、滾轉加速度和拉升加速度均對避撞區的形狀和大小造成影響，故通過對參數的學習以增強無人機應對威脅的避撞能力是十分必要的。

因此，通過分析無人機與威脅的空間幾何關系，根據相對飛行狀態信息和無人機采取的規避機動措施建立三維動態避撞區模型。

步驟2學習系統初始化

初始階段將學習系統的迭代次數t設置為0，根據無人機本身具備的路徑規劃能力隨機獲取r個初始數據組成個體Aj={ajk|k=1,2,…,r}。

步驟3遺傳算法對個體進行訓練

將pjk(0)=1/r代入式(3)求得系統的初始信息熵，即此時個體Aj的適應度值。基于遺傳算法的進化思想在N個個體組成的種群中選取最優個體作為Skinner OC算法的行為方式集合。

步驟4基于Skinner OC算法選擇最優行為

步驟5判定是否結束一次實驗

設定無人機的最小安全間隔R0,計算比較無人機實施以上行為之后形成的避撞區與威脅之間的距離是否大于R0。若大于，則進入步驟6；否則，跳轉至步驟2。

步驟6運用IHDR對適用的路徑規劃方法進行知識存儲，實現“威脅-行為”的映射。存儲具體方法參見文獻[17]。

2 無人機三維動態避撞區建模

2.1 空間幾何關系

本文采用最接近點(Closest Point of Approach, CPA)的幾何算法，計算無人機與威脅之間最接近點的距離[18]，將最接近點距離與無人機規定的最小安全間隔相比較，從而判定無人機與威脅是否存在碰撞的可能。

無人機A的速度矢量可以表示為

VA=VAxx+VAyy+VAzz

(22)

又由幾何關系可得

(23)

故

(24)

同理

(25)

其中：x,y,z分別為x,y,z方向上的單位矢量。無人機與威脅速度矢量夾角的余弦值為

(26)

根據幾何關系可得

圖2 無人機與威脅的幾何關系Fig.2 Geometric relationship between UAV and threat

sinσAsinσB)

(27)

sinσAsinσB)

(28)

故

cos(∠VA,VB)=sinσAsinσB+

(29)

威脅與無人機的相對速度為

Vr=VB-VA

(30)

且相對速度大小為

(31)

又因為

(32)

故相對速度與坐標系的夾角為

(33)

(34)

2.2 緊急避撞區模型

模型建立的基礎是認為無人機通過廣播式自動相關監視技術(Automatic Dependent Surveillance-Broadcast, ADS-B)和第二代空中交通警戒與防撞系統(Traffic Alert and Collision Avoidance System Ⅱ,TCAS Ⅱ)等監視技術[19]能夠準確獲得威脅的位置和速度等狀態信息。無人機在三維空間遭遇威脅，為了避免碰撞通常采用水平方向滾轉機動、垂直機動或兩者相結合的機動措施[20]。因此，根據無人機的避撞機動方式將避撞區域分為向右滾轉并拉升、向左滾轉并拉升和拉升3種類型。

圖3 向上拉升機動的幾何關系Fig.3 Geometric relationship of climbing maneuver

經過t時間后，當無人機與威脅之間的最近距離恰好為最小安全間隔R0時達到避撞區的臨界情況，初始位置為避撞區的邊界值，忽略飛行過程中可能存在的側滑角等誤差影響，可以得到t時刻無人機與威脅之間的距離R(t)為

(35)

根據無人機與威脅達到最近距離時恰好等于最小安全間隔R0,可以建立二元方程組：

{R′(t)=0

R(t)=R0

(36)

由于對R(t)求導可簡化為對R2(t)求導，整理可得：

(37)

同理，當同時進行水平方向上最大程度右滾轉和垂直方向上最大程度向上拉升機動時，即產生一個y軸上的大小為a1的加速度和一個z軸上的大小為a2的加速度，得到：

(38)

根據式(36)，由R2(t)求導代替對R(t)求導，整理得：

(39)

同理，當同時進行水平方向上最大程度左滾轉和垂直方向上最大程度拉升機動時，令a1<0即可得到數學模型方程，此處不做贅述。

三維避撞區的模型方程為二元非線性方程組，因此，可以采取迭代法進行求解，用逐次逼近的方法得到未知量t和RL的數值解。根據無人機避撞的物理過程，將t<0的部分舍棄，令此時的緊急避撞區的邊界值為RL=R0。

2.3 影響因素分析

由式(37)和式(39)得到3種條件下避撞區的邊界，當威脅進入3種避撞區的交集時，無人機采取任何機動都無法避免碰撞。因此無人機要在避撞區交集以外的區域采取拉升、向右滾轉并拉升或向左滾轉并拉升的機動完成實時路徑規劃。

圖4 緊急避撞區模型Fig.4 Model for emergency collision avoidance area

2.3.1 無人機飛行速度對避撞區的影響

當無人機飛行速度VA=80 m/s,其他條件不發生改變時，緊急避撞區如圖5所示。通過對比可見，改變無人機的速度，威脅與無人機的相對速度就會改變，因此對緊急避撞區而言，隨著相對速度的變化，無人機與威脅之間接近的速度更快，在x軸上表現最明顯，將使其區域范圍增大；相反，會使其區域范圍減小，威脅的速度改變原理相同。

2.3.2 無人機拉升加速度對避撞區的影響

當無人機的拉升加速度g=20 m/s2,其他條件不發生改變時，緊急避撞區如圖6所示。

通過對比可見，對緊急避撞區而言，增大拉升加速度，無人機的機動性得到增強，縮短了與威脅之間的避撞時間，在z軸上表現最明顯，將使其區域范圍減小； 相反， 會使其區域范圍增大，滾轉加速度的改變原理相同。

圖5 飛行速度對緊急避撞區的影響Fig.5 Effect of flight speed on emergency collision avoidance area

圖6 拉升加速度對緊急避撞區的影響Fig.6 Effect of climbing acceleration on emergency collision avoidance area

通過實驗仿真可以看出，無人機速度、威脅速度、滾轉加速度和拉升加速度是所構建避撞區的主要影響因素。分析避撞的物理過程，當增大無人機或威脅的速度時，導致相對速度增大，互相接近的速度加快，為了達到避撞的目的，碰撞區會相應增大；當無人機滾轉加速度或拉升加速度增大時，無人機的機動性得到增強，縮短避撞時間，碰撞區也會相應減小，得到的仿真結果和分析結果一致。無人機的飛行速度、滾轉加速度和拉升加速度都是可控因素，故利用GA-OCPA學習系統進行路徑規劃時，可以將對無人機速度、滾轉加速度和拉升加速度的控制考慮在內。

3 仿真實驗

為了驗證本文所提基于GA-OCPA學習系統路徑規劃方法的適用性、必要性、有效性及其優勢，首先對未經過學習的無人機在簡單地形威脅場景下的路徑規劃進行了實驗，然后通過實驗對系統的學習效果進行了分析，最后分別對經過學習后無人機的路徑規劃能力在地形威脅、單一動態威脅、連續動態威脅和多種類型威脅場景下進行了仿真驗證。

當無人機未經過學習時，其應對威脅時的路徑規劃能力較弱，仿真結果如圖7所示。在簡單地形威脅條件下無法有效規避威脅，故通過學習系統提高無人機規避威脅能力具有必要性。

圖7 未進行學習的路徑規劃圖Fig.7 Path planning without learning

3.1 系統性能分析

本文對所提GA-OCPA學習系統與文獻[12-13]提出的幾何強化學習(Geometric Reinforcement Learning,GRL)算法和Q-學習算法進行了性能比較，3種學習算法均進行100次迭代，種群中包含個體數量N=50,且個體內包含行為方式個數r=10,初始概率pjk(0)=0.1。圖8為適應度和概率值變化曲線，在學習進化的過程中最大適應度對應最小熵值，最小適應度對應最大熵值。

當個體被多次選擇時，其包含的行為方式被選取的概率也會增加。3種學習算法對最優行為的選擇概率無限趨近于1，故包含該型的個體熵值趨近于0，此時個體具有最大適應度值。由圖8(a)可知，GA-OCPA系統的收斂速度最快且適應度值最早趨近于穩定。

圖8 適應度和概率變化趨勢曲線Fig.8 Curve of changes in fitness and probability

在學習的過程中某些行為方式被選擇的概率逐漸增加到0.9左右時趨于平緩且最終趨近于1。由圖8(b)可以看出，GA-OCPA學習系統在3種算法中的概率值學習曲線變化率最大，說明該系統在學習中經驗積累的速度最快，最早由初始階段的隨機性學習方式變為確定性學習，進而得到最優的行為方式，并通過IHDR對最優行為進行知識存儲，形成威脅到路徑規劃映射的知識庫。

實驗表明GA-OCPA學習系統在動態變化的學習過程中可以較快地積累學習經驗和更新行為方式，更早地由初始隨機搜索階段進入最優行為學習，具有良好的適應性，更有利于空中環境復雜的無人機路徑規劃。

3.2 地形威脅場景

無人機經過GA-OCPA學習系統的學習已具備一定的路徑規劃能力，采用地形威脅場景對無人機應對靜態威脅的路徑規劃能力進行驗證，場景仿真結果如圖9所示。

本機以30 m/s的速度在第0 s啟動，在進入山峰的避撞區范圍時，通過先前學習經驗從知識庫中得出最優路徑規劃策略，同時對每次規劃行為進行學習更新，根據不同地形的避撞區范圍，無人機完成規避機動的飛行速度、滾轉加速度和拉升加速度趨向最優。

圖9 地形威脅路徑規劃圖Fig.9 Path planning in terrain threat

3.3 動態威脅場景

針對無人機在現實環境中動靜態威脅類型并存時的路徑規劃能力[21]，在地形威脅基礎上分別對單一動態威脅和連續動態威脅場景進行驗證。

單一動態威脅場景仿真結果如圖10所示。

與地形威脅場景相同，無人機在第0 s開始以速度30 m/s飛行，威脅機在第6 min啟動，并且在第2.3 min進入本機避撞區范圍，無人機根據學習得到的最優行為進行規避機動，采用增大左滾轉加速的方式在短時間內完成實時路徑規劃。

連續動態威脅場景仿真結果如圖11所示。

在連續威脅場景中，威脅1與本機第0 s同時啟動，在第1.6 min進入本機避撞區范圍，本機通過右滾轉并拉升的方式完成規避；威脅2在第5 min啟動，并在啟動后第3.6 min進入本機避撞區范圍，無人機通過左滾轉實現有效規避。

圖10 單一動態威脅路徑規劃圖Fig.10 Path planning in singly dynamic threat

圖11 連續動態威脅路徑規劃圖Fig.11 Path planning in continuously dynamic threats

3.4 多種類型威脅場景

無人機飛行過程中還可能面臨敵方武器和大氣氣旋造成的禁飛區等威脅因素，在多種類型威脅場景中無人機路徑規劃難度更大。因此，實驗中加入雷達、導彈和大氣威脅以驗證無人機經過學習后的路徑規劃能力。

本機啟動時間和初速度與前3種場景相同，無人機通過地形威脅和動態威脅場景的學習具有較強的路徑規劃能力。由仿真結果圖12可得，無人機有效規避大氣威脅造成的禁飛區域；同時，分別以較大滾轉加速的左滾轉和右滾轉機動實現對雷達威脅和導彈威脅的規避；并且在接近目標點時通過連續左滾轉方式規避連續動態威脅。

仿真結果表明，無人機通過GA-OCPA學習系統的學習和經驗知識的積累，能夠在不同威脅場景下采取最優規避機動措施，以最小的代價完成實時路徑規劃，提高了無人機飛行的空域資源利用率和安全系數。

圖12 多種類型威脅路徑規劃圖Fig.12 Path planning in the multiple types of threats

4 結 論

1) 針對現有路徑規劃方法不能滿足無人機飛行過程中應對突發威脅的問題，提出GA-OCPA學習系統，證明了其具有良好的自學習能力和自組織能力，且收斂時間短。

2) 建立無人機空間三維動態避撞區模型，分析了避撞區發生變化的影響因素，提出無人機可通過多種規避動作應對威脅，進而提高其飛行安全系數和空域利用率。

3) 無人機通過學習系統對路徑規劃過程中的規避機動行為進行學習，并建立行為知識庫，多種場景仿真驗證無人機的學習效果，證明了GA-OCPA學習系統對于無人機路徑規劃具有適用性和有效性。

致 謝

感謝空軍工程大學信息與導航學院楊霄鵬副教授對本文無人機避撞技術及相關內容的指導，同時感謝北京航空航天大學電子信息工程學院劉雨帆碩士對本文系統學習理論的建議。

[1] KAVRAKI L E, SVESTKA P, LATOMBE J C, er al. Randomized preprocessing of configuration space for fast path planning[C]∥IEEE International Conference on Robotics and Automation. Piscataway, NJ: IEEE Press, 1994: 3020-3026.

[2] XIAO Q K, GAO X G, FU X W, et al. New local path replanning algorithm for unmanned combat air vehicle[C]∥Proceedings of the 6th World Congress on Intelligent Control and Automation. Piscataway, NJ: IEEE Press, 2006: 4033-4037.

[3] 丁家如, 杜昌平, 趙耀, 等. 基于改進人工勢場法的無人機路徑規劃算法[J]. 計算機應用, 2016, 36(1): 287-290.

DING J R, DU C P, ZHAO Y, et al. Path planning algorithm for unmanned aerial vehicles based on improved artificial potential field[J]. Journal of Computer Applications, 2016, 36(1): 287-290 (in Chinese).

[4] CHEN T B, ZHANG Q S. Robot motion planning based on improved artificial potential field[C]∥3rd 2013 International Conference on Computer Science and Network Technology. Piscataway, NJ: IEEE Press, 2013: 1208-1211.

[5] JU H S, TSAI C C. Design of intelligent flight control law following the optical payload[C]∥Proceedings of the 2004 IEEE International Conference on Networking, Science & Network. Piscataway, NJ: IEEE Press, 2004: 761-766.

[6] LUGO G I, FLORES G, SALAZAR S, et al. Dubins path generation for a fixed wing UAV[C]∥International Conference on Unmanned Aircraft Systems. Piscataway, NJ: IEEE Press, 2014: 339-346.

[7] LEE D, SHIM D H. Spline-RRT*based optimal path planning of terrain following flight for fixed-wing UAVs[C]∥The 11th International Conference on Ubiquitous Robots and Intelligence. Piscataway, NJ: IEEE Press, 2014: 257-261.

[8] GUAN X M, ZHANG X J, WEI J, et al. A strategic conflict avoidance approach based on cooperative coevolutionary with the dynamic grouping strategy[J]. International Journal of Systems Science, 2016, 47(9): 1995-2008.

[9] 魏瑞軒, 何仁珂, 張啟瑞, 等. 基于Skinner理論的無人機應急威脅規避方法[J]. 北京理工大學學報, 2016, 36(6): 620-624.

WEI R X, HE R K, ZHANG Q R, et al. Skinner-based emergency collision avoidance mechanism for UAV[J]. Transactions of Beijing Institute of Technology, 2016, 36(6): 620-624 (in Chinese).

[10] LIN Z J, LIU H T. Consensus based on learning game theory with a UAV rendezvous application[J]. Chinese Journal of Aeronautics, 2015, 28(1): 191-199.

[11] ZHANG B, LIU W, MAO Z, et al. Cooperative and Ge-ometric Learning Algorithm(CGLA) for path planning of UAVs with limited information[J]. Automatica, 2014, 50(3): 809-820.

[12] ZHANG B, MAO Z, LIU W, et al. Geometric reinforcement learning for path planning of UAVs[J]. Journal of Intelligent & Robotic Systems, 2015, 77(2): 391-409.

[13] 郝釧釧, 方舟, 李平. 基于Q學習的無人機三維航跡規劃算法[J]. 上海交通大學學報, 2012, 46(12): 1931-1935.

HAO C C, FANG Z, LI P. A 3-D route planning algorithm for unmanned aerial vehicle based on Q-learning[J]. Journal of Shanghai Jiaotong University, 2012, 46(12): 1931-1935 (in Chinese).

[14] ZHAO Y, LI W, SHI P. A real-time collision avoidance learning system for unmanned surface vessels[J]. Neurocomputing, 2016, 182: 255-266.

[15] WOLF R, HEISENBERG M. Basic organization of operant-behavior as revealed in drosophila flight orientation[J]. Journal of Comparative Physiology A, 1991: 169(6): 699-705.

[16] HWANG W S, WENG J. Hierarchical discriminant regression[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1277-1293.

[17] WENG J, HWANG W S. Incremental hierarchical discriminant regression[J]. IEEE Transactions on Neural Networks, 2013, 56(11): 2745-2761.

[18] KNEPPER R A, MASON M T. Realtime informed path sampling for motion planning search[J]. International Journal of Robotics Research, 2017, 31(11): 1231-1250.

[19] 張軍. 空域監視技術的新進展及應用[J]. 航空學報, 2011, 32(1): 1-14.

ZHANG J. New development and application of airspace surveillance technology[J]. Acta Aeronautica et Astronautica Sinica, 2011, 32(1): 1-14 (in Chinese).

[20] MELEGA M, LAZARUS S, SAVVARIS A, et al. Multiple threats sense and avoid algorithm for static and dynamic obstacles[J]. Journal of Intelligent & Robotic Systems, 2015, 77(1): 630-635.

[21] CHEN Y, YU J, MEI Y, et al. Modified central force optimization (MCFO) algorithm for 3D UAV path planning[J]. Neurocomputing, 2016, 171: 878-888.

UAVpathplanningbasedonGA-OCPAlearningsystem

LIUXin1,*,YANGXiaopeng1,LIUYufan2,YAOKun1

1.InformationandNavigationInstitute,AirForceEngineeringUniversity,Xi’an710077,China2.SchoolofElectronicsandInformationEngineering,BeihangUniversity,Beijing100083,China

Tosolvetheproblemofdeficiencyinreal-timelinessandapplicabilityofpathplanningfortheUnmannedAerialVehicle(UAV)intheunknownairspace,thereal-timepathplanningoftheUAVissimulatedasaself-learningbehaviorundertheconditionofexternalstimuli,basedonthebiologicaloperantconditioningtheory.TheprobabilisticautomatoniscombinedwiththegeneticalgorithmtoconstructalearningsystemofGeneticAlgorithm-OperantConditioningProbabilisticAutomaton(GA-OCPA)accordingtotheSkinneroperantconditioning.TheUAVs’evasionmaneuveringflightspeed,rollingaccelerationandclimbingaccelerationaretakenasthelearningbehaviorsofthesystem,andtheprobabilityofselectionandindividualfitnessarecalculatedaftereachlearningattempt.Theoptimalpathcanthenbeobtainedbysearchingforthebestbehaviorusingthegeneticalgorithm.TheknowledgebaseofthebestlearnedbehaviorsisestablishedusingIncrementalHierarchicalDiscriminantRegression(IHDR),andthematchingmappingbetweenthethreatstateandpathplanningisthenformed.TheresultshowstheviabilityandapplicabilityoftheGA-OCPAlearningsystemforUAVpathplanning.

UnmannedAerialVehicle(UAV);pathplanning;geneticalgorithm;operantconditioning;probabilisticautomaton

2017-03-27；Revised2017-06-12；Accepted2017-07-17；Publishedonline2017-07-232103

URL：http://hkxb.buaa.edu.cn/CN/html/20171127.html

s：NationalNaturalScienceFoundationofChina(61202490);AeronauticalScienceFoundationofChina(20150896010)

.E-mailkdyliuxin@163.com

http://hkxb.buaa.edu.cnhkxb@buaa.edu.cn

10.7527/S1000-6893.2017.321275

V249.1

A

1000-6893(2017)11-321275-11

2017-03-27；退修日期2017-06-12；錄用日期2017-07-17；< class="emphasis_bold">網絡出版時間

時間：2017-07-232103

http://hkxb.buaa.edu.cn/CN/html/20171127.html

國家自然科學基金(61202490)； 航空科學基金(20150896010)

.E-mailkdyliuxin@163.com

劉鑫，楊霄鵬，劉雨帆，等．基于GA-OCPA學習系統的無人機路徑規劃方法J．航空學報,2017,38(11):321275.LIUX,YANGXP,LIUYF,etal.UAVpathplanningbasedonGA-OCPAlearningsystemJ.ActaAeronauticaetAstronauticaSinica,2017,38(11):321275.

(責任編輯：蘇磊)