不確定環(huán)境下融合語義的無人機編隊協(xié)同控制研究

戚 茜

(西北工業(yè)大學(xué)航海學(xué)院 陜西 西安 710072)

0 引 言

無人機編隊作業(yè)可以完成單個無人機難以勝任的復(fù)雜任務(wù)，在地質(zhì)勘測、應(yīng)急救援、情報偵察、航海情景探測、文藝表演等領(lǐng)域應(yīng)用廣泛[1]。無人機編隊在高空環(huán)境下受到氣象狀況、地理空間信息及通信系統(tǒng)狀態(tài)等不確定性因素影響，隨著編隊規(guī)模以及編隊重構(gòu)復(fù)雜性的增長，無人機編隊飛行軌跡和成員位置較難被描述和預(yù)測。求解不確定環(huán)境下智能體編隊協(xié)同控制問題的傳統(tǒng)方法一般從整體角度出發(fā)[2]，對系統(tǒng)中所有成員進行統(tǒng)一建模，建立編隊控制系統(tǒng)，通過協(xié)調(diào)并行的方式求解整體控制決策問題，進而將已求解的結(jié)果分配給個體成員，這種方法可以較好地解決系統(tǒng)的穩(wěn)定性，但隨著無人機數(shù)量的增加容易形成空間連續(xù)最優(yōu)求解問題[3]。解決這類問題的方法大都采用基于多Agent的控制模型[4]，通過競爭與合作的方法解決編隊成員之間的協(xié)同行為，從而規(guī)劃無人機系統(tǒng)的一致性和整體性，但這種方法會使信息共享機制在不確定因素影響下受到阻礙，使系統(tǒng)成員的差異性更加突出。

針對信息輸入的不確定性和動態(tài)變化性，學(xué)者們提出了許多方法。文獻[5]在基于貝葉斯框架的基礎(chǔ)上提出基于狼群優(yōu)化的無人機協(xié)同優(yōu)化控制系統(tǒng)，融合貝葉斯概網(wǎng)絡(luò)和值函數(shù)推理不確定信息的輸入，實現(xiàn)最佳軌跡規(guī)劃功能。文獻[6]采用蟻群算法研究無人機編隊在最小時間內(nèi)搜索丟失目標問題，在不確定環(huán)境下重構(gòu)編隊的軌跡形成和關(guān)鍵點可達。文獻[7]模擬蝗蟲響應(yīng)內(nèi)外部動力的自主力和彈性行為研究無人機編隊的任務(wù)分配問題，通過成員間運行狀態(tài)和任務(wù)參數(shù)動態(tài)調(diào)整平均完成時間及持續(xù)穩(wěn)定性能。文獻[8]在考慮外界環(huán)境因素情形下，建立無人機縱向動力學(xué)模型和非定常氣動力模型，并對編隊速度、平尾偏角、矢量舵偏角及俯仰等進行特征分析，實現(xiàn)編隊構(gòu)建和重構(gòu)控制的方法。文獻[9]針對無人機編隊飛行過程中的突風及客觀因素的影響，設(shè)計了一種基于萊維飛行鴿群優(yōu)化的仿雁群無人機編隊控制器，以增加作戰(zhàn)半徑。以上方法較好地解決了不確定信息處理在編隊控制的問題，但回避了對不確定抽象信息實體的語義建模，缺乏無人機計算更容易理解的語義知識，在一定程度上影響無人機系統(tǒng)對外部信息的有效識別。

綜合考慮以上問題，從信息處理的角度出發(fā)提出了一種融合語義的無人機編隊協(xié)同控制方法。該方法構(gòu)建了一個具有不確定態(tài)勢檢測、不確定行為識別和語義策略本體模型的編隊協(xié)同控制框架；在此框架的基礎(chǔ)上，利用本體和貝葉斯網(wǎng)絡(luò)推理實現(xiàn)態(tài)勢檢測，提出基于個體激活期望值的強化學(xué)習(xí)方法，將學(xué)習(xí)到的知識遷移到相似新任務(wù)中，更新語義本體模型；采用netlogo仿真平臺驗證本文方法的有效性。

1 協(xié)同控制模型

1.1 協(xié)同控制框架

針對無人機編隊在不確定環(huán)境下行為控制的背景約束和信息感知過程中不確定數(shù)據(jù)的流向特點，將協(xié)同控制框架分為不確定態(tài)勢檢測模塊、不確定行為識別模塊和語義策略本體模型。

不確定態(tài)勢檢測模塊可以計算各類事件發(fā)生的概率，結(jié)合語義策略本體模型觸發(fā)基于貝葉斯網(wǎng)絡(luò)推理的態(tài)勢檢測，其功能主要包括環(huán)境感知模塊、任務(wù)執(zhí)行檢測模塊和系統(tǒng)狀態(tài)檢測模塊。環(huán)境感知模塊用于檢測影響當前無人機編隊行為控制的周邊環(huán)境信息；任務(wù)執(zhí)行模塊用于檢測無人機編隊任務(wù)規(guī)劃執(zhí)行情況；系統(tǒng)狀態(tài)模塊用于檢測無人機系統(tǒng)的引擎控制、位置控制、姿態(tài)控制等狀態(tài)。

不確定行為識別模塊用于分析不確定檢測模型所檢測到的信息，通過基于個體激活期望值的強化學(xué)習(xí)方法，將該狀態(tài)下學(xué)習(xí)到的知識遷移到相似新任務(wù)中，并更新不確定任務(wù)本體模型。

語義策略本體模型是一種基于OWL[10]的知識庫，用于存儲具有語義功能的地圖、環(huán)境、任務(wù)和狀態(tài)，其功能包括規(guī)則推理、行為任務(wù)更新、實時維護等。如圖1所示，它是整個協(xié)同控制系統(tǒng)的底層框架。

圖1 無人機編隊協(xié)同控制框架

無人機編隊通過傳感器獲得的外部不確定信息進行感知，生成不確定行為發(fā)生的概率和對行為控制的影響，并與策略規(guī)劃知識共同作為語義本體模型信息，為無人機行為識別模塊提供統(tǒng)一的規(guī)范化數(shù)據(jù)支持；感知行為、系統(tǒng)狀態(tài)和任務(wù)策略共同觸發(fā)協(xié)同控制條件；可視化界面用于操作人員與無人機之間的實時交互，更好地判斷無人機協(xié)同控制的系統(tǒng)狀態(tài)和參數(shù)信息；本體作為知識形式化表示的工具，能夠為背景知識提供有效的概念和實例描述，實現(xiàn)融合語義的協(xié)同控制服務(wù)。

1.2 語義策略本體模型實現(xiàn)

語義策略本體的建模過程為：通過獲取傳感器的原始信息，生成無人機編隊環(huán)境感知本體、任務(wù)執(zhí)行本體和系統(tǒng)狀態(tài)本體，構(gòu)建相關(guān)概念、屬性、實例。模型如圖2所示。

圖2 語義策略本體模型

語義策略本體模型中，行為狀態(tài)本體描述無人機系統(tǒng)狀態(tài)，包括引擎狀態(tài)、位置狀態(tài)、姿態(tài)調(diào)整、速度調(diào)整等，通過實例關(guān)系獲取動力學(xué)模型中的平尾偏角、矢量舵偏角及俯仰角、中心角等參數(shù)；環(huán)境本體是由傳感器及可視化地理信息系統(tǒng)結(jié)合所獲取的數(shù)據(jù)，主要針對地理環(huán)境的概念、實例和關(guān)系，包括氣象環(huán)境、地圖概念，其實例包含了從點、線、面到復(fù)雜地圖的環(huán)境現(xiàn)象的數(shù)據(jù)；任務(wù)策略本體針對當前用戶指令智能判斷飛行策略，包括GPS導(dǎo)航、地圖搜索、飛行障礙物、飛行關(guān)鍵點、飛行目標點等實例。

2 基于本體推理的態(tài)勢檢測方法

2.1 本體推理機制

通過Apache Jena API[11]獲取所有語義策略本體中的相關(guān)概念和實例，將基于OWL的語義策略本體模型轉(zhuǎn)化為貝葉斯網(wǎng)絡(luò)圖結(jié)構(gòu)，利用貝葉斯推理將檢測到的信息進行綜合分析，生成可識別的數(shù)據(jù)交換格式，其代碼片段如下：

< MotorControl rdf : ID=“MotorControl _1”/>

< propulsion rdf: ID=“propulsion_1”>

0.855

< filtering rdf: ID=“filtering_1”>

0.519

0.365

0.736

其中：MotorControl_1表示單個無人機引擎狀態(tài)的實例，propulsion_1表示當前狀態(tài)推進力正常系數(shù)，0.855為正常系數(shù)概率；AttitudeControl_1表示姿態(tài)可達的實例，filtering表示卡爾曼濾波觀測數(shù)據(jù)，0.519為當前系統(tǒng)的噪聲影響因素；PositionControl表示當前系統(tǒng)的位置，Collocation表示共位參數(shù)，0.365表示位置共位的參數(shù)量值；Situation_1表示當前時刻的態(tài)勢信息，0.736表示三種控制對感知的影響程度。

對于上述數(shù)據(jù)格式片段，設(shè)無人機A1的狀態(tài)推進系數(shù)propulsion_1借助自定義規(guī)則connect_fact連接與其關(guān)聯(lián)的無人機A2，生成一個擴展事實庫con_link。

String rule=“Construct{?p:relatesTo:Cryptography}

Where ”+“{{: propulsion_1?p: propulsion_2}union{: propulsion_2?p: propulsion_1}}” %將具有相連關(guān)系的事件逐項存儲

Repository repo=new SailRepository(new CustomGraphQueryInferencer(new MemoryStore(),QueryLanguage.SPARQL,rule, “”))

其中：con_link描述了將OWL文件轉(zhuǎn)化單個無人機在一個狀態(tài)參數(shù)下的關(guān)系，通過Jena推理引擎遍歷所有結(jié)點，對于簡單的事件則采用規(guī)則性推理，Jena推理引擎可以較好保證語義策略本體的完備性和有效性。而針對多無人機協(xié)同控制中的差異性和復(fù)雜性問題，則采用帶有條件概率分布的貝葉斯網(wǎng)絡(luò)的推理方法。

2.2 基于貝葉斯網(wǎng)絡(luò)的推理方法

貝葉斯網(wǎng)絡(luò)系統(tǒng)的主要功能是對語義策略本體的概念和實例進行解析，通過構(gòu)建規(guī)則生成節(jié)點、邊和條件概率表，其步驟為：

第一步采用拉普拉斯平滑方法對檢測到的當前事件數(shù)據(jù)進行預(yù)處理，通過Jena API從任務(wù)策略本體中選擇與預(yù)處理后的當前事件相匹配的概念節(jié)點x。

第二步根據(jù)獲取的信息更新擴展該節(jié)點為x=(x1,x2,…,xn)并生成父節(jié)點C，

第三步通過OWL的實例關(guān)系生成因果關(guān)系邊，并形成條件概率分布文件(Conditional Probability Distribution, CPD)，如表1所示。

表1 條件概率分布表

由表1可知，F(xiàn)iltering存在f0、f1和 f2三種取值情況，即系統(tǒng)噪聲的卡爾曼濾波觀測值在完備、適合和不適合三種情況下影響多個無人機姿態(tài)可達、一般適應(yīng)、不可達三種結(jié)果；Collocation存在c0、c1和 c2三種取值情況，即共位參數(shù)在基于0.500的中間值影響多個無人機節(jié)點的位置，并使得無人機有影響較高、一般和較低三種結(jié)果。同理，Propulsion代表無人機推進力影響因素的結(jié)果。采用貝葉斯網(wǎng)絡(luò)對不確定的感知信息進行檢測，網(wǎng)絡(luò)中的結(jié)點代表感知的不確定信息對當前任務(wù)和狀態(tài)的影響程度，對于當前不確定信息的集合，采用貝葉斯網(wǎng)絡(luò)的方法可以檢測出當前事件的概率，并更新語義策略本體模型。

3 基于個體激活期望的強化學(xué)習(xí)

為識別行為檢測模塊所檢測到的不確定性數(shù)據(jù)，使編隊不斷地向成員發(fā)送隊形變換及周邊信息，更新當前行為狀態(tài)，提出基于個體激活期望值的強化學(xué)習(xí)方法。基本思路是將當前無人機編隊系統(tǒng)作為學(xué)習(xí)網(wǎng)絡(luò)Ginti，語義策略本體模型作為指導(dǎo)網(wǎng)絡(luò)S，單個無人機成員作為Ginti中的一個結(jié)點，通過結(jié)點和邊對系統(tǒng)的期望值生成關(guān)于Ginti的最大化期望網(wǎng)絡(luò)Gmax，并強制學(xué)習(xí)指導(dǎo)網(wǎng)絡(luò)S在每個狀態(tài)下的行為，最后將學(xué)習(xí)到的知識遷移到相似的新任務(wù)中，實時更新具有概率擴展的指導(dǎo)網(wǎng)絡(luò)S。

3.1 個體激活期望值計算

設(shè)任意一臺無人機的期望位置的閾值向量為δv，每臺無人機為學(xué)習(xí)網(wǎng)絡(luò)Ginti中的一個結(jié)點，根據(jù)結(jié)點間的激活期望估算和貝葉斯網(wǎng)絡(luò)中的聯(lián)合分布概率的權(quán)重計算最大化期望程度。

定義1(邊激活期望值計算)：設(shè)v為無人機學(xué)習(xí)網(wǎng)絡(luò)Ginti中任意處于未激活的單個無人機結(jié)點。IN(v)為v的處于激活狀態(tài)的入鄰居結(jié)點集合。設(shè)u是v的任意處于未激活的入結(jié)點。則結(jié)點u通過邊e(u,v)對v的期望值計算記為GH(u,v)：

(1)

定義2(結(jié)點激活期望值計算)：設(shè)OUT(v)為結(jié)點v的出邊鄰居集合，v的l步期望貢獻值為GHl(v)(l≥2)，計算為：

(2)

3.2 強化學(xué)習(xí)方法

當網(wǎng)絡(luò)中結(jié)點和邊激活，得到了最大期望程度的網(wǎng)絡(luò)Gmax={G1,G2,…,GN}后，可以通過輸出Q值波爾茲曼分布將指導(dǎo)網(wǎng)絡(luò)S={S1,S2,…,SN}，即本體網(wǎng)絡(luò)轉(zhuǎn)換成為一個策略網(wǎng)絡(luò)。

(3)

式中：τ表示影響因子，ASi表示指導(dǎo)網(wǎng)絡(luò)Si的動作空間，對于最大期望網(wǎng)絡(luò)Gmax中的每一個狀態(tài)，根據(jù)學(xué)習(xí)網(wǎng)絡(luò)策略和指導(dǎo)網(wǎng)絡(luò)策略之間的交叉熵定義一個策略回歸目標函數(shù)。

(4)

式中：πAMN(a|Gmax;θ)表示用于指導(dǎo)當前學(xué)習(xí)網(wǎng)絡(luò)Gmax的行為，指導(dǎo)網(wǎng)絡(luò)的輸出策略為一個穩(wěn)定的監(jiān)督訓(xùn)練信號，不斷指導(dǎo)當前網(wǎng)絡(luò)的行為向指導(dǎo)網(wǎng)絡(luò)的行為靠攏。

3.3 算法實現(xiàn)

輸入：網(wǎng)絡(luò)Ginti(V,E)，關(guān)聯(lián)初始化集合長度k

輸出：更新后的語義策略本體S和Gmax

1.由隨機期望閾值向量δ確定網(wǎng)路實例g(v,e(u,v))∈G，Gmax←φ

2.for eachg∈Gdo

3.以g作為任意一個初始化待被期望激活的集合，對于g中每一個結(jié)點v∈V，從貝葉斯概率分布表中獲取其入邊權(quán)重wu,v。

4.end for

5.while(|gi|

6.通過式(1)計算邊激活期望值GH(u,v)

7.通過式(2)計算結(jié)點激活期望值GHl(v)

8.end for

9.forv∈Vdo

11.end for

12.v←argmaxv∈V/SiEGH(v) 獲取最大期望結(jié)點

13.Gmax←Gmax∪{v}求解最大期望網(wǎng)絡(luò)Gmax

14. end while

15.通過式(3)將指導(dǎo)網(wǎng)絡(luò)S轉(zhuǎn)換成策略網(wǎng)絡(luò)

16.求解策略回歸目標函數(shù)式(4)

17.更新當前的任務(wù)策略本體模型S

18.returnS,Gmax

以上算法首先隨機選擇未被期望激活的結(jié)點v1，當步長l=2時，根據(jù)式(1)和式(2)可得GH2(v1)=0.347，GH2(v2)=1.252，GH2(v3)=0.548，GH2(v4)=0.378，GH2(v5)=0.195，此時選取激活期望值最大的結(jié)點v2作為激活期望結(jié)點，由于v2對v3和v4具有影響，當v2激活后，其指向v3和v4的有向邊激活期望值發(fā)生了改變。因此重新計算這些邊和未激活結(jié)點的期望值，并取期望值最大的結(jié)點作為激活結(jié)點，形成一個最大期望網(wǎng)絡(luò)Gmax。最后，通過式(3)和式(4)，求解策略回歸目標函數(shù)，更新當前的任務(wù)本體S。

4 仿真結(jié)果與分析

仿真實驗在netlogo平臺上驗證所提出方法的有效性，應(yīng)用4臺無人機在高度為200米，背景在不確定海洋環(huán)境下，增加風雨狀態(tài)進行仿真，仿真時間為60秒，每隔采樣周期為5秒。

實驗數(shù)據(jù)來源于某船舶自動識別系統(tǒng)(Automatic identification System , AIS)，由岸基設(shè)備和船載設(shè)備數(shù)據(jù)構(gòu)成，包括風雨場景的各項已有真實數(shù)據(jù)。與真實場景相比其區(qū)別在于該實驗可以對場景進行隨機布置，減少實驗平衡狀態(tài)的仿真時間。實驗中，由于網(wǎng)絡(luò)中存在數(shù)據(jù)不平衡等問題，應(yīng)對超出預(yù)測范圍的特征干擾，即策略本體庫中沒有出現(xiàn)的實例，直接采用隨機方式會嚴重影響控制效果。為此，采用拉普拉斯平滑方法對檢測到的當前事件數(shù)據(jù)進行預(yù)處理。另外，為提高仿真實驗的實用性和合理性，消除數(shù)據(jù)檢測隨機誤差的影響，實驗重復(fù)10次后取平均值作為最終結(jié)果。

4.1 關(guān)鍵點可達控制分析

4臺無人機初始位置隨機設(shè)置，每臺無人機接收到飛行信息后，根據(jù)設(shè)定的目標關(guān)鍵點進行期望位置飛行。圖3(a)中4臺無人機從任意位置開始，由語義策略本體引導(dǎo)成員向目標關(guān)鍵點飛行，通過傳感器獲取不確定信息進行感知，生成行為發(fā)生的概率為行為識別提供統(tǒng)一格式的數(shù)據(jù)。圖3(b)中的箭頭即為個體成員激活期望值所生成的期望方向，并最終形成一個菱形編隊，實現(xiàn)關(guān)鍵目標點可達的效果。

圖3 編隊控制過程

由圖4(a)可知，通過融合語義的編隊協(xié)同控制方法，4臺無人機相對距離誤差逐漸減小。在25秒之前，無人機1保持飛行速度大于無人機2、3、4的狀態(tài)；直到25秒后，4臺無人機系統(tǒng)趨于穩(wěn)定，同時以相同的姿態(tài)和位置漸進飛行。圖4(b)進一步描述了編隊成員之間變化情況，任意兩臺無人機成員之間的距離能夠快速收斂并趨于穩(wěn)定值，且形成菱形編隊穩(wěn)定距離值。這是由于當編隊系統(tǒng)在生成OWL語義策略本體后實時轉(zhuǎn)化為貝葉斯網(wǎng)絡(luò)分析判斷編隊運行狀態(tài)，并對整個系統(tǒng)的協(xié)作狀態(tài)進行觸發(fā)糾正。在實際工程應(yīng)用中，當1臺無人機飛行狀態(tài)因外界或內(nèi)部因素偏離時，通過結(jié)點和邊激活期望值的計算激活當前成員，強制學(xué)習(xí)當前指導(dǎo)網(wǎng)絡(luò)的期望目標，并實時更新語義策略本體的實例庫。

(a) 各機與目標關(guān)鍵點距離

(b) 各機之間的距離

4.2 障礙物規(guī)避控制

如圖5所示，無人機編隊可以有效規(guī)避障礙威脅，并且飛行軌跡彎曲較小、過渡平滑，成員之間操作靈活，等障礙物解除后，又迅速恢復(fù)到原有編隊形態(tài)。這是因為感知的不確定信息經(jīng)過貝葉斯網(wǎng)絡(luò)的推理及個體期望貢獻強化學(xué)習(xí)算法應(yīng)用，更新了具有概率擴展的語義策略本體，可以在較短的時間內(nèi)檢測不確定數(shù)據(jù)，實現(xiàn)障礙物規(guī)避并保持編隊飛行控制的穩(wěn)定性。表2給出了不確定環(huán)境下編隊協(xié)同控制輸出結(jié)果。

圖5 無人機編隊障礙物規(guī)避控制

表2 不確定環(huán)境下無人機編隊協(xié)同控制輸出結(jié)果

表2顯示系統(tǒng)的關(guān)鍵目標點是否可達事件在第60秒開始發(fā)生，v3、v1結(jié)點的無人機發(fā)生關(guān)鍵點不可達的概率為0.46，經(jīng)過本文方法計算GH值形成一個最大期望網(wǎng)絡(luò)并更新本體模型。同時，從工程實用性角度來說，本文算法每隔5秒獲取一次輸出結(jié)果，對于相似的任務(wù)可以由任務(wù)策略本體直接觸發(fā)，從而減少計算量，保證數(shù)據(jù)的合理性和科學(xué)性。

4.3 比較分析

采用代價函數(shù)(Cost Function)[13]進一步說明無人機編隊協(xié)同控制性能，它是通過進化曲線測量無人機編隊協(xié)同控制性能的重要指標。將本文方法與鴿群算法[14-15]、multi-agent算法[3]進行比較，結(jié)果如圖6所示。由圖6可以發(fā)現(xiàn)本文方法收斂速度較快，在第6代時達到了收斂，得到最優(yōu)的目標解。這是由于在個體激活期望值計算時，學(xué)習(xí)網(wǎng)絡(luò)策略和指導(dǎo)網(wǎng)絡(luò)策略之間的交叉嫡定義了策略回歸目標函數(shù)，輸出了一個穩(wěn)定的監(jiān)督訓(xùn)練信號，各個體之間可以在工程實際應(yīng)用中趨于穩(wěn)定一致的狀態(tài)；而鴿群算法在第30代才達到收斂穩(wěn)定，沒有本文方法效果好；multi-angent算法系統(tǒng)性地解決了局部最優(yōu)的問題，但隨著迭代次數(shù)的增加陷入了不穩(wěn)定狀態(tài)。

圖6 基于代價函數(shù)的編隊控制進化曲線

5 結(jié) 語

本文針對無人機編隊感知行為、系統(tǒng)狀態(tài)和任務(wù)規(guī)劃等不確定性問題，從信息處理的角度出發(fā)提出了一種具有不確定環(huán)境檢測、不確定行為識別和語義策略本體模型的無人機編隊協(xié)同控制框架，實現(xiàn)了基于本體推理的態(tài)勢檢測方法和基于個體激活期望值的強化學(xué)習(xí)方法。該方法不僅可以使任意兩臺無人機相對距離收斂穩(wěn)定，還可以判斷關(guān)鍵點可達和障礙物規(guī)避，對于復(fù)雜海洋環(huán)境下的目標搜索、搶險救援有著重要意義。下一步將考慮更多無人機數(shù)量進行仿真，進一步優(yōu)化無人機網(wǎng)絡(luò)的學(xué)習(xí)算法，結(jié)合云計算和大數(shù)據(jù)平臺優(yōu)化編隊控制性能，以提高協(xié)同控制的效率。