基于POMDP框架的集群無人機偵察任務(wù)可靠性建模

白樺，孫旭朋，黃文錚，陽輝

（北京圣濤平試驗工程技術(shù)研究院有限責(zé)任公司，北京 100089）

引言

無人機智能化程度高、造價相對低廉，但在實際應(yīng)用中也暴露出嚴(yán)重的安全隱患。在受到熱、電、溫循、振動等環(huán)境應(yīng)力的影響下，無人機的失效率有可能升高；無人機的維護水平也制約每次任務(wù)能夠投入的機器的架次。對于某型號無人機，其平均一般故障間隔時間為500 h，平均嚴(yán)重故障間隔時間為1 300 h，故障檢測率為93 %[1]。2008年以來的無人機實際飛行公開數(shù)據(jù)顯示，常用國外無人機機型和國內(nèi)投入運行機型的故障間隔時間在9.1～55.1 h之間，可用度40～98 %[2]。無人機飛行風(fēng)險可以總結(jié)為: 高危害性、不可控性和預(yù)測難度大[3]，其中不可控性是對于視距外的故障，地面人員無法針對無人機故障妥善處理。在現(xiàn)代控制方法支撐下，無人機向集群化方向發(fā)展，可以實現(xiàn)更多的任務(wù)。由于集群無人機的任務(wù)變化和功能時變性，給建立集群無人機可靠性與任務(wù)成功之間的關(guān)系模型帶來了挑戰(zhàn)。

POMDP是具有有限分立狀態(tài)和有限行動選擇的不可全知Markov系統(tǒng)在取得狀態(tài)和行動對應(yīng)回報下的決策問題[4]。POMDP框架可以應(yīng)用于無人機對抗[5]、無線網(wǎng)絡(luò)協(xié)議[6]、對話系統(tǒng)[7]等應(yīng)用描述。POMDP的不確定性使得求解依賴于歷史，占據(jù)龐大的數(shù)據(jù)空間。使過程期望回報最大的行動序列，稱為最優(yōu)策略。然而傳統(tǒng)的POMDP值迭代算法需要在整個信念空間上更新值函數(shù)[4]，這種精確解法的時間和空間復(fù)雜度極高，只能解決小規(guī)模的POMDP問題。基于點的值迭代算法[8]只在少量信念狀態(tài)上更新值函數(shù)，計算效率有所提高。論文[9]提出了一種緊湊的信念狀態(tài)表示法，對于求解大規(guī)模POMDP問題具有良好性能。

本文將在POMDP框架下，考慮集群無人機可靠性對于任務(wù)的影響，對集群無人機偵察任務(wù)進行建模，通過仿真計算，構(gòu)建包括戰(zhàn)備完好率和單機失效率在內(nèi)的可靠性指標(biāo)與偵查任務(wù)實現(xiàn)效能的定量關(guān)系模型。

1 集群無人機POMDP控制方法

1.1 POMPD框架

POMDP模型用于描述具有隱藏的系統(tǒng)狀態(tài)且行為效果是不確定的Markov過程。 POMDP模型用六元組{S,A,T,Ω,R,O}表示，其中S是系統(tǒng)所有狀態(tài)的非空集合，部分狀態(tài)是不能直接觀察到的；A表示行動的有限集合；T表示狀態(tài)轉(zhuǎn)移函數(shù)，用表示觀察點在狀態(tài)S上對應(yīng)行動A后轉(zhuǎn)移到狀態(tài)s′的概率；R是回報函數(shù)，R(s,a)表示觀察點在狀態(tài)s上對應(yīng)行動a可提供的回報；O表示觀察點被觀察到的狀態(tài)的有限集合；Ω 表示觀察函數(shù)，用表示觀察點對應(yīng)行動a轉(zhuǎn)移到狀態(tài)s′后被觀察到狀態(tài)o的概率。

1.2 信念表示

信念狀態(tài)是系統(tǒng)歷史的充分統(tǒng)計量，由狀態(tài)集合S上的概率分布組成的維向量。一種緊湊的信念狀態(tài)表示法[9]假定系統(tǒng)的所有Markov過程均獨立進行，認(rèn)為此時可能存在一種維數(shù)隨獨立的系統(tǒng)點個數(shù)線性增長的信念表示。對于離散時間t組成的狀態(tài)歷史h，定義條件概率Ψ(t)：

其中(t)為系統(tǒng)點1置于狀態(tài)的概率。而對于 任意h，可以證明觀察到的條件概率分布Ψ(h)為系統(tǒng)點條件概率分布B(h)的一種等價表示[5]。從而系統(tǒng)點彼此獨立時，緊湊的信念狀態(tài)表示法可以使得POMDP狀態(tài)空間隨系統(tǒng)點數(shù)量僅線性增長。

1.3 狀態(tài)更新

對于當(dāng)前不可觀察的系統(tǒng)點n，條件概率會按照Markov矩陣P更新。對于當(dāng)前可觀察的系統(tǒng)點n，系統(tǒng)點狀態(tài)具有確定值，條件概率wn將會置于對應(yīng)有限觀察狀態(tài)k的單位向量表示觀察值為表示不可觀察的部分。

2 仿真計算條件設(shè)置

本文考慮的場景是：集群無人機在不確定環(huán)境下偵察，例如山火現(xiàn)場。集群無人機根據(jù)對環(huán)境的部分觀察，自主規(guī)劃獲取最大偵察信息的路徑，即尋找最大期望回報的行動組合。

地形被考慮成一系列系統(tǒng)點，每個點的環(huán)境信息在有限狀態(tài)間的轉(zhuǎn)換具有單調(diào)矩陣的屬性。我們可以基于Markov單調(diào)矩陣特性，“預(yù)測”當(dāng)前不可觀察點的信念狀態(tài)[9]。

每個系統(tǒng)點可以提供偵察回報，但同時具有對無人機的傷害能力。本文對每個系統(tǒng)點同時具有提供信息和給予傷害的屬性，選取單調(diào)Markov矩陣進行描述，分別稱為信息模型I和威脅模型R。本文把偵察信息和偵察威脅分為4種類型，分別具有5種信息狀態(tài)和5種威脅狀態(tài)。本文采用的復(fù)雜偵察地形圖如圖1。

圖1 無人機偵察任務(wù)信息值地形圖和威脅值地形圖

格點代表偵察對象，連線代表可飛行路徑。格點顏色區(qū)分不同的對象，格點對應(yīng)屬性變化規(guī)律為Markov矩陣～，～為信念向量。4種Markov矩陣及對應(yīng)信念向量如下所示：

各狀態(tài)對應(yīng)回報值為：

回報值是基于偵察信息狀態(tài)oI和偵察威脅狀態(tài)oR的回報值的組合函數(shù)。某時刻的偵察回報為：

式中：

本文用蒙特卡洛算法求解偵察回報，并設(shè)定集群無人機不在同一時刻巡邏同一系統(tǒng)點。同時減少無人機在偵察一個系統(tǒng)點后，下一個時間步時對其進行重復(fù)偵察的可能。具體為：當(dāng)前時刻被偵察到的點，將在下一時刻按照單調(diào)Markov矩陣～首列的概率進行衍變，即有更大概率回報值取序列中的最小值。

3 仿真計算結(jié)果分析

3.1 路徑搜索深度的影響

通過以上POMDP框架和信念表示求解本文設(shè)定地形。考慮每次決策都進行多步搜索，集群無人機依次考慮單機最大回報值路徑，排次在后的無人機不到訪同一時間步已有無人機偵察的系統(tǒng)點。假設(shè)無人機的續(xù)航時間為10 h，飛行速度為每0.01 h經(jīng)過相鄰系統(tǒng)點。集群無人機的初始位置為隨機分布。仿真20架次無人機在不同路徑搜索深度下的偵察回報，搜索深度從1到7步，每個狀態(tài)的蒙特卡洛事例數(shù)100次。結(jié)果如圖2所示。

可見，平均總回報值在4步搜索深度之后穩(wěn)定，并基本達(dá)到飽和。為提高仿真計算效率，搜索深度將固定在4步。

3.2 無人機數(shù)量的影響

仿真計算5～25架無人機同時執(zhí)行同一地形偵察任務(wù)的總回報值（圖3），在集群無人機數(shù)量達(dá)到17時，回報值達(dá)到最大。曲線先增后減的走向是由于不同無人機探測同一地點時，信息值不重復(fù)計算，而威脅值是累加的，回報值因同時更多架次無人機受到傷害而減小。

3.3 可靠性指標(biāo)的影響

假設(shè)戰(zhàn)備完好率以及單架無人機的失效率為常數(shù)。本文建立無人機數(shù)量N取值范圍在10～18架，戰(zhàn)備完好率κ在60～100 %，單機失效率λ在1× 10-4- 5× 10-2h-1范圍內(nèi)的集群無人機偵察任務(wù)可靠性研究，定量分析偵察回報的影響因素。各條件蒙特卡洛仿真事例數(shù)均為400。

圖2 20架無人機搜索深度與平均回報值標(biāo)準(zhǔn)差

曲面是按曲面（4）對偵察回報值的擬合。用顏色區(qū)分任務(wù)架次的條件。

表達(dá)式（4）對出動架次的影響用二次多項式描述，對失效率影響采用指數(shù)形式。從圖4可以看到，回報擬合曲面與仿真結(jié)果吻合，最大偏差在5 %以內(nèi)，擬合結(jié)果見表1。

圖5～6給出擬合回報值對出動架次和失效率的偏差分布。即在特定形和合理的戰(zhàn)備完好率、失效率范圍內(nèi)，（4）在預(yù)測不同架次和失效率的偵察回報上表現(xiàn)穩(wěn)定，可以有效評估架次和失效率變化對偵察回報的影響。

圖3 無人機數(shù)量與平均回報值標(biāo)準(zhǔn)差

圖4 無人機出動架次和失效率組合條件下偵察任務(wù)回報值

4 結(jié)論

本文對在給定的任務(wù)設(shè)定下，基于POMDP框架和蒙特卡洛仿真計算方法，對集群無人機偵察任務(wù)進行了仿真計算，給出了在有限探索深度下集群無人機自主決策的行動序列，建立了集群無人機總數(shù)、單機失效率、戰(zhàn)備完好率與任務(wù)回報值時間的定量關(guān)系模型。該方法可為集群無人機偵查任務(wù)的可靠性指標(biāo)的制定提供定量分析工具。

表1 擬合參數(shù)值

圖5 不同出動架次下回報值預(yù)測誤差分布

圖6 不同失效率下回報值預(yù)測誤差分布