基于智能體的無人機集群彈性均衡度量與仿真評估方法

周國強，穆 琳，吳家仁，潘 翼，海星朔，高濟禾

(1.航空工業 沈陽飛機設計研究所，沈陽 110035； 2. 北京航空航天大學 可靠性與系統工程學院，北京 100083)

0 引 言

隨著智能化戰爭環境日趨復雜，無人機(Unmanned Aerial Vehicles, UAV)集群在任務執行過程中可能面臨持續外部破壞，包括連續極端惡劣天氣或敵方蓄意攻擊等，將造成無人機集群部分功能失效、通訊中斷甚至整機損毀等問題，嚴重影響整體任務執行。

為反映集群對破壞事件的承受和恢復能力，國內外學者將“彈性”概念應用到無人機集群的研究中。Bai等提出一種基于當前性能與標準性能差異的改進彈性度量，以反映無人機集群適應破壞性事件和恢復其預期性能的能力。Ordoukhanian等基于仿真方法建立動態效用函數，并對無人機集群任務執行期間的性能備選方案進行實時評估，以此建立無人機集群彈性。Feng等針對無人機編隊在隨機攻擊下的快速重構問題，提出一種編隊彈性度量與優化方法，并通過仿真實例驗證了方法的有效性和快速性。

彈性來源于對系統設計中賦予其內部各要素的冗余能力。因此，相比于抗毀性、魯棒性、可靠性等指標，彈性可對無人機集群抵御破壞能力進行全面評估。然而，面對集群可能遭受的持續性破壞，要求各飛行編隊都應具備一定的冗余，也可以說具備一定“彈性”。當前，表征此類特征的相關度量方法研究較少，故本文重點在于提出一種能夠反映集群各組成部分剩余能力均衡特征的度量指標。

智能體被定義為能夠在某一環境中與其他個體進行互動、協調以實現特定目標的自治軟件實體?；谥悄荏w的建模(Agent-Based Modeling, ABM)方法可以在人工環境中對真實場景中的復雜實體關系進行模擬，因其具有典型的協作性、并行性、魯棒性、易擴展性等特征，已被廣泛應用于無人機集群建模。例如，Zou等提出一種基于ABM方法和多目標優化的多無人機沖突解決方法， 使用參數化的幾何表示描述了三維空間中無人機碰撞行為。文獻[13-14]等利用ABM方法分別對無人機集群的自主任務管理和任務規劃進行設計。盡管國內外研究人員通過ABM方法對無人機集群進行了深入分析，但以上方法在實現任務執行、破壞以及重構建模方面還存在一定不足。

本文針對無人機集群遭受破壞后的剩余能力均衡問題，提出一種持續破壞下無人機集群彈性均衡度量與仿真評估方法，為集群持續破壞下的能力設計提供支撐。

1 面向任務的集群彈性均衡度量

1.1 基本定義

將任務空間∈內的無人機集群記為={,, …,}，其中，為集群規模，∈。對于集群中的每架無人機，∈{1, 2, …,}，均可通過配備具有識別和測距功能的偵察傳感器執行偵察任務。因此，集群可在地面站集中指揮作用下，對部署于地面的多個任務目標進行偵察。將任務目標集合記為={,, …,}，其中，為任務目標數量，∈。

考慮到不同任務目標的執行需求存在一定差異，且多分散部署于任務空間中。因此，可劃分若干任務區域，對其進行分塊管理。

定義任務區域集合為={,, …,},∈，其中，≤為任務區域數量，且有={|,=1, 2, …,},∈{1, 2, …,}。

為提升任務執行效率，集群中的無人機Agent在任務執行過程中根據不同任務區域集結成(∈)支飛行編隊{,, …,}，滿足：?∈{1, 2, …,},?,≠?，即每支飛行編隊均由有限數量的無人機Agent組成，并且規定同一無人機不能同時出現在兩支不同編隊中。

結合上述定義，給出無人機集群執行聯合偵察任務過程示意圖，如圖1所示。

圖1 無人機集群執行聯合偵察任務過程示意圖Fig.1 Diagram of UAV swarm joint reconnaissance mission

1.2 編隊性能與任務需求

對于中任意一架無人機，若以地面為水平參考平面，其在任務空間中的位置坐標用(,,)表示。此外，用表示的偵察效率，其含義是無人機的單位任務執行量，即執行一次任務能夠完成的工作量。對此，本文通過引入偵察半徑(自身屬性)對進行量化計算：記無人機的偵察半徑為，則的偵察效率可等效為一個以為圓心、為半徑的圓形，并通過圓形面積公式計算得到。

考慮任務載荷的計算資源、存儲容量限制，每架無人機可執行的任務數量有限。因此，可通過任務資源存量表征的最大執行任務次數?；诖耍傻玫?span id="g0gggggg" class="subscript">的偵察能力:

=·

(1)

對于集群中任意編隊，假設其內部包含的無人機數量為，其聯合偵察能力為

(2)

式中：為損耗因子，∈(0, 1]。

(3)

式中：為任務區域中的任務目標總數。

1.3 彈性均衡度量

在任務執行過程中，集群內各編隊能力以及各區域任務需求均存在一定差異，為了確保集群能夠應對持續性破壞，應充分考慮其分布式特征，避免因某一編隊承擔過多任務或遭受多次攻擊導致編隊剩余能力不足的情況，從而降低集群整體任務執行效率。因此，要求集群中各無人機編隊均具備一定“彈性”，即適應并從破壞中恢復的能力。對此，本文提出一種新的度量——彈性均衡(Resilience Balance, RB)，并以此表征無人機集群在分布式任務執行過程中的均衡特性。

首先，計算無人機編隊的剩余能力。對于由架無人機組成的編隊, 其剩余能力計算公式為

(4)

隨后，假設集群中編隊數量為，由此，可基于編隊的剩余能力計算無人機集群彈性均衡：

(5)

2 基于多智能體的無人機集群聯合偵察任務模型

2.1 建模框架

ABM方法將無人機集群中的個體視為有決策與行為能力的Agent，通過對其屬性、行為以及交互規則描述，構建自底向上的集群行為。

本文設計一種基于多智能體的建?？蚣?，模型中各異質要素及運行過程被抽象為建模、任務、裝備、環境、算法與評價等6類Agent，通過各類Agent的運行和交互描述各要素的時空動態行為。其中，建模類Agent通過頂層設計，對模型整體行為機制進行構建； 任務、裝備類Agent是模型的主體部分，是對包含任務目標以及無人機、地面站和通訊的抽象； 環境類Agent對應外部環境條件及變化，一般為破壞輸入； 算法類Agent則可根據環境變化，通過設計不同規則實現重構； 評估類Agent則主要結合模型輸出對不同指標進行評估。

基于多智能體的建模框架如圖2所示。

圖2 基于多智能體的無人機集群聯合偵察任務建?？蚣蹻ig.2 Multi agent-based modeling framework of UAV swarm joint reconnaissance mission

2.2 破壞行為建模方法

針對破壞行為，本文主要考慮因蓄意攻擊導致的無人機整機損毀，并建立一種包含全局仿真時鐘和整機故障時鐘的雙時鐘設置機制，如圖3所示。其中，全局仿真時鐘以仿真模型運行為基礎，隨仿真推進記錄集群任務執行實際時間； 整機故障時鐘以集群中各無人機實際狀態為基礎，通過時鐘躍遷清除方式模擬無人機由“可用狀態”(正常)到“不可用狀態”(損毀)的變化過程。

圖3 面向破壞建模的雙時鐘設置機制示意圖Fig.3 Schematic diagram of a dual-clock mechanism for damage modeling

在全局仿真時鐘內，將仿真開始時刻記為，結束時刻記為，由此可得到第次仿真的總時長為

Δ=-

(6)

在整機故障時鐘內，設集群中任意一架無人機的時鐘存量為； 當狀態為可用(正常)時，=1，當狀態為不可用(損毀)時，=0。由此可知，設仿真開始時刻集群中各無人機均正常，即=1, ?=1, 2, …,，當蓄意攻擊發生在時刻并導致無人機損毀時，故障時鐘直接躍遷至0，即

()=0, ?∈{1, 2, …,}

(7)

隨后，通過發生頻率、發生位置以及影響范圍對蓄意攻擊行為進行模擬?？紤]攻擊發生為離散事件，可采用非齊次泊松過程表示，因此，若環境中存在次攻擊事件，則其發生概率為

(8)

式中：()為一個實值常數，表示時間區間(0,]內攻擊事件的平均發生次數。

對于攻擊事件的發生位置，可將其抽象為任務區域中的一個質點，以的空間位置坐標(,,)為中心、為半徑的球形表示攻擊的影響范圍。此時，記無人機的空間位置為(,,)，若滿足：

(9)

則無人機損毀并退出任務，否則，不受攻擊事件影響。

2.3 基于規則的重構行為建模

為避免任務中斷，攻擊事件發生后，集群將通過重構實現能力恢復。本文提出兩種基于規則的重構方法：(1)內部協調，即確保集群中無人機數量不變，從剩余能力充足的編隊抽調完好的無人機前往指定編隊； (2)外部補充，即擴大當前集群規模，從前沿機場抽調完好的無人機補充至指定編隊。

兩種重構行為均建立在地面站Agent對其他裝備Agent集中控制作用的基礎上。

對于內部協調，其主要步驟包括：

Step1: 計算各編隊剩余能力，將其值按照由大到小順序排列，得到1≥2≥…≥；

Step3: 判斷是否滿足任務終止條件，若滿足，停止重構； 若不滿足，重復上一步驟。

對于外部補充重構方法，其主要步驟包括：

Step1: 計算各編隊剩余能力，將其值按照由大到小順序排列，得到1≥2≥…≥；

Step3: 判斷是否滿足重構結束條件，若滿足，停止重構； 若不滿足，重復上一步驟。

結合本文所構建的建模框架以及各類Agent功能，可將無人機集群任務執行以及破壞、重構行為分解為相對獨立的Agent協同過程。其中，任務類Agent激活任務指令開始執行任務，該指令由地面站Agent傳至無人機Agent并指導無人機組成特定編隊，同時，無人機Agent可向地面站Agent反饋當前狀態信息。此外，環境Agent負責生成破壞信息并將其發送至無人機Agent，無人機接收信息后向地面站Agent發送重構請求，并在收到重構指令后執行重構。

將以上協同過程通過圖4所示的Agent行動圖表示。

圖4 Agent行動圖Fig.4 Action diagram of Agent

3 基于仿真的彈性均衡評估方法

3.1 仿真評估流程

考慮在聯合偵察任務中涉及多個無人機和任務目標，因此抽象對象是針對單次仿真試驗。仿真評估過程包括: (1)建立無人機集群聯合偵察任務仿真模型； (2)設置參數，初始化仿真模型； (3)統計單次仿真實驗各編隊剩余能力； (4)計算彈性均衡值。

圖5為無人機集群彈性均衡仿真評估的流程圖。

圖5 無人機集群彈性均衡仿真評估流程Fig.5 Flow chart of resilience equilibrium simulation evaluation

3.2 評估算法

本文所提出的彈性均衡評估以集群中各編隊剩余能力為主要依據，并根據各編隊實際狀態決定。其計算方法包含集群狀態判定、剩余能力統計和彈性均衡計算三部分。

3.2.1 集群狀態判定

根據任務執行判據，無人機集群狀態可被判定為能執行任務(值為1)和無法執行任務(值為0)。具體判定規則如下：

(10)

式中：為集群的總偵察能力，即集群中所有無人機偵察能力之和；為任務空間內的任務工作總量。

3.2.2 剩余能力統計

在單次仿真中，以每支飛行編隊為單位，根據式(4)對各編隊在仿真時鐘推進過程中各時刻的剩余能力進行統計，得到：

(11)

3.2.3 彈性均衡計算

依據式(5)和式(11)計算仿真過程中時刻的彈性均衡()：

(12)

4 案例驗證

以案例驗證本文所提出方法的有效性。仿真硬件為ThinkPad X1 Carbon筆記本電腦，處理器為Intel(R) Core(TM) i5-6200U CPU @2.30 GHz/2.40 GHz，內存為8 GB，基于NetLogo仿真環境實現模型運行。

4.1 仿真環境及參數設置

假設任務空間為500 km×500 km的平面地圖，包含1個前沿機場和4個任務區域，每個任務區域內部隨機分布不同數量的任務目標，任務目標總數為30。無人機集群規模為50架，按照任務區域組成4個飛行編隊和1個備用機組(停靠在前沿機場內等待出動)，每架無人機的任務資源存量均為2。具體信息如表1～2所示。

表1 任務屬性信息

4.2 仿真界面設計

為實現無人機集群彈性均衡仿真評估，建立了能夠體現無人機集群聯合偵察任務執行過程與破壞恢復過程的可視化仿真模型。針對模型中各類Agent行為和交互，設計了包括參數配置界面和任務執行界面的可視化場景，分別如圖6～7所示。

圖6 參數配置界面Fig.6 Parameter setting interface

參數配置界面中主要包括仿真實驗運行、參數輸入、輸出等功能模塊。

表2 無人機及編隊屬性信息

在任務執行界面中，彩色的多邊形代表無人機，白色圓形代表任務目標，同一編隊中的無人機通過直線相互連接表示。

圖7 任務執行界面Fig.7 Task execution interface

4.3 結果分析

4.3.1 單次仿真彈性均衡評估

將策略模塊參數置為1，運行仿真模型，此時，集群將在持續破壞過程中執行任務，無重構，由此得到各編隊剩余能力隨仿真時間變化情況，如圖8所示。

圖8 編隊剩余能力隨仿真時間變化過程Fig.8 The change curves of surplus capacity of each UAV formation with time

通過統計可知，破壞分別發生在2，5，8，11，14和17時刻，假設破壞發生后，彈性均衡變化的時間均為1個仿真步長。因此，進一步計算彈性均衡，得到如圖9所示的彈性均衡變化曲線。

圖9 彈性均衡隨仿真時間變化Fig.9 The change curve of resilience equilibrium with time

顯然，隨著破壞的發生，集群彈性均衡值不斷增加，這與編隊剩余能力變化特征是一致的，即各編隊剩余能力差異不斷擴大； 當仿真進行到11 min時，編隊剩余能力差異開始縮小，彈性均衡值出現下降； 隨著破壞繼續發生，剩余能力差異在14 min時開始擴大，彈性均衡也出現回升。當破壞發生在17 min時，編隊無法執行任務，仿真結束。

4.3.2 內部協調重構下的仿真結果分析

考慮任務執行過程中面臨的持續性破壞，集群中各編隊遭受破壞的程度不盡相同，導致各編隊剩余能力存在較大差異，影響任務執行。為使各編隊剩余能力得到充分利用，確保集群整體任務執行，可通過一種內部協調的方法實現重構。

運行仿真模型，得到使用內部協調重構方法后，編隊剩余能力隨仿真時間的變化情況，如圖10所示。

圖10 使用內部協調重構方法時編隊剩余能力隨仿真時間變化Fig.10 The change curves of surplus capacity of each UAV formation with time after using the internal coordination reconfiguration method

通過進一步計算，可得到彈性均衡隨仿真時間變化情況，如圖11所示。已知蓄意攻擊事件發生在4，7，8，10，12，14，21和31時刻，基于內部協調的重構指令依次在14，21和31發送。由圖可知，隨著破壞的持續，彈性均衡值不斷上升； 當無人機Agent接收重構指令并進行重構后，彈性均衡值出現明顯下降，且每次重構過程都使該值向更低水平變化。當仿真進行到38 min時，各編隊無法通過內部協調實現重構，達到任務終止條件。

圖11 使用內部協調重構方法時彈性均衡值隨仿真時間變化Fig.11 The change curve of resilience equilibrium with time after using the internal coordination reconfiguration method

4.3.3 外部補充重構下的仿真結果分析

由于集群規模一定，隨著破壞的持續，各編隊剩余能力將出現不足。此時，需擴大集群規模，額外補充無人機Agent前往指定編隊。

運行仿真模型，得到使用外部補充重構方法后，編隊剩余能力隨仿真時間的變化情況，如圖12所示。

圖12 使用外部補充重構方法時編隊剩余能力隨仿真時間變化Fig.12 The change curves of surplus capacity of each UAV formation with time after using the external supplementary reconfiguration method

進一步計算可得到彈性均衡隨仿真時間變化情況，如圖13所示。已知蓄意攻擊事件發生在2, 4, 7, 11, 15, 18, 21和34時刻，重構在21和34時刻進行。由圖可知，隨著破壞的持續，彈性均衡仍呈上升趨勢； 當重構開始后，彈性均衡值出現明顯下降。第二次重構后，彈性均衡值有所回升，說明在此之前各編隊剩余能力較為平均。本文將此時集群狀態作為重構的終止條件。

圖13 使用外部補充重構方法時彈性均衡值隨仿真時間變化Fig.13 The change carve of resilience equilibrium with time after using the external supplementary reconfiguration method

5 結 束 語

(1) 本文所提出的無人機集群彈性均衡度量方法，解決了無人機集群遭受破壞后剩余能力均衡的問題，為集群持續破壞下的能力設計提供支撐。

(2) 基于多智能體的建模方法，從建模框架、破壞行為以及重構行為三個方面模擬無人機集群執行聯合偵察任務，為彈性均衡的仿真計算奠定基礎。

(3) 所設計的可視化仿真模型從單次仿真以及包含破壞、重構行為的場景中對彈性均衡進行評估，進一步驗證了該方法的有效性。