重放攻擊下具有切換拓撲結構的一階多智能體系統的安全一致性

王玲 吳治海

【摘要】? ? 本文研究了重放攻擊下具有切換拓撲的一階離散多智能體系統的安全一致性問題。針對重放攻擊，本文提出了一種基于分布式模型預測控制的一致性協議，推導出了多智能體系統在重放攻擊下實現安全一致性的充分條件。通過數值算例說明了一致性協議的有效性。

【關鍵詞】? ? 多智能體系統? ? 重放攻擊? ? 安全一致性? ? 模型預測控制

引言：

多智能體系統的安全性問題逐漸成為了熱門的新興研究方向之一。多智能體系統分布式協同控制的一個關鍵問題是僅利用智能體之間的相對信息來設計分布式控制器，使所有的智能體最終達到狀態一致[1]。在實際應用中，在信息傳輸過程中往往會遇到很多攻擊。例如在文獻[2]中對網絡安全控制進行了建模和分析。

近年來，關于多智能體系統的分布式安全控制有了一些研究結果[3-7]。Zhu等人考慮到攻擊者是否可以在線調整其進攻戰術，提出了兩種新型攻擊-安全分布式控制算法來應對虛假數據注入攻擊，允許操作員利用最新收集的有關攻擊者的信息來調整防御策略，兩種算法都使車輛能夠從任何初始配置和攻擊者策略的初始估計中漸近地實現所需的編隊[3]。Feng等人考慮到攻擊網絡拓撲的邊而不是節點智能體會導致安全性能的損失的情況，分析了系統在兩種連通性攻擊下的分布式協同控制問題[4]。

實際上重放攻擊也是對多智能體系統的主要網絡威脅。Mo和Sinopoli首先分析了重放攻擊對控制系統的影響[8]。Zhu和Martínez在[9]中考慮了二階多智能體系統在重放攻擊下的編隊控制問題，提出了一種基于滾動最優控制方法的新型分布式彈性算法，并證明了該算法能使車輛在重放攻擊下漸近地達到期望的編隊。文獻[10，11]分別提出了基于水印控制策略和隨機博弈理論的重放攻擊檢測方法。然而，事實上，盡管重放攻擊已經被檢測到如果它們不能盡快被處理，重放攻擊依舊會使系統不穩定。另外，智能體之間相對位置不是固定不變的。基于上述考慮，本文研究了具有重放攻擊的一階離散多智能體系統在重放攻擊下的安全一致性問題。

一、 預備知識

1.1 圖論基本知識

令G=（V，E，A）代表系統的拓撲圖，其中V={1，2，...，N}表示節點的集合，表示邊的集合。A=[aij]∈RN×N是一個具有非負鄰接元素aij的加權鄰接矩陣，同時對于所有的i∈I，有aij=0。（i， j）代表節點i與節點j之間的邊。如果aij≥0，則有（i， j）∈E，代表節點i能夠收到j的信息，稱j是i的鄰居。節點i的鄰居點集表示為。圖G的度矩陣D=diag（[d1，...，dN]）∈RN×N，其中。相應的，圖G的拉普拉斯矩陣定義為L=D-A∈RN×N。如果兩個不同的節點i，j之間一條確定的邊，即節點i，j存在一條可達路徑。另外，如果有向圖G中存在至少一個節點，使得從其他任何節點到這個節點都存在有向路徑，那么這個節點就稱為圖的根節點，同時稱圖G包含一棵有向生成樹。

1.2符號說明

R表示實數集，RN表示N維實數向量空間，RN×M表示N×M維實數矩陣空間。定義I={1，2，...，N}。IN代表N維實單位矩陣。1N代表每個元素都為1的N維列向量。對于任意矩陣A，AT表示矩陣A的轉置矩陣，A-1代表著矩陣A的逆矩陣。λi（A）和λmax（A）分別表示矩陣A的第i個特征值和最大特征值。diag{a1，a2，...，aN}代表以a1，a2，...，aN為對角元素的對角矩陣。[x1，x2，...，xN]是由元素xi，i∈I構成的N維列向量。對于矩陣A=[aij]∈RN×M，如果所有aij≥0，那么有A≥0，且稱A為非負矩陣。令B=[bij]∈RN×M。如果有A≥B，等同于矩陣A-B≥0。 若矩陣A∈RN×N是非負矩陣，如果矩陣A滿足A1N=1N，即A行和為1，則稱A為隨機矩陣。給定隨機矩陣A∈RN×N，如果存在f∈RN使得矩陣A滿足limk→∞Ak=1N f，則矩陣A又稱為SIA矩陣（Stochastic， Indecomposable， Aperiodic）。

二、 問題描述

2.1系統模型

考慮一個具有N個智能體的系統，一階離散時間多智能體系統的模型可以描述為

其中，xi（k）∈R代表智能體i的狀態信息，ui（k）∈R代表控制協議，T為采樣周期。

定義3.1 如果每個智能體在任何初始狀態下的狀態都滿足

就稱系統（1）實現了一致性。

假設1 圖G是有向的。

2.2重放攻擊者模型

在多智能體系統中，本文考慮的一類智能體自身狀態信息和控制協議是可以實時獲取的，數據傳輸過程一般出現在智能體與鄰居之間的狀態信息交流中。由于重放攻擊在任意兩個智能體之間的數據傳輸過程都有可能發生，所以智能體j發送狀態信息給智能體i的通信信道上可能存在的重放攻擊者，可以表示為rij，同時每個攻擊者rij都配備內存Mij（k）。假設攻擊者rij在k0時刻截取智能體j發送給智能體i的狀態信息包xj（k0），并存放在內存Mij（k0）中。τij（k）代表攻擊者rij在k時刻生成的連續攻擊次數。當k>k0，如果攻擊者rij在k時刻不發動攻擊，即τij（k）=0，那么k時刻的內存Mij（k）依舊等于xj（k0）;如果攻擊者rij在k時刻發動攻擊，即τij（k）>0，那么攻擊者rij在[k，k+τij（k）]時間段內將執行以下步驟：

1. 攻擊者rij截取正在傳輸的狀態信息xj（k），并將xj（k）替換為存儲在內存Mij（k）中的狀態信息xj（k0）。

2.攻擊者rij保持內存不變，即Mij（k+1）=Mij（k）。

3. k=k+1，重復上述步驟。

基于以上描述，攻擊者模型可以簡單地概括為：

其中，sij（k）=1意味著有攻擊發生，反之，sij（k）=0意味著攻擊者rij沒有發動攻擊。

重放攻擊的發動是需要一定能量的，并且攻擊者的能量也是有限的。本文假設每個智能體只知道攻擊者能夠發動的最大連續攻擊次數τmax。

假設2 τmax≥ 1且τij（k）≤τmax。

2.3 針對重放攻擊的分布式安全一致算法

我們令每個智能體的預測時域H≥τmax+1，同時收集智能體i的預測信息xi（k+h|k），h=1，2，...H，則我們可以得到智能體i的狀態信息序列為并可以寫成如下形式：

其中

同時，切換拓撲下智能體i在時刻k的參考狀態表示為：

其中，0≤τij（k）≤τmax，τij（k）根據重放攻擊是否存在可以表示為如下形式：

根據算法需要，接著定義參考狀態序列Zi（k）=[zi（k），zi（k），...，zi（k）]T。

在系統（1）的基礎上，對每個智能體i建立如下的MPC代價函數，并在時刻k計算控制協議序列Ui（k）。

將等式（3）代入等式（4），令ei（k）=xi（k）-zi（k），并對等式（5）求，可以得到智能體i的控制協議序列。

其中。因此，得到了智能體i的控制協議。

當k≥0，智能體i執行以下步驟：

1.智能體i通過等式（4）計算Xi（k），并將Xi（k）傳輸給其附近的智能體，同時接收鄰居智能體的狀態信息序列Xj（k）。

2.如果sij（k）=0，智能體i更新自身內存， 執行控制協議ui（k|k）。如果sij（k）=1， 智能體i使用保存在Mij（k）中的， 令并執行控制協議ui（k|k）。

3.重復k=k+1。

假設3 攻擊總是可以被檢測到的。

三、收斂性分析

在本節中，我們將對切換拓撲下的多智能體系統（1）進行一致性分析，并將從理論上證明安全一致性協議（7）的有效性。定義，m=0，1，...，τmax，并令xi（k|k）=xi（k），那么可以得到

如果包含生成樹，則也包含生成樹。此外，對任意的，如果是隨機矩陣且存在正標量μ∈（0，1）使得即Mi的生成樹根節點有自環，則Mi是SIA矩陣。

引理2[14] 設m≥2是正整數，且矩陣是對角線元素為正數的非負矩陣，那么有

其中，γ>0，Pi，i=1，2，...，m。

引理3[13]設A是一個隨機矩陣。如果G（A）有一棵生成樹，且生成樹的根節點在G（A）中有自環，則A為SIA矩陣。

引理4[15] 設是SIA矩陣的有限集合。對于每個長度為正的序列，矩陣的乘積為SIA矩陣。那么，對于每個無窮序列，存在一個向量f，使。

接下來，將給出本章主要研究結果。

定理1設是Z+的任意有限子集。在假設1、假設2和條件（10）的前提下，如果存在一個時刻無窮序列，其中k0=0，，，以至于存在聯合生成樹，則多智能體系統（1）應用安全一致協議（7）能夠實現一致。

證明：令，則有

是非負的，那么很容易推出也是非負的。如果在條件下聯合圖存在聯合生成樹，顯然也含有聯合生成樹。通過引理1，聯合圖也包含生成樹。

通過引理2，可以得到

其中γ>0。因此含有聯合生成樹，這意味著也含有聯合生成樹。

因為aij（k）是從一個有限集合中選擇的，所以所有可能的集合都是有限的。且必須有一個正標量μ∈（0，1）使得，則有以下計算

通過推導，我們可以證明。如果，則F具有引理1中的形式。當，F表示如下

令F的前N行為，有F0≥IN。通過引理1，可以得出生成樹的根節點含有自環。

顯然，隨機矩陣的乘積依舊是隨機矩陣，則可以得到也是一個隨機矩陣。通過上述推導和引理3，可以推出是SIA矩陣。又因為aij是有限的，顯然所有m下的也是有限的。根據引理4，可知，其中且f≥0。

當k≥0，設mk為使的最大整數。則系統（9）可以寫成如下形式

因此，對于i∈V，可知。多智能體系統（1）應用一致協議（7）能夠達到一致。證明完成。

四、數值仿真

在本小節中，將通過數值仿真來驗證協議（7）的有效性。以下是多智能體系統三個不同的有向拓撲圖。

假設所有邊的權重為1，選擇參數T=0.2，λ=1。從G（1）開始，每Ts切換至下一個拓撲圖。8個智能體的初始位置信息為

我們考慮以下三種重放攻擊情況：

1. H=21，τmax=0，即無重放攻擊發生，多智能體系統未使用所設計算法;

2. H=21，τmax=20，sij（k）=0當且僅當k=γ（τmax+1）+1，γ為從0開始的連續自然數。否則，sij（k）=1。多智能體系統未使用所設計算法;

3.? H=21，τmax=20， sij（k）=0當且僅當k=γ（τmax+1）+1，否則，sij（k）=1。多智能體系統使用所設計算法。

對于情況（1）， （7）可以以最快速度使系統收斂一致。

圖3可以看出攻擊會導致多智能體系統不能實現安全一致。當系統使用所設計算法，由圖4可以看出即使攻擊幾乎始終存在系統也能最終達到安全一致。

五、結束語

本章研究了重放攻擊下具有切換拓撲的一階多智能體系統的安全一致性問題。通過模型預測控制算法，所有智能體得到相應的安全一致控制協議。運用模型轉化法，將原系統轉化為系統矩陣隨機的等效系統。接著通過應用圖論知識和非負矩陣的性質，獲得重放攻擊下具有切換拓撲的一階多智能體系統達到漸進一致的充分條件。

未來我們將研究具有切換拓撲的二階多智能體系統的安全一致問題。

參? 考? 文? 獻

[1] Olfati-Saber， R.， Fax， J.， and Murray， R. （2007）. “Consensus and Cooperation in Networked Multi-Agent Systems”. Proceedings of the IEEE， 95（1）：? 215-233. https：//doi.org/10.1109/JPROC.2006.887293

[2] Teixeira， A.， Shames， I.， Sandberg， H. and Johansson， K. （2015）. “A Secure Control Framework for Resource-Limited Adversaries”. Automatica， 51： 135-148， 2015. https：//doi.org/10.1016/j.automatica.2014.10.067

[3] Minghui Zhu and Sonia Martínez. （2014）. “On Attack-Resilient Distributed Formation Control in Operator-Vehicle Networks”. SIAM Journal on Control and Optimization. 52（5）： 3176-3202. https：//doi.org/10.1137/110843332

[4] Zhi Feng， Guoqiang Hu， and Guanghui Wen. （2016）. “Distributed Consensus Tracking for Multi-Agent Systems under Two Types of Attacks”. International Journal of Robust and Nonlinear Control， 26（5）： 896-918. https：//doi.org/10.1002/rnc.3342

[5] Zhi Feng and Guoqiang Hu. （2017）. Distributed Secure Average Consensus for Linear Multi-Agent Systems under Dos Attacks. Proc. American Control Conference， Seattle， WA， USA， 2261-22. https：//doi.org/10.23919/ACC.2017.7963289

[6] Derui Ding， Zidong Wang， Daniel W. C. Ho and Guoliang Wei. （2017）. “Observer-Based Event-Triggering Consensus Control for Multiagent Systems with Lossy Sensors and Cyber-Attacks”. IEEE Transactions on Cybernetics， 47（8）： 1936-1947. https：//doi.org/10.1109/TCYB.2016.2582802

[7] Anyang Lu and Guanghong Yang. （2018）. “Distributed Consensus Control for Multi-Agent Systems under Denial-of-Service”. Information Sciences， 95-107. https：//doi.org/10.1016/j.ins.2018.02.008

[8] Mo， Y. and Sinopoli， B. （2009）. Secure Control Against Replay Attacks. Proc. IEEE Conference on Communication， Control， & Computing， Monticello， IL， USA， 911-918. https：//doi.org/10.1109/ALLERTON.2009.5394956

[9] Minghui Zhu and Sonia Martínez. （2013）. “On Distributed Constrained Formation Control in Operator-Vehicle Adversarial Networks”. Automatica， 49（12）： 3571-3582. https：//doi.org/10.1016/j.automatica.2013.09.031

[10] Khazraei， A.， Kebriaei， H. and Salmasi， F.? （2017）. “Replay Attack Detection in A Multi Agent System Using Stability Analysis and Loss Effective Watermarking”. Proc. American Control Conference， Seattle， WA， USA ，4778-4783. https：//doi.org/10.23919/ACC.2017.7963289

[11] Fei Miao， Miroslav Pajic， and George J. Pappas. （2013）. “Stochastic game approach for replay attack detection”. 52nd IEEE Conference on Decision and Control， Florence， Italy， 1854-1895. https：//doi.org/10.1109/CDC.2013.6760152

[12] Mayne， D.， Rawlings， J.， Rao， C. and Scokaert， P. （2000）. “Constrained Model Predictive Control： Stability and Optimality”. Automatica， 36（6）： 789-814. https：//doi.org/10.1016/S0005-1098（99）00214-9

[13] Feng Xiao and Long Wang， （2006）. “State Consensus for Multi-Agent Systems with Switching Topologies and Time-Varying Delays”. International Journal of Control， 79（10）： 1277-1284. https：//doi.org/10.1080/00207170600825097

[14] Jadbabaie， A.， Jie Lin， and Morse， A. （2003）. “Coordination of Groups of Mobile Autonomous Agents Using Nearest Neighbor Rules”. IEEE Transactions on Automatic Control， 48（6）; 988-1001. https：//doi.org/10.1109/TAC.2003.812781

[15] Wolfowitz， J.? （1963）. “Products of Indecomposable， Aperiodic， Stochastic Matrices”. Proceedings of the American Mathematical Society， 14（5）： 733-733. https：//doi.org/10.1090/ 2034984