基于博弈論的信息物理融合系統安全控制

龐巖 王娜 夏浩

信息物理融合系統[1](Cyber-physical system,CPS)是在環境感知的基礎上綜合計算、網絡和物理實體的高效能網絡化智能信息系統,通過3C(Computation、communication、control)技術的有機融合與深度協作,實現大型工程系統的實時感知、動態控制和信息服務.其本質是將計算過程和物理過程有效地融合在一起,通過嵌入式計算機和網絡對物理過程進行監控.我國在2009年將CPS列入重點研究方向[2],但對CPS的研究無論從軟件還是硬件以及理論基礎上都存在著諸多難點.物聯網、人工智能、云計算等技術的成熟和發展,將會為CPS的研究和應用帶來巨大的轉機.

信息物理融合系統由深度集成、緊密耦合的計算和物理組件組成,并具備通信能力.然而依賴于通信網絡和標準通信協議來傳輸測量和控制數據包增加了對物理系統的攻擊的可能性.因此,對于可靠性差的通信網絡下的網絡控制系統研究也成為一個熱門的研究領域[3].通信網絡是CPS的核心,系統的各部分元件在這里進行信息交換和傳遞,而CPS中的信息系統結構復雜異構,系統也隨著發展變得更加復雜、開放,因此極易受到外界干擾甚至惡意攻擊.在存在惡意攻擊威脅情況下,如何設計防御控制策略,對故障進行控制和及時恢復,使系統在短時間內更正錯誤,防止錯誤擴散,不影響系統正常的工作狀態,是CPS安全性研究[4-5]的重點.CPS的安全性也可分為故障安全和主動安全.故障安全是對偶發故障的避免,通過故障檢測技術[6]實現對故障的及時發現以及將故障對系統帶來的危害降至最低.而主動安全則側重于對惡意攻擊的主動防范.對于CPS系統的安全設計來說,主要關心怎么預防事故的發生,因此故障安全和主動安全都需要保證.而對于本文考慮的存在惡意攻擊的情況下,則主要研究主動安全,從而對系統進行彈性與魯棒控制.

目前國內相關的研究文獻甚少,國外的研究也處于起步階段,對于CPS的安全性研究大多集中于網絡數據加密[7]、模型驗證[8]或借助網絡安全[9]的研究方法等,而很少考慮物理系統的控制安全.與上述研究方向不同,本文將著重考慮通信對于控制的影響,給予系統一定的容錯能力,從受控系統上保證物理設備的安全.

在現有文獻研究中,下列文獻研究了控制系統中數據通信受到攻擊時的影響及控制方法設計.文獻[10-11]致力于最小化控制目標函數的反饋控制器的設計,在這兩篇文獻中,僅考慮了數據包丟失,未考慮延遲.在文獻[12]中提出了延遲和數據包丟失下的預測控制器設計,但是沒有明確考慮亂序.Sinopoli等[13]利用伯努利過程研究了測量損失下卡爾曼濾波的應用,提出了數據包丟失概率對于最優估計的一個閾值條件,并給出了閾值函數.研究控制或者數據包丟包概率的條件是控制系統能夠容忍并且仍然能夠保持系統的可靠性.控制系統中數據丟包模型常用伯努利模型,伯努利模型由于其通用性強及易處理，因此在最近幾年被廣泛地研究[14].然而伯努利過程僅給出了一個數據包丟失的離散概率分布模型,對時延及觀測噪聲并沒有考慮.伊利諾伊大學的Tamer Basar教授對博弈論在控制中的應用做出了很多工作,包括對采用博弈論的方法進行H∞控制器設計的專著,并且在文獻[15]中提出用動態博弈的方法對有損網絡進行H∞優化控制.文獻[16]從數學范數概念出發,提出把H2/H∞混合控制問題抽象為兩個對局者在信息不完全情況下的非零和博弈模型,通過納什均衡設計輸出反饋控制器,使系統在保持魯棒穩定性的前提下最大程度地降低干擾對輸出的影響,使系統獲得最優動態性能指標.因此,博弈論在針對沖突模式下的動態控制有良好的應用前景.

本文將研究信息物理融合系統受到攻擊下的控制策略,借助最優控制的理論和方法,將其抽象為二人零和動態博弈問題,設計了在網絡控制系統中對數據包的時序攻擊具有彈性的魯棒輸出反饋控制器.對網絡時間序列算法的攻擊將導致產生時變延遲,造成數據包接收順序的改變.對于無線傳感器網絡數據傳輸過程中由于對數據包時序攻擊造成的可變延遲,本文通過運用極大極小值原理并將其和黎卡提微分方程的解[17-18]相結合給出了最優控制策略的控制律.最后用雙水箱模型進行仿真驗證,并與LQG(Linear quadratic Gaussian)控制進行了對比發現,本文所用方法最終實現了系統的穩定控制,而LQG控制在受到攻擊后則出現劇烈震蕩.

1 問題描述

1.1 數據包時序攻擊

在典型的信息物理網絡系統中,通常有多傳感器通過一個共享的通信頻道發送信息給控制器,控制器傳輸控制數據給連接在物理系統上的執行器.數據包必須按照一定的順序傳輸,并在規定的時間內到達.本文主要考慮攻擊者在傳感器和控制器之間的路徑上進行干擾,導致數據包丟失,或者產生時變延遲和亂序等,但不能改變數據包的內容[19].

我們稱這種對網絡數據傳輸的時間特性進行干預造成系統數據丟失或產生時變延遲,從而導致數據包亂序的攻擊行為稱為數據包時序攻擊(Pactket scheduling attacks).通過無線網絡傳輸的數據包在進行加密前都是被做上時間標記的,時間戳能夠被用來檢測已過時的信息.

數據包時序攻擊是很容易做到的,最直接的方式就是對手把惡意軟件放在發送方和接收方之間數據傳送的路由上,或者在數據傳輸的路徑上加入惡意節點(Malicious node),由于各節點間形成一個多跳的網絡,惡意節點的加入可造成數據延遲.另一個不正當的攻擊方式是拒絕服務攻擊(Denial of service,DoS),在無線通信頻道,對手可以通過重復地發送數據包導致數據包沖突和自動重傳,使得數據包錯過它的截止時限,從而耗盡共享的通信頻道或造成網絡擁堵[19].因此數據包時序攻擊可造成以下影響:1)產生時變延遲:2)改變控制器接收到的數據包順序,即亂序.

1.2 系統模型

由于網絡和物理世界之間的緊密耦合和協調,CPS是在多個空間和時間維度上動態地重組和重新配置具有高度自動化的控制系統.為了使無縫集成,CPS的實現依賴于整個系統的閉環設計的思考.如圖1所示,在物理過程中感測到的事件需要反映在網絡世界中,而網絡世界所采取的控制策略需要作用到物理受控系統上.從這個過程中可以發現,傳感器和執行器充當物理和網絡世界之間的接口,并且通過網絡通信基礎設施閉合了物理世界和網絡空間之間的間隙,實現物理世界和計算進程的融合.若在網絡上有惡意節點的加入,則可造成控制器接收數據時間及順序的變化,因此安全問題在整個系統中也就出現了.

圖1 無線傳感器網絡控制系統模型(虛線表示無線網絡,實線表示有線網絡)Fig.1 Model of wireless sensor network control system(The dashed line shows the wireless network,and the solid line shows the wired network.)

本文采用離散時間的線性時不變系統進行極大極小控制器設計,狀態和輸出都受到干擾影響,離散的狀態空間方程如下:

1.3 控制算法研究

在過去幾十年里,控制理論主要發展了“H∞最優控制理論”,針對線性受控系統在受到未知的添加干擾和系統不確定性時最差情況的控制器設計問題,包括干擾衰減、模型匹配、和跟蹤問題等[20].常用的最優控制還有線性二次型最優控制,即性能指標是狀態變量和控制變量的二次函數積分.其中線性二次型最優控制包括確定性系統的線性二次型最優控制問題(Linear quadratic,LQ)和隨機系統的線性二次型高斯控制(Linear quadratic Gaussian,LQG).

對于隨機系統的最優控制,常用的是LQG控制,但是該控制算法的干擾模型是一個已知統計特性的隨機模型,即高斯分布.由于本文采用的干擾為隨機的且不知其統計特性的.因此,在研究CPS面臨攻擊行為情況下的安全性控制問題時,采用了博弈論方法.

博弈論是近年來最優控制領域的研究重點之一,隨著最優控制研究方法的深入,推動了博弈論研究的新高潮.博弈論主要研究沖突模式,尋求沖突局勢下的最優策略,通過對個體行為的預測并對實際行為進行分析把產生利益沖突現象的個體抽象為博弈模型,利用博弈理論分析問題建立優化策略模型,得到具有次優或最優效用值的博弈策略.博弈的類型分為:合作/非合作博弈、零和/非零和博弈、對稱/非對稱博弈、完全信息/不完全信息博弈[21]等.對于有利益沖突的雙方,一方試圖對系統進行干擾,另一方則盡力使干擾對系統的影響降到最小,則博弈論無疑是對其進行優化控制中最合適的工具.因此,博弈論在網絡安全控制方面將會有更加廣泛的應用.

本文將攻擊者和防御系統看成是一個博弈過程,攻擊者通過各種手段試圖獲取自己所需的信息資源或對系統造成直接的破壞,而防御系統則采取相應的防御策略試圖最大程度地減小攻擊行為帶來的損害.在外部攻擊者惡意干擾的情況中,系統輸入與外部干擾可看成是兩人的零和動態博弈,由于攻擊者和防御系統的博弈是一個非合作博弈過程,本文假設攻擊者的行為是隨機的,且互相不知道對方的信息,因此為了設計魯棒性強的輸出反饋控制器,采用零和動態博弈的方法,該控制器設計被視為兩個玩家間的動態博弈過程.控制器盡量使一個被給的有限域二次型函數最小,而干擾盡量使這個函數最大[22].

對于不完全信息狀態,干擾是不可預測的,如何模型化誤差信號將會是一個難點.因此在這里我們需要假設干擾ω是平方可積的,即ω是有限能量的[20].函數J是干擾的二次型函數,如何阻止隨著干擾的增加,性能函數不斷的增大,一個可行的控制方法就是控制它的增長率.給定一個正數γ,使得控制器滿足下面不等式:

z是控制輸出,將干擾和不確定的初始狀態x0共同作為未知的外界干擾因子w.這個設計問題就轉化為找到一個最小化下面性能函數的控制器.

用符號‖·‖表示歐幾里得范數,可將該問題的解決轉化為零和博弈的軟約束博弈方法,則對于參數化有限域情況下性能函數如下:

其中,γ＞0是干擾抑制水平,Q0是適當維度的正定權重矩陣,x0是未知的系統初始狀態值.需要找到一個γ值來滿足零和博弈有解,即使得:

有解.該問題就變成相當于尋找“γ≥0”的最小值問題,目標函數所定義的零和動態博弈有相等的上界值和下界值,使得線性二次型動態博弈的鞍點解能直接應用于最差情況的設計問題上.動態博弈的性能指標由給出,也稱為帶干擾抑制的軟約束博弈,“軟約束”常被用來獲取在博弈中對于沒有硬性邊界的這一特征[20].動態優化類型的問題就類似一個兩人零和動態博弈,控制器U是最小化玩家(可稱為玩家1)使目標函數最小,干擾W是最大化玩家(稱作玩家2),使目標函數最大.

用M表示玩家1的策略空間,N表示玩家2的策略空間,以規范形式給定一個零和動態博弈{J:M,N},則策略對構成一個鞍點解,對于所有的(μ,ν)∈M×N,

J?的值就是動態博弈的值.J?的定義如下:

其中,和分別是上界值和下界值,滿足不等式,當它們相等時的值就是博弈值J?.

二次型目標函數要取得最小值,需滿足嚴格凸的.因此,對于γ的求解,有如下定理:

定理1.由式(4)給出的二次型目標函數在狀態方程(1)條件下,對于玩家1的每一個開環策略u滿足嚴格凸的,當且僅當

其中,序列SK+1,k∈[1,K]由下列黎卡提方程求解:

因此,在有干擾衰減情況下,滿足性能指標極值存在的所有γ值的下界表示為γ?,此時相應的控制器為H∞控制器.當沒有干擾衰減情況時,極小極大控制器相當于線性二次型高斯(LQG)控制器.

2 控制器設計

2.1 LQG跟蹤系統控制器設計

對于隨機系統的LQG控制器的設計,可以采用確定性系統LQ控制律的設計和Kalman狀態最優估計的結合,組成LQG控制器,其控制模型[23]為

其中,Q0和Q1是非負定矩陣,Q2是正定矩陣.考慮控制器中加入積分作用,引進積分后的跟蹤系統的結構如圖2所示,其中

圖2 LQG控制器結構圖Fig.2 LQG controller structure diagram

最優反饋控制律L=[L1Li]的求取方法與LQ跟蹤系統相同:

令系統增廣狀態為

則增廣的系統狀態方程為

可求得

估計器為Kalman濾波器.濾波器的反饋增益K為

2.2 有限域的極大極小控制器設計

對于有限域離散時間零和博弈,需要引入一個鞍點解存在的有效條件,考慮零和動態博弈有下列狀態方程描述:

有限域的性能指標:

引入信息結構模型,將控制器收到的信息集合表示為:

在控制器中收到的測量值集合為

在控制器中可利用的信息集合為

在單個玩家的優化問題中,動態規劃的方法提供了一個有效的方式來獲取最優的鞍點解,通過以倒推的方式來解一個靜態優化問題.對于動態博弈,由魯弗斯·艾薩克斯在19世紀50年代早期通過連續時間域推廣獲得的離散時間版的類似方程—艾薩克斯方程,這樣一個方程提供了鞍點解存在的有效條件.

控制器不能獲取完全的狀態信息,因此,采用最壞情況下的極大極小估計,根據確定性等價原則,將控制器設計分成兩個部分:1)第一部分是設計一個觀測器,能夠估計最壞的狀態,并與可利用的輸入輸出序列相匹配:2)第二部分是設計一個控制器,利用估計的狀態產生新的控制輸入.

基于文獻[20]中的一些結論,來設計本文的極大極小控制器.設置時間延遲為τ,因此在時間k≥τ,只有k-τ之前的信息是可用的,也就是說測量信息集合.極大極小控制器的設計按照從初始時間到時間k-τ是沒有延遲的,剩下的時間利用最差干擾狀態下的估計,因此這時候是沒有觀測值可利用的.另外,我們引入參數αk,這里αk=1說明數據包在時間k被接收,αk=0說明沒有收到數據包.用時刻k的值做時刻k+1的狀態估計,表示為,為了描述更清晰,用狀態估計方程為:

對于以上的狀態估計方程有以下控制律:

其中

M(k)和Σ(k)是博弈代數黎卡提方程的解,M(k)=QK,.

另外,當αk=0時,

按照Tamer Basar在極大極小控制器設計的理論中,極小極大控制器存在的條件[20]為

1)方程(25)在[0,K]上有解;

2)方程(26)有解;

3)式(25)和(26)的解滿足下列條件:

對于上面的條件,有任何一個不成立,則不存在這樣的控制器,使得γ≥γ?.

帶積分狀態控制的極大極小控制器結構如圖3所示:

圖3 極大極小控制器結構圖Fig.3 Minimax controller structure diagram

2.3 時序攻擊下的極大極小控制器設計

圖4為幾種數據傳輸故障及解決方法,取時間步為k=6,圖中三種分別為有固定延遲、測量損失、和可變延遲的情況[20].固定延遲的值取τ=4,對于固定延遲的情況,只能收到前兩步的數據,因此利用第二步的數據值,執行估計.在測量損失情況下,損失的數據由已經收到的數據包進行估計.在時變延遲下,數據包傳遞出現亂序,亂序出現在k=5時刻,此時收到的數據包是k=3時刻的值.對此需要設計一個補償器來處理此類情況.

圖4 數據傳輸示意圖Fig.4 Schematic diagram of data transmission

對于時變延遲和亂序情況下的信息結構既包括固定延遲下的信息結構又包含損失情況下的信息結構,因此該類情況的控制策略如圖5所示.

圖5 可變延遲下的數據傳輸示意圖Fig.5 A schematic diagram of data transmission under variable delay

在時間步k=3時,由于數據缺失(α3=0),估計器采用第二步的數據值進行估計;在k=5時,時間步k=3的數據收到,然后返回重新計算第三步的估計值.因此對于時變引起的數據包亂序,無論什么時候當延時數據包收到時,估計器就返回重新計算,直到所有的數據包都按照正確時序接收.

下面通過一個算法來描述極大極小控制器.首先引入變量κk,該變量表示在時間k所獲得的所有數據包按照正確時序被接收的時間值.比如上述例子,在k={3,4},κk=2,變為κk=5對于k≥5.在每個時間間隔內收到的數據包數目表示為Npkts.設置緩沖區Θy,Θu和ΘΠ用來保存信息結構.

另外,用緩沖區Θx和ΘΣ來分別儲存狀態估計值.如果測量值在特定時間k沒有被控制器收到,它就不會被包含在信息結構中,它的緩沖區的值就是空的.此外,我們用臨時變量和作為在線值.該控制器的算法如下:

算法1.亂序數據包和時變延遲下的極大極小控制器

定義Npkts,Θy是基于區間[k-1,k]收到的數據包,初始κ=0.

3 基于雙水箱模型的系統仿真

3.1 雙水箱模型

基于無線網絡傳輸的雙水箱系統,包括水箱本體、供電設備,還有三個無線傳感器節點,這三個傳感器節點通過無線通信通道分別負責系統的傳感,控制和執行.對于雙水箱CPS的安全目標是保護物理實體的正常操作不受由于惡意攻擊網絡基礎設施造成網絡空間入侵帶來的干擾.對于如圖6所示的雙水箱物理模型,雙水箱液位的動力學方程[24]如下:

其中,g是重力加速度,L1、L2分別為水箱1、2的液位,A1、A2分別為水箱1、水箱2的橫截面積.a1、a2分別為出水孔1、2的橫截面面積.KP為泵的流量常數,VP為作用在泵上的電壓.

接下來,定義一組變量集合:

可將動力學方程(30)重新寫為：

圖6 雙水箱物理模型Fig.6 Physical model of double water tanks

最后,在△L1=0,△L2=0,u=0處,對式(31)進行線性化,可以得到雙水箱系統的狀態空間的形式,如下:

水箱設備參數如表1所示:

表1 水箱參數Table 1 Water tank equipment parameters

取L10=10cm,L20=10cm,d1=d2=0.48cm,D1=D2=4.45cm,g=980cm/s2,KP=3.3cm3/(V·s),則系統的狀態空間方程為

采樣時間T=2s,將系統離散化得:

對線性模型和非線性模型對比如圖7所示.

圖7 線性模型和非線性模型仿真對比圖Fig.7 Comparison of linear and nonlinear models

由圖7可看出非線性模型和線性模型的響應速度幾乎一致,而線性模型響應相對較平緩.線性化后的模型在設定的平衡水位附近達到穩定,其他與非線性模型差別不大.因此線性化對系統的影響不大,可忽略不計,另線性化后模型可便于控制器設計.

考慮到外部干擾因素,比如對水箱數據傳輸網絡的干擾,或由于外部震動原因導致壓力傳感器的數值失真等因素,在這里我們采用如式(1)所示的干擾模型.對于雙水箱系統,主要設計目標是跟蹤低位水箱的一個分段的常數參考輸入值,系統模型由上文所述的雙水箱連續系統模型獲取,采樣時間為2s.

參考輸入值設置為8cm和10cm.另外在控制器中引入積分狀態,為了實現參考輸入的跟蹤.積分狀態控制器如下:

xc是控制器積分狀態,Cc=[0 1],極小極大控制器用在新的增廣系統上,狀態為ξ(k)=,控制輸入如下:

其中,Kξ和由式(22)和式(21)給出.下面設D=0.1[BBB000],E=0.1[0 0 0III]:另外,選擇矩陣Q=QK=Q0=0.1I.

3.2 LQG控制仿真結果

對系統加入數據包時序攻擊和未受攻擊的系統進行仿真對比,如圖8和圖9所示,其中虛線為受攻擊后的系統響應,實線為未受攻擊的系統響應.

3.3 基于博弈論的極大極小控制器仿真結果

首先需先求得滿足約束條件的衰減因子γ,對于可變延遲,設置最大延遲時長τ=4,本文采用粒子群搜索算法,求得γ?=2.317,然后代入求得其他各參數.Kξ=[KuKc],由增廣的狀態估計方程求得.另外,K1=AΛ(k)CTN-1,K2=AΛ(k)γ-2Q.則沒有受到攻擊時的仿真結果如圖10和圖11所示.受到數據包時序攻擊下的仿真結果如圖12和圖13所示.

通過仿真結果可看出,LQG控制在遭到攻擊時,控制器已失去穩定控制,而本文所設計的極大極小控制器在遭到數據包時序攻擊時,雖然有小幅度的波動,但最終仍實現了穩定,可明顯說明所設計的控制器是可行的,并具有很好的控制性能.并且在系統穩定時,水箱的水位跟蹤參考輸入變化而變化,并在較短時間內達到穩定,對干擾也有較大程度的抑制.

圖8 LQG控制輸出圖Fig.8 LQG control output diagram

圖9 LQG控制的輸入值Fig.9 Input value of LQG control

圖10 極大極小控制器的輸出圖Fig.10 The output diagram of the min-max controller

圖11 極大極小控制器的輸入值Fig.11 The input value of the minimax controller

圖12 受攻擊下的極大極小控制器輸出響應Fig.12 Output response of minimax controller under attack

圖13 受攻擊下的極大極小控制器輸入值Fig.13 Input value of the min-max controller under attack

4 結論

隨著傳感、通信技術和控制理論的進一步綜合發展,以及物聯網研究和開發的成熟化,CPS將成為各國未來科技發展的一個研究熱點[25].本文根據最優控制的理論,將信息物理系統的攻擊防御模型作為二人零和動態博弈問題,設計了在網絡控制系統中對數據包的時序攻擊具有彈性的魯棒輸出反饋控制器.運用極大極小值原理并將其和黎卡提微分方程的解相結合給出了最優控制策略的控制律.并與隨機系統的線性二次型最優控制即LQG控制器進行對比,結果顯示本文所設計的極大極小控制器具有更好的控制效果.

受攻擊下的信息物理融合系統的安全性問題,是系統決策者與網絡攻擊者之間的博弈與對抗,隨著無線網絡的普及及智能系統的發展,無線通訊網絡與物理實體之間信息交互的安全性將顯得尤為重要.如果在完全信息狀態下,也就是攻擊者能夠獲取受控系統信息的狀態下,攻擊將會有策略性.因此對于具有策略性的外部干擾和攻擊,如何使受控系統不受影響或降低其帶來的影響,也就是如何使系統具有更好的彈性控制或魯棒控制性能將會是今后重點研究的方向和解決的問題.