邊緣計算中基于深度Q網絡的物理層假冒攻擊檢測方法

楊建喜，張媛利，蔣 華，朱曉辰

（1.北京電子科技學院通信工程系，北京 100070；2.西安電子科技大學通信工程學院，西安 710071）

（?通信作者電子郵箱13772186903@163.com）

0 引言

隨著5G 開啟商用，以及物聯網和人工智能的快速發展，各種垂直行業業務如智能制造、車聯網等所產生的數據量呈幾何式上升，而傳統云計算的集中式存儲與計算的模式已然無法滿足這些業務對網絡實時性、安全性等問題的需求。為此，國內外學者們提出了邊緣計算的概念。邊緣計算作為新范式，是指在靠近物或數據源頭的網絡邊緣側，融合網絡、存儲、計算、應用核心能力，就近提供邊緣智能服務的開放平臺，廣泛應用在物聯網、車聯網、虛擬現實、智能制造等領域［1-3］。與云計算相比，邊緣計算與數據源距離更近，從而可以第一時間獲取數據，并進行實時分析及智能處理，所以更加安全和高效。邊緣計算具有的分布式低延時、高效率、高安全性和緩解流量壓力等特點彌補了傳統云計算的不足，兩者相輔相成，以云計算為基礎，邊緣計算為核心，可以協同解決海量數據處理的問題［4］。邊緣計算網絡的關鍵組成有邊緣計算服務器/節點和終端設備，兩者通過無線通信和網絡技術建立可靠的無線鏈路［2］。由于無線信道的開放廣播特性，使得邊緣計算網絡容易受到惡意終端設備的假冒攻擊，當假冒攻擊者以合法身份與邊緣計算設備建立通信連接時，會進一步實現中間人攻擊和拒絕服務攻擊，因此必須采取有效的安全技術來解決邊緣計算中的假冒攻擊威脅。物理層安全技術通過利用無線傳輸信道的唯一性、時變性和互易性等天然特性，基于信道脈沖響 應（Channel Impulse Response，CIR）、信道狀態信息（Channel State Information，CSI）、信道頻率響應（Channel Frequency Responses，CFR）等信道參數來檢測假冒攻擊者，具有實現復雜度低和安全性能強的特點，被認為是一項有前景的技術［5］，適用于邊緣計算中的假冒攻擊檢測。

強化學習作為一種以環境反饋作為輸入、自適應環境的特殊機器學習方法，用戶可以在不知道系統信息的情況下在動態環境中獲得最優策略。其次，在實際場景中，終端用戶并不是靜態的，而且邊緣計算服務器和用戶之間的通信環境也會由于周圍環境中的變動而發生改變，所以通信雙方的信道環境是動態變化的。因此，利用強化學習算法可實現動態環境中既定目標的最優策略而不需要知道系統的細節信息。文獻［6］提出利用強化學習算法在動態環境中進行用戶身份主動認證的安全防護方案。文獻［7］通過基于Q-Learning 的信道選擇策略解決了存在的干擾攻擊。基于Q-Learning 的方法在高維空間且狀態數目多的場景中學習速率很低［8］，而深度Q網絡（Deep Q-Network，DQN）在Q-Learning 的基礎上結合了深度學習技術，利用神經網絡來近似Q值估計，可以提高收斂速率。因此，文中將利用DQN 算法優化檢測閾值的選擇，實現動態環境下更為準確的假冒攻擊檢測。

邊緣計算可以為海量終端提供實時響應、避免網絡擁塞，具有更好的安全性能，但也面臨著一些安全問題，如隱私數據泄露、假冒攻擊、竊聽攻擊和側信道攻擊等［9-10］。對此，研究學者們提出了一些解決方法：文獻［11］基于“云-邊-端”三層體系架構提出了邊緣計算服務器和終端設備之間的安全相互認證方案Octopus，該方案在認證過程中采用對稱加密算法，且允許任何終端設備在已授權情況下與任一邊緣計算服務器進行相互認證，從而能夠有效抵抗假冒攻擊、重放攻擊等；文獻［12］在Octopus的基礎上進行改進，通過使用雙線性配對算法來進行終端設備接入認證，可以在不暴露設備真實身份的同時驗證設備的合法性，避免了惡意設備收集終端設備的合法身份信息；文獻［13］在多接入邊緣計算中提出一種拒絕服務攻擊的防御模型，通過利用邊緣計算在網絡邊緣的計算能力生成本地化防御策略處理來自終端設備的可疑流量，實現對拒絕服務攻擊的防御；文獻［14］通過分離邊緣計算服務提供商、終端設備身份管理服務器和授權服務器，并增加認證層來抵御非法訪問和流量攔截等攻擊，對設備身份信息進行隱私保護。由于邊緣計算提出時間短且相關研究尚未成熟，現有安全方面的研究也大多使用應用層技術，沒有直接利用物理層無線信道特性來解決存在的安全威脅，也沒有考慮到終端設備和邊緣計算服務節點之間通信環境的動態性。因此，文中采用物理層安全技術，提出了一種基于DQN 的邊緣計算假冒攻擊檢測方法，在邊緣側通過物理層特性進行終端設備的唯一性識別，使得終端幾乎不承擔計算負荷，同時邊緣側的計算資源也使得利用強化學習算法進行假冒攻擊檢測成為可能。通過構建邊緣計算中的假冒攻擊模型，在接收端邊緣側建立基于CSI的假設檢驗，并將連續兩次的CSI之間的歐氏距離作為檢驗統計量；利用DQN 比較不同閾值的預期效用，以接收端回報最大化為目標自適應地為動態網絡環境篩選出當前最優檢測閾值；通過比較統計量和檢測閾值以判斷發送端的身份合法與否，最終實現邊緣計算中的假冒攻擊檢測，增強邊緣計算服務節點和終端設備之間的安全性。

1 模型構建

1.1 假冒攻擊模型

圖1 所示是終端設備與邊緣網關通信時受到假冒攻擊威脅的攻擊模型，文中假設N 個終端設備和邊緣網關節點通過無線信號進行通信，具體包括E 個合法發送端個非法發送端以及一個合法接收端Bob，其中j1∈{1，2，…，E}，j2∈{1，2，…，F}。與Bob 進行正常通信，而以虛假MAC（Media Access Control）地址偽裝企圖假冒向Bob發送信息。

圖1 假冒攻擊模型Fig.1 Impersonation attack model

圖2 信道估計模型Fig.2 Channel estimation model

1.2 假設檢驗

由于CSI 具有時變、衰落及隨距離快速變化等特性［16］，是唯一的，攻擊者雖然可以利用網絡技術修改自己的MAC 地址假冒合法發送者，但卻無法修改偽造CSI，基于此，接收端就可以檢測出假冒攻擊者。接收端從收到的數據包中提取出信道向量可以驗證數據包的來源，如果信道向量與信道記錄接近，則認為該數據包來自合法發送端，接收該數據包并更新信道記錄，否則認為該數據包來自攻擊發送端，丟棄該數據包。

由于在物理層多徑豐富的典型無線環境下，信道響應具有位置特異性，在足夠短的時間內同一通信雙方Aj1和Bob 的信道向量是高度相似的。而對于Ej2來說，當與它們的收發路徑間隔超過半個以上射頻波長時，就可認為兩條路徑的信道響應不相關［17］，即Ej2與Bob、Aj1與Bob之間的信道響應差異很大。據此可將假冒攻擊檢測的假設檢驗統計量Ζ表示為：

因為歐氏距離非負，所以檢測閾值δ也非負，即δ ≥0，δ的大小直接影響Bob 對數據包真假的判斷，從而影響對發送端合法與否的判斷：δ過小，容易將合法發送者當作非法攻擊者；δ 過大，容易將非法攻擊者當作合法發送者，所以選擇合適的閾值δ對于檢測假冒攻擊威脅至關重要。

為了準確且定量地判斷基于DQN 的物理層假冒攻擊檢測算法的性能，定義誤報率（False Alarm Rate，FAR）和漏檢率（Miss Detection Rate，MDR）為：

PFAR表示合法發送端Aj1的數據包被誤認為是非法攻擊者Ej2的數據包的概率。PMDR表示非法攻擊者Ej2的數據包被當作合法發送端Aj1的數據包的概率。相應地，Bob 接收合法發送端Aj1的數據包的概率以及拒絕非法發送端Ej2的數據包的概率可分別表示為：

每個數據包通過物理層檢測之后，再進行高層數據包檢測（Higher Layer Authentication，HLA）。最終通過檢測的數據包，若被接受時，更新信道記錄，即被拒絕時，更新信道記錄，即

2 基于DQN的假冒攻擊檢測算法

由于實際中通信場景復雜，大多數情況下，通信雙方的物理層信道模型和攻擊者發送數據包的概率對接收端來說都是未知的。在這種情況下，更需要接收端根據已知的不充分信息對到達的數據包來源進行鑒別，以檢測出假冒攻擊者，從而保證邊緣計算網絡的通信安全。DQN 算法可以在動態環境中利用不充分信息找到最優解，通過神經網絡能自動提取數據中有效特征來近似值函數，使得接收端在不知道信道環境模型的條件下，比較不同閾值δ 反饋的預期效用，從而選擇動態環境中的當前最優閾值δ*。

2.1 DQN算法

DQN［18-19］是一種結合了神經網絡和Q-Learning 算法的深度強化學習算法，利用神經網絡能自動提取數據中的抽象特征的優勢來近似值函數，充分結合了強化學習的決策優勢和深度學習的感知優勢，能夠解決更為復雜的控制決策任務。DQN 利用強化學習來建立模型，通過馬爾可夫決策過程進行建模，核心為狀態、動作和獎勵。智能體根據當前環境狀態執行動作后，獲得環境的反饋獎勵，然后通過試錯的方法改進動作，以便在接下來的環境中執行更優的動作，獲得更大的獎勵。

Q-Learning 算法通過動作值函數Q(s，a)進行值函數迭代，其更新式為：

其中：α為控制收斂的學習率(0 ≤α ＜1)；r為獎勵；λ為折扣因子，表示未來獎勵對現在的影響(0 ≤λ ≤1)。通過不斷地嘗試搜索空間，Q值會逐步趨近最佳Q*值。

DQN 算法的核心思想是目標函數、目標網絡和經驗回放機制。通過利用Q-Learning 算法構造目標函數L(θ)，并基于神經網絡產生目標Q 值，以及利用經驗回放機制解決數據間的相關性和非靜態分布問題，提高了數據利用率，降低了參數更新方差，使得網絡模型更容易收斂。DQN 算法采用了兩個結構相同但參數不同的神經網絡，其中當前值網絡用來評估狀態動作對的價值函數目標值網絡用來產生目標Q值

其中θ為神經網絡模型的權重參數。DQN 算法通過使用舊的網絡參數θ-評估一個經驗樣本中下一時間步的Q 值，且只在離散的多步間隔上更新θ-，為待擬合的網絡提供了一個穩定的訓練目標，并給予充分的訓練時間，從而使得估計誤差得到更好的控制。

2.2 算法實現

在基于DQN 的假冒攻擊檢測算法中，狀態空間為S，動作空間為A，Bob 在時隙τ 的狀態包含誤報率和漏檢率，即sτ=在時隙τ 采取的動作即選擇的檢測閾值δ ∈A，將δ 劃分為L+1 個等級，即δ ∈{l/L}0≤l≤L。相應地，誤報率PFAR和漏檢率PMDR也量化為L+1個等級。

假設攻擊者Ej2發送一個數據包的概率是pj2∈[0，1]，則攻擊者發送數據包的概率集合為Y={ pj2}1≤j2≤F，假設在一個時隙中只有一個非法發送端進行假冒攻擊，則接收端Bob 收到一個來自非法發送端的數據包的概率為Bob 接收合法發送端數據包的收益是G1，拒絕非法發送端數據包的收益是G0，接收非法發送端數據包的代價是C0，拒絕合法發送端數據包的代價是C1。在先驗分布下假冒攻擊檢測的貝葉斯風險［20］可表示為：

式中：第一項表示來自合法發送端數據包的回報，第二項表示來自非法發送端數據包的回報。由零和博弈可知，接收端和假冒攻擊者的回報和為零，兩者的回報RB(δ，Y)和RE(δ，Y)可表示為：

尋找最優檢測閾值δ*是確保接收端回報最大化的關鍵。接收端通過建立式（4）和（5）的假設檢驗對每個時隙內到達的T個數據包逐個檢測，通過最大化T個數據包的累計折扣總回報Πτ來選擇檢測閾值，即

DQN 檢測算法通過經驗回放內存U(D)存儲-采樣當前狀態、閾值、接收端回報和下一時刻的狀態(sτ，δτ，Πτ，sτ+1)作為訓練數據，通過Q-Learning 對網絡模型進行參數更新，其Q值更新過程為：

其中：λ為折扣因子，表示對未來回報的在意程度，λ越大則越關心長遠利益。最優檢測閾值δ*是使達到最大時的檢測閾值，即：

Bob 采用ε?greedy 策略不斷探索提高選擇最優檢測閾值的概率，每次以ε 的概率隨機選擇檢測閾值，以1-ε 的概率選擇最優檢測閾值，即：

圖3 所示為基于DQN 的物理層假冒攻擊檢測模型，通過利用神經網絡來估計檢測閾值的Q值。檢測算法中所采用的神經網絡包含輸入層和兩個全連接層，輸入為狀態sτ=第1 個全連接層的10 個神經單元都配置了線性修正單元ReLU 作為激活函數，第2個全連接層根據權重和偏置直接計算輸出Q值Q(sτ，δτ，θτ)，神經網絡在時隙τ的所有參數可表示為θτ。通過當前值網絡Q-eval估計每個檢測閾值δτ的Q 值，目標值網絡Q-target在一段時間內Q 值保持不變，一定程度降低了當前Q 值和目標Q 值的相關性，提高了算法穩定性。

圖3 基于DQN的物理層假冒攻擊檢測模型Fig.3 Physical-layer impersonation attack model based on DQN

基于DQN 的假冒攻擊檢測算法的目標函數和關于網絡參數的梯度可分別表示為

式中：sτ+1是在狀態sτ下選擇動作δτ之后得到的下一狀態，θτ是當前值網絡Q?eval的網絡參數是目標值網絡Q?target的網絡參數，但卻是Q?eval的Nit時間步以前的參數。在訓練網絡模型時，文中選擇的是初始學習率為μ 的自適應學習率優化算法均方根（Root Mean Square，RMS）作為優化函數，每次從經驗回放內存U(D)中取N?bsize個(sτ，δτ，Πτ，sτ+1)來訓練當前值網絡Q?eval，假設樣本之間相對獨立，然后最小化損失函數L(θτ)，更新Q 值。假設接收端每個時隙收到T 個數據包，基于DQN的假冒攻擊檢測算法流程如下。

算法 基于DQN的物理層假冒攻擊算法。

3 仿真及分析

假設終端設備和邊緣網關之間的通信是基于IEEE802.11 無線網絡通信標準進行的，設定中心頻率f0=2.4 GHz，帶寬W=20 MHz。仿真過程中，考慮有4 個終端設備和邊緣網關進行通信，網關節點作為接收端，發送端包括兩個合法終端和兩個企圖假冒合法用戶的非法終端設備，在OFDM（Orthogonal Frequency Division Multiplexing）系統中，用于信道估計的導頻子載波數為5，即M=5。所有信道向量均為獨立的復高斯隨機向量［16，21］，服從分布CN(0，1)，非法發送端的攻擊頻率p=0.25。假設一個時隙內接收端收到的數據包個數為T=20。接收端接收或拒絕數據包得到的效用初始值分別設置為G1=7，C1=2，G0=9，C0=7。DQN 檢測算法中的學習率（更新步長）體現的是值函數達到最優值的速度快慢，即接收端找到當前狀態下最優檢測閾值的速度快慢，學習速率過大會使網絡的學習過程不穩定，學習速率過小會使網絡經很長時間才能達到收斂狀態，找到最優值，效率太低。表1 所示為不同學習率情況下，接收端得到最優檢測閾值所需的實驗次數。

表1 不同學習率時接收端得到最優檢測閾值所需的實驗次數Tab.1 Number of required experiments when getting the optimal threshold under different learning rates

從表1 可以看出，當學習率為0.01 和0.001 時，收斂慢，所需次數遠大于學習率為0.1 和0.2 的情況。在學習率取0.1 和0.2 時，網絡能較快地收斂到最優，接收端能以較快的速度找到最優檢測閾值，在實驗過程中，μ=0.1 的穩定性好于μ=0.2 的情況。因此，本文將學習率設置為μ=0.1。其次，設置折扣因子λ=0.9，ε?greedy 策略選擇率ε=0.9。表2所示為仿真過程中用到的初始化參數及其取值。

表2 仿真所用參數取值及意義Tab.2 Parameter values used in simulation and their meanings

基于DQN 的假冒攻擊檢測算法的閾值范圍即動作空間A=[0，d]，d 為信道失相關距離。當中心頻率為2.4 GHz 時，d=6.25 cm。量化等級L+1=100，狀態空間S 中的誤報率PFAR和漏檢率PMDR的計算公式［22］為：

圖4（a）是接收端利用基于DQN 的假冒攻擊檢測算法檢測假冒攻擊者時，最優檢測閾值δ*隨實驗次數的變化情況；圖4（b）是接收端基于DQN 選擇的最優檢測閾值δ*對到達的每個數據包進行判斷之后，根據判斷的準確率情況得到相應的效用（收益/代價）之后接收端的總回報。

圖4 基于DQN檢測算法性能隨實驗次數的變化Fig.4 DQN-based detection performance varying with experiment times

如圖4（a）所示，在開始階段，基于DQN 的假冒攻擊檢測算法的檢測閾值迅速變化，隨后達到大致穩定，最優檢測閾值δ*約為3.72；如圖4（b）所示，當接收端根據最優檢測閾值δ*進行攻擊檢測時，接收端的回報總體保持在5.3 以上，最大可達到7.002。

圖5 所示為基于DQN 的檢測算法中最優檢測閾值δ*、誤報率、漏檢率隨信道頻率采樣數目的變化曲線。從圖5（a）可以看到隨著頻率采樣數M的增加，最優測試閾值δ*也在增大。頻率采樣數目M越大，對信道的估計越準確，誤報率和漏檢率也相應地越小；如圖5（b）所示，但是當采樣頻數大于5 時，誤報率和漏檢率的降低幅度變小，這是因為當采樣次數過大時，信道測量時的熱噪聲對信道估計的影響也會增大。

圖5 基于DQN的檢測算法性能隨采樣次數的變化Fig.5 DQN-based detection performance varying with sampling times

在終端設備和邊緣網關通信過程中，通信的信道環境可能會受到終端移動或周圍環境中其他變動的影響而發生改變，這就使得即使是相同的發送端，其發送的數據包到達接收端時受信道的影響程度也不一樣。因此，本文基于接收端和合法發送端在上一時刻和當前時刻信道增益的相對變化來進一步評估所提出的檢測算法性能。當接收端同時收到合法發送端和非法發送端發來的數據包時，基于DQN 的檢測算法的最優檢測閾值δ*隨信道增益相對變化b的變化情況如圖6（a）所示。從圖中可以看出，最優檢測閾值δ*隨著信道增益相對變化b 的增大而不斷增大，這也驗證了式（3）所述的檢驗統計量Ζ，當信道變化大時，信道相關性減弱，Ζ 就增大，由于接收端與合法發送端之間的信道不確定性增加，所以接收端不得不提高接受合法發送端數據包的檢測閾值。當信道增益相對變化b=0.06，信道增益比κ=-3 dB，信干噪比ρ=30 dB 時，基于DQN 的檢測算法選擇的最優檢測閾值約為1.10。整體來看，在合法發送端的數據包信干噪比SINR 相同的情況下，最優檢測閾值δ*都隨著非法發送端與合法發送端的信道增益比κ 的增大而增大。當信道增益比κ 不變時，δ*隨著SINR 的增大而減小，因為SINR 增大，接收端可以更加準確地估計和合法發送端之間信道的CSI，所以δ*反而會減小。

信道增益相對變化b 增大，說明雙方通信環境發生的變化大，這就導致相同通信雙方在不同時刻的CSI 的差異也較大，此時接收端根據當前時刻的信道向量和上一時刻的信道向量之間的差異來檢測非法發送端的難度加大，從而導致誤報率相應增大，如圖6（b）所示。同時，也導致漏檢率和平均錯誤率［23］隨信道增益相對變化的增大而增大，如圖6（c）和圖6（d）所示。從圖中可以看出，隨著非法發送端與合法發送端的信道增益比κ增大，兩者的功率差異更大，使得接收端更易檢測出假冒攻擊者，當收到合法發送端的數據包時將它視為非法發送端數據包并丟棄的概率更小，當收到非法發送端發來的數據包時將其視為合法發送端數據包并接收的概率也更小，從而增加了合法發送端數據包的接收率和非法發送端數據包的丟棄率，提高了檢測準確率，降低了誤報率、漏檢率和平均錯誤率。當b=0.04，ρ=10 dB，κ=-3 dB 和κ=0 dB時，平均錯誤率分別約為0.013 63 和0.009 57。其次，隨著SINR 的增大，信道估計誤差更小，誤報率、漏檢率和平均錯誤率也都降低。這是因為SINR 影響著對CSI 的估計，而CSI 的估計誤差直接影響著檢驗統計量和假設檢驗判斷，從而影響誤報率、漏檢率和平均錯誤率。

圖6 基于DQN的檢測算法性能隨信道增益相對變化的變化Fig.6 DQN-based detection performance varying with the relative change of channel gain

4 結語

隨著邊緣計算的應用越來越廣泛，其存在的安全問題也更加受到重視。本文分析了邊緣計算中終端設備與邊緣網關節點通信時受到假冒攻擊的安全威脅，提出了一種利用收發端通信的物理層無線信道特性實現假冒攻擊檢測的方法。該方法結合了深度學習中的神經網絡和強化學習的Q-Learning算法，使得接收端可以基于連續時間內信道特性差異，通過比較不同檢測閾值的預期效用，自適應選擇動態環境中的最優檢測閾值，能夠準確地識別假冒攻擊者。仿真結果表明，通過一定訓練次數之后，該算法能夠有效提高檢測性能，即使在低信噪比情況下，也可保證誤報率、漏檢率和平均錯誤率都不超過5%。在高速移動場景中，終端設備的移動速度很大，使得連續時間內信道特性差異很大，該檢測算法性能會受到影響，所以在未來的研究工作中，會考慮如何增強高速移動場景中的假冒攻擊檢測準確率，其次會進一步研究將深度強化學習算法用在各種復雜場景中解決各種安全威脅，如中間人攻擊和拒絕服務攻擊等。