基于攻擊成本的信號調制分類對抗樣本檢測算法

宣 琦,周 濤

(浙江工業大學 網絡空間安全研究院,浙江 杭州 310023)

無線電信號的調制分類技術在軍民領域得到了廣泛應用,例如在軍事作戰場景用于實時戰場通信、控制導彈和引導戰艦等;廣播電臺進行廣播時用于信號的解調等。信號調制分類主要由特征提取和分類識別兩個步驟組成。傳統的特征提取方法包含大量數學計算和多次高階特征提取步驟[1],實現較為復雜。此外,隨著無線電通信技術快速發展,現代無線電通信環境變得十分復雜,傳統的調制分類方法易受到干擾,不僅需要進行多次解調對比才能得到結果,而且準確率不高。隨著計算機算力水平的不斷提升,深度神經網絡(Deep neural networks,DNN)被廣泛應用于各種任務,例如圖像分類[2-3]、語音識別[4-5]和自動駕駛[6-7]等,均取得了出色的效果。因此,越來越多的研究者嘗試將深度神經網絡應用到信號調制分類任務中。O’Shea等[8]率先將深度神經網絡應用到了無線電信號調制分類任務中,拋棄了傳統的利用特征提取器和分析似然比的方式,利用神經網絡強大的學習能力捕捉信號數據的高階特征,在公開數據集上達到了80%的平均分類準確率。Peng等[9]將原始信號數據進行映射轉換成對應的星座圖,并輸入至卷積神經網絡進行訓練,在8～14 db信噪比樣本分類上明顯優于傳統支持向量機分類器,分類精度平均提升了7.75%左右,初步探索了信號數據與圖像數據的關聯性。但在深度神經網絡強大的背后,仍然存在不可忽視的安全性問題。Szegedy等[10]研究發現:深度神經網絡易受到對抗樣本的干擾,攻擊者只需在原始圖像上添加經過設計的擾動,就可以欺騙深度神經網絡,致使其給出錯誤的預測結果,而這些擾動通常無法被肉眼觀測。針對這個問題,研究者們提出了大量的對抗樣本防御機制,防御機制主要分為傳統防御和對抗樣本檢測兩個方向。傳統防御雖然可以通過對抗訓練[11]、梯度掩蓋[12]和防御蒸餾[13]等方式提高深度神經網絡的魯棒性來防御對抗樣本,但是這些防御機制存在各種局限,例如重訓練會帶來昂貴的計算成本、影響原始模型的分類精度等,并且Carlini等[14]的研究發現通過對攻擊參數的微調即可繞過這些防御手段。對抗樣本檢測則通過尋找正常樣本與對抗樣本之間的差異,通過閾值、預測不一致和檢測網絡等形式檢測對抗樣本,防止其誤導目標模型。目前主流的對抗檢測算法有基于降噪器的特征壓縮[15]、MagNet[16]和自適應降噪[17];基于神經元激活狀態的I-defender[18]、SafetyNet[19]和特征距離空間算法[20];基于樣本在某個子空間中分布的貝葉斯不確定性估計[21]和局部內在維度度量[21]等。這些檢測算法雖然都在圖像分類領域取得了較好的檢測效果,但是信號調制分類領域的檢測算法研究還處于起步階段,尚未形成完整的檢測體系。直接遷移圖像分類領域的檢測算法并不能在信號這一數據類型上取得很好的檢測效果,信號調制分類領域亟須一個可靠并且有效的對抗樣本檢測機制,保障各項分類任務的安全運行。

針對上述問題,筆者提出了一種基于攻擊成本的信號調制分類對抗樣本檢測算法,使用攻擊成本來表征樣本與決策邊界面的相對位置,對抗樣本通常會更靠近決策邊界面,因此對其進行攻擊所需的成本更少。首先,使用攻擊迭代次數衡量樣本的攻擊成本;然后,通過KNN算法(K-NearestNeighbor,K最鄰近)計算待測樣本與鄰居樣本攻擊迭代次數之間的Z-Score分數區分對抗樣本與正常樣本;最后,對檢測算法進行了實現驗證,在6種主流對抗攻擊算法下均能達到80%以上的檢測準確率。

1 背景介紹

1.1 對抗攻擊深度神經網絡

根據原理,可以認為對抗攻擊深度神經網絡是一個需要擬合的函數f,其使用神經元從被標記的訓練數據中提取特征。假設X為輸入空間;Y為預測結果空間;P(X,Y)為X×Y上的數據分布,則稱f:X→Y為預測函數。

對抗樣本這個概念最早由Szegedy等提出,在原始輸入樣本x上添加精心設計的擾動,得到新的輸入x′,DNN模型會給新的輸入x′一個錯誤的預測標簽,x′被稱為對抗樣本。x′滿足f(x)≠f(x′),并且x′-x<ε,其中ε為可添加的最大擾動,ε滿足ε∈R。

對抗樣本雖然威脅了DNN的安全,但是其本身具有重大的研究意義,可以幫助我們更深入地了解DNN的底層原理。因此,研究者們相繼提出了許多對抗攻擊算法,筆者主要介紹在檢測算法實現和評估中涉及的主流對抗攻擊算法。

1) 快速梯度下降算法(Fast gradient sign method,FGSM)[22],是深度神經網絡梯度生成對抗樣本的攻擊算法。其基于L∞距離計算輸入樣本x的每個值的梯度,尋找擾動方向,使目標模型的損失函數增加,從而改變樣本的預測標簽,表達式為

(1)

2) 基本迭代算法(Basic iterative menthod,BIM)[23],是FGSM的一種改進,也被稱為迭代版的FGSM。其迭代地執行n次FGSM,并在每一次的迭代過程中裁剪結果值,保證結果維持在輸入范圍,表達式為

(2)

3) 投影梯度下降算法(Projected gradient descent,PGD)[24],是一種類似BIM的迭代攻擊算法,為了找到模型的最大損失,其首先利用L∞隨機初始化擾動,在每次迭代中將擾動投影到有效范圍中,表達式為

(3)

式中Proj用于將添加擾動后的對抗樣本投影至ε-L∞領域和輸入的有效范圍中。

4) 基于雅可比的顯著圖攻擊(Jacobian-based saliency map attack,JSMA)[25],是一種使用雅可比顯著圖生成對抗樣本的攻擊方法。其將深度神經網絡的梯度構建成顯著性矩陣,對矩陣中所有值的重要性進行排序,選擇顯著性最大的值進行修改,增加樣本被分類為目標標簽t的概率,并不斷重復這一過程,直到攻擊成功。

5) 深度愚弄攻擊(DeepFool)[26],是一種基于超平面分類的攻擊方法,其在每次迭代過程中,計算樣本當前位置與周圍所有類別的超平面(即決策邊界面)的線性距離,選擇最小的距離決策邊界面設計擾動,添加擾動使樣本移動到該決策邊界面,直至樣本被分類錯誤。

6) 基于優化的對抗攻擊(Carlini & Wagner,CW)[27],是一種基于優化的攻擊算法,其將對抗樣本作為一個變量,優化以下兩個目標:最小化對抗樣本與原始樣本之間差異;最大化對抗樣本錯誤分類的預測置信度。

1.2 對抗樣本檢測

給定一個DNN模型f,一個輸入樣本x,使用檢測器D判斷該輸入樣本x是否是對抗樣本。表達式為

(4)

該問題的本質是如何找到一種模式或表征區分正常樣本和對抗樣本。考慮如下防御場景:攻擊者可以訪問DNN的所有信息,并且沒有任何關于攻擊的信息,只可以使用正常樣本構建檢測器。

2 理論與方法

2.1 樣本分布理論

筆者提出的檢測算法基于在一定擾動范圍內,對抗樣本會比正常樣本更接近模型的決策邊界面的理論,可以從神經網絡訓練和對抗樣本生成過程這兩個角度理解該理論。神經網絡的訓練通常要經歷多次迭代,在每次迭代中訓練數據首先會被分成多個批次進行訓練,然后通過梯度下降等方式更新參數,這樣訓練得到的模型通常具有很好的泛化性。樣本分布示意圖如圖1所示。由圖1可知:在該模型所定義的子空間中,正常樣本的分布會更加聚集,并且會遠離決策邊界面,而對抗樣本雖然和正常樣本屬于一個類別,但其所處的位置會更加接近決策邊界面。

圖1 樣本分布示意圖Fig.1 Sample distribution diagram

此外,在生成對抗樣本的過程中,所添加的擾動會受到一些條件的約束,例如最小擾動、不可觀測性、目標標簽攻擊和攻擊速度等,而這些條件往往會造成所生成的對抗樣本不夠“魯棒”,處于決策邊界面附近。可以利用這一特質設計表征方法區分正常樣本與對抗樣本,Feinman等[21]提出了核密度估計(KD)和貝葉斯不確定性估計(BU)算法;Wang等[28]設計了標簽變化率算法。雖然他們的算法都在圖像分類領域取得了90%以上的平均檢測準確率,實驗結果也證明了該理論的正確性,但直接將這些方法遷移至信號調制分類并不能取得很好的檢測效果,或者是效率不高,不適用于實際應用。筆者參照Feinman等[21]的工作,在信號調制分類任務中使用深度學習基礎模型(Network in network,NIN)[29]復現了KD和BU檢測算法,在單指標檢測下,對FGSM,BIM,PGD,JSMA,DeepFool和CW這6種攻擊算法的平均檢測準確率分別為60.9%和53%;結合KD和BU指標也僅達到了65.3%的平均檢測準確率。標簽變化率方法需要大量的突變模型參與計算,平均每個突變模型需要6 s的加載時間,按照平均80個突變模型得到檢測結果的標準,每個樣本需要經歷480 s的檢測耗時。如果提前將所有突變模型加載至內存中,需要耗費大量的內存與顯存空間,對硬件設備平要求較高。

2.2 攻擊成本表征

為了更加高效且準確地檢測信號調制分類任務中的對抗樣本,參照Zhao等[30]的方法,使用攻擊成本來衡量樣本到決策邊界面的距離,假設正常樣本因為離決策邊界面更遠所以具有更高的攻擊成本,而對抗樣本的攻擊成本則偏低。因此,可以使用現有的攻擊方法攻擊待測樣本從而判斷其是否為對抗樣本。使用攻擊成本進行對抗樣本檢測,需要解決如何表征不同類型攻擊的攻擊成本和驗證表征方式的有效性這兩個問題。

1) 如何表征不同類型的攻擊方法的攻擊成本。攻擊成本最直接的一個衡量方式是攻擊的耗時,但攻擊耗時受到硬件設備性能的影響,在不同設備、功率下的表現無法保持統一。因此采用攻擊迭代次數的衡量方式。這種衡量方式僅適用于迭代攻擊,以BIM算法為例,BIM在每次迭代過程中不斷計算梯度,尋找擾動方向,添加的對抗擾動將樣本推向決策邊界面,在這個過程中,對抗樣本由于本身靠近決策邊界面,因此其所需要的攻擊迭代次數相較于遠離決策邊界面的正常樣本更少。同時,在相同設備情況下,因為計算機執行了同樣大小的矩陣運算,每一次攻擊迭代中的計算耗時幾乎是相等的。使用JSMA,BIM-L1和BIM-L2攻擊算法對600個隨機選取正常樣本進行攻擊并記錄其攻擊迭代次數與攻擊耗時,結果如圖2所示。由圖2可知:攻擊耗時隨迭代次數增多而上升,總體呈正相關趨勢。因此攻擊迭代次數可以用來衡量樣本的攻擊成本。

圖2 樣本攻擊耗時與迭代次數關系圖Fig.2 The relationship between the sample attack time and the number of iterations

2) 攻擊迭代次數衡量樣本攻擊成本的有效性。在RML2016.10.a數據集[8]上使用1.2小節中提到的6種對抗攻擊算法生成對抗樣本以及正常樣本,每種類型隨機選取1 000個樣本,保證樣本一一對應,使用JSMA,BIM-L1和BIM-L2攻擊算法對這些樣本進行攻擊并記錄攻擊迭代次數,計算所有樣本攻擊迭代次數之間的歐式距離,并繪制成熱力圖,具體情況如圖3所示。圖3中Normal代表正常樣本。由圖3可知:正常樣本與對抗樣本之間的平均歐式距離明顯大于對抗樣本互相之間的平均歐式距離。這表明正常樣本與對抗樣本在子空間中所處位置具有明顯區分。此外,不同類型的對抗樣本之間的平均歐式距離也較為接近,這表明不同攻擊算法可能會生成攻擊成本相近的對抗樣本。因此,使用攻擊迭代次數衡量樣本的攻擊成本具備可行性。

1—FGSM; 2—BIM-L1; 3—JSMA; 4—PGD; 5—DeepFool; 6—CW; 7—Normal。圖3 攻擊迭代次數平均歐式距離熱力圖Fig.3 Heat map of average Euclidean distance of attack iterations

2.3 檢測方案

根據上述理論,筆者提出了一種基于攻擊成本的信號調制分類對抗樣本檢測算法。該算法沒有直接量化攻擊迭代次數作為檢測依據,而是加入最近鄰算法和Z-Score(標準分),2 420個正常樣本的攻擊迭代次數如圖4所示。其中,每類樣本220個,按照類別順序排列。通過觀察正常樣本的攻擊迭代次數與類別關系可以發現:不同類別的正常樣本攻擊迭代次數之間也會有較大差異,如果單純使用量化的攻擊次數作為檢測依據會使某些類別的樣本誤判率偏高。加入最近鄰算法和Z-Score是為了最大程度地利用樣本與其周圍的鄰居信息作為不同類別樣本檢測的參考依據。該方法的核心思想是通過尋找待測樣本x在訓練集中的k個最近鄰樣本,計算待測樣本攻擊迭代次數與最近鄰居樣本攻擊迭代次數的Z-Score實現樣本區分。

圖4 攻擊迭代次數與樣本類別關系圖Fig.4 Relationship between attack iteration times and sample category

Z-Score在統計學中常用來刻畫目標值偏離均值的程度,即偏離均值多少個標準差。在該檢測任務中表達式為

(5)

式中:i為待測樣本的攻擊迭代次數;μ為待測樣本的最近鄰樣本的攻擊迭代次數的均值;σ為最近鄰樣本的攻擊迭代次數的標準差。對抗樣本需要的攻擊成本少,對應的攻擊迭代次數通常會小于均值,因此對抗樣本的Z-Score會低于正常樣本。

此外,為了保證查詢待測樣本x的最近鄰樣本時的效率,使用了K維樹(K-dimensional tree,KD-Tree)的數據結構,其是一種對K維空間中的實例點進行存儲以便對其進行快速檢索的樹形數據結構,可以將查詢的平均時間復雜度降低至O(logn)。檢測算法的具體流程如圖5所示。

圖5 基于攻擊成本的信號調制分類對抗樣本檢測框架Fig.5 Signal modulation classification adversarial sample detection algorithm framework based on attack cost

具體流程為

1) 使用訓練集中的正常樣本構建用于最近鄰查詢的KD-Tree數據結構,KD-Tree的所有節點存儲了樣本的索引值。

2) 對訓練集的正常樣本進行攻擊并記錄攻擊迭代次數,以樣本的索引值作為key,攻擊迭代次數作為value,將所有數據存儲為哈希表結構。

3) 首先輸入待測樣本對其進行攻擊并記錄攻擊迭代次數；然后在KD-Tree中查詢待測樣本的k個最近鄰居樣本,獲取其索引值。

4) 根據索引值在哈希表中查詢最近鄰樣本的攻擊迭代次數。

5) 計算待測樣本與最近鄰樣本攻擊迭代次數之間的Z-Score分數。

6) 比較所得Z-Score分數與閾值的大小,若大于閾值則判斷為正常樣本；若小于閾值,則判斷為對抗樣本。

以上步驟為使用一種迭代攻擊算法進行對抗樣本檢測的情況,也可以結合多種迭代攻擊算法進檢測,采用投票機制決定最終檢測結果,實現更加全面的對抗樣本檢測。

3 實驗與分析

3.1 實驗環境配置

評估檢測算法有效性的具體軟硬件配置如表1所示。CPU使用Intel(R) Xeon(R) E5-2650,GPU使用專業深度學習顯卡Tesla V100-PCIE-16 GB。軟件層面操作系統使用Ubuntu 16.04.6,深度學習模型及檢測算法實現框架為TensorFlow-GPU 1.14。

表1 實驗環境配置

在實驗數據集方面,選擇了信號調制分類領域的公開數據集RML2016.10a,該數據集使用GNU Radio合成IQ信號樣本。總共為11個類別,代表樣本的調制類型,其中數字調制包括64QAM,QPSK,8PSK,16QAM,BPSK,BFSK,CPFSK和PAM4,模擬調制包括WB-FM,AM-SSB和AM-DSB。該數據集共包含220 000個調制信號樣本,每類信號信噪比范圍為-20～18 db,每個信號樣本大小為1 282,分別對應I和Q兩個通道,訓練集與測試集比例為4∶1。

信號調制分類模型使用了Lin等[29]在2014年提出的NIN模型,其網絡結構如圖6所示。NIN不僅拋棄了傳統的線性卷積結構,使用多層感知器代替,大大增加了網絡的非線性表達能力，而且還加入了全局均值池化層代替全連接層。使用NIN模型在RML2016.10a數據集的測試集中達到了87.5%的分類準確率。

圖6 NIN網絡結構[29]Fig.6 NIN network structure

3.2 實驗設置

為了驗證檢測算法對正常樣本和對抗樣本的區分度,以及檢測算法對不同類型對抗樣本的檢測效果,使用1.1中提到的6種白盒對抗攻擊算法,對測試集樣本進行攻擊,只保留攻擊成功的樣本,其中BIM攻擊算法使用了L1和L2兩組距離實現,將這7類對抗樣本分別與原始測試集樣本組合成一個二分類測試集,每類有2 200個測試樣本,原始測試集正常樣本的標簽為0,所有的對抗樣本標簽為1。在比較了JSMA,BIM-L1,BIM-L2,PGD,DeepFool和CW這6種迭代攻擊算法后最終選擇了JSMA,BIM-L1,BIM-L2這3種攻擊算法衡量樣本的攻擊迭代次數。其中PGD和DeepFool攻擊算法的攻擊迭代次數普遍較少,大部分樣本都可以在10次迭代以內就攻擊成功,區分度不夠明顯;CW攻擊算法由于是基于優化的攻擊,因此它的迭代次數呈現一種隨機性狀態,波動較大,沒有明顯的趨勢,并且速度較慢,不適合快速檢測任務。而JSMA,BIM-L1,BIM-L2這3種攻擊算法,攻擊迭代次數在數量與區分度之間都符合的檢測要求,并且攻擊速度較快,適合快速檢測任務。

3.3 評估指標

使用了4種評估指標用于評價檢測算法的檢測效果,分別為檢測準確率、精確率、召回率和F1-Score。對抗樣本為二分類問題的正類,正常樣本為負類,預測結果可分為正樣本被預測為正類的數量TP、負樣本預測為正類的數量FP、正樣本預測為負類的數量FN和負樣本預測為負類的數量TN這4種情況。這4種評估指標的計算式分別為

1) 準確率(Acc):

(6)

2) 精確率(Precision):

(7)

3) 召回率(Recall):

(8)

4) 對精確率和召回率的加權平均(F1-Score):

(9)

3.4 實驗結果與分析

使用JSMA,BIM-L1和BIM-L2這3種攻擊算法進行信號調制分類對抗樣本檢測的實驗結果分別如表2～4所示。檢測結果表明:檢測算法在7類對抗樣本下均有較好的檢測效果,平均檢測準確率分別達到了81.78%,88.33%和88.95%,并且對所有類的對抗樣本檢測表現較為穩定,沒有出現對某一類樣本檢測效果很差或者無效的極端場景,泛化能力較強。另外,檢測算法在保持較高水平的F1-Score情況下,對部分對抗樣本的檢測召回率達到了1,表明檢測算法具有較為強大的對抗樣本區分能力。

表2 JSMA攻擊成本檢測結果

表3 BIM-L1攻擊成本檢測結果

表4 BIM-L2攻擊成本檢測結果

為了更加直觀地了解在筆者檢測算法的機制下正常樣本與對抗樣本之間的差異,將所有測試集樣本以Z-Score分數作為特征繪制了箱形圖,具體如圖7所示。箱形圖提供了中位數、均值和上下分位點的信息,可以提供有關數據位置和分散情況等關鍵信息。由圖7可知:正常樣本的主體分布明顯大于對抗樣本的主體部分,正常樣本普遍分布在0附近,而對抗樣本普遍分布在0以下。在圖7(a)中使用JSMA進行檢測,對抗樣本分布的上邊緣較超過了正常樣本分布的中位數位置,而在圖7(b,c)中使用BIM-L1和BIM-L2進行檢測,對抗樣本的上邊緣位置也明顯低于正常樣本下四分位置,這也與筆者實驗結果相符合,相較于JSMA,BIM-L1和BIM-L2具有更好的檢測效果。但無論是哪種攻擊方法用于檢測,正常樣本下邊緣位置仍與對抗樣本有交集部分,關于這種現象,筆者認為這些樣本在該模型的子空間中本身就處于靠近決策邊界面的位置,與模型本身分類精度有關,可以將其理解為異常樣本,雖然這些樣本會被誤判,但是它們的數量很少,不會影響檢測算法的整體效果。

1—Normal; 2—FGSM; 3—BIM-L1; 4—BIM-L2; 5—PGD; 6—DeepFool; 7—CW。圖7 攻擊本檢測箱形圖Fig.7 Attack cost detection box plot

4 結 論

針對基于深度神經網絡的無線電信號調制分類任務面臨的安全性問題,提出了一種基于攻擊成本的信號調制分類對抗樣本檢測算法。相較于正常樣本,對抗樣本更靠近模型的決策邊界面,因此擁有更少的攻擊成本。該方法利用攻擊迭代次數衡量樣本的攻擊成本,通過尋找待測樣本x在訓練集中的k個最近鄰樣本,計算待測樣本攻擊迭代次數與最近鄰居樣本攻擊迭代次數的Z-Score(標準分)實現檢測。使用6種主流白盒攻擊算法生成用于評估的對抗樣本,使用JSMA,BIM-L1,BIM-L2這3種攻擊算法衡量樣本的攻擊成本,分別取得了81.78%,88.33%和88.95%的平均檢測準確率,表明該算法具有穩定且優越的檢測效果。下一步的研究將針對正常樣本中可能會出現的異常樣本進行優化研究,使檢測算法具備更加全面的檢測能力。