從頻域角度重新分析對抗樣本*

丁 燁，王 杰，宛 齊，廖 清

(1.東莞理工學院 網絡空間安全學院，廣東 東莞 523820；2.哈爾濱工業大學(深圳)計算機科學與技術學院，廣東 深圳 518055)

0 引言

對抗攻擊通過在深度學習模型中加入人類視覺上無法察覺的擾動，被稱為對抗樣本[1]。對抗樣本可以使模型受到干擾而產生錯誤的分類，從而導致錯誤類別的置信度大于正確類別的置信度。隨著深度學習在不同的任務上取得優異性能，如人臉識別、自動駕駛、會議記錄等，對人類社會進步帶來了巨大的貢獻。然而在許多的研究工作中，對抗攻擊被證明可以在圖像、視頻、語音等領域的深度學習中執行惡意任務，從而造成重大的安全問題。

為了解決對抗攻擊帶來的影響，避免這種惡意的攻擊，研究者們開始了對對抗攻擊的防御工作。對抗防御主要分為兩個方面，一個方面是直接改進模型而讓現有的對抗攻擊方法失效，如防御性蒸餾[2]。另外一個方面是進行對抗樣本的檢測。關于對抗檢測的研究主要集中在圖像域中對圖片特征處理，如Xu等人[3]提出了一種基于特征壓縮的對抗樣本檢測方法；Joel等人[4]在頻譜上綜合分析了現有的攻擊方法和數據集，發現大部分的對抗樣本在頻域都出現了嚴重的偽影，并且在頻域空間這些偽影數據可以分離，從而能夠分類識別。

受到Joel等人[4]的啟發，本文將對抗攻擊后的圖像和原始圖像變換到DCT域[5]上進行頻譜分析。通過對比，本文發現所有的對抗樣本頻譜圖上都表現出了與原始圖像頻譜圖明顯的不同。由于攻擊方法的方式迥異，本文更進一步分析了不同攻擊方法產生的對抗樣本和原始樣本之間的DCT頻譜，并表明對抗樣本和原始樣本的頻譜圖在高頻上都出現了嚴重偽影的原因是來自于擾動的生成方法。

基于上述分析，本文設計了一個基于頻域信息進行分類的CNN-DCT模型，相比較以往基于空間域信息進行分類的CNN模型，大大提高了對抗樣本的檢測準確率。該模型在同一數據集上檢測目前常見的對抗攻擊方法，產生的對抗樣本能夠達到98%的檢測準確率，在DCT域上能極大程度區分開對抗樣本和干凈樣本，可以為深度網絡模型訓練所需的數據集劃分出干凈的正常樣本，從而提高模型的性能。該模型在物理世界里也具有較強的實用性，可以用來檢測現實世界中“對抗樣本”。例如在無人駕駛技術中，需要車載模型來識別道路路標，而一些路標容易被有意或無意地添加了擾動(對抗樣本)，從而使車載模型判別錯誤，造成不必要的麻煩和潛在的危險。通過本文提出的CNN-DCT模型，可以判定該路標是否為干凈的樣本，提前進行風險規避。

值得注意的是，考慮到對抗樣本在頻域中存在偽影且可能被利用來檢測的弊端，本文嘗試去優化擾動生成的方法，通過一個低通濾波直接作用在不同攻擊方法產生的對抗擾動上，使對抗樣本與原始樣本在頻域上也盡可能表現一致。然而，這種改進的方法雖然十分簡單，卻嚴重降低了原始方法的攻擊成功率。因此，本文提出了IAA-DCT算法，通過重新設定對抗樣本的生成方式，利用啟發式的方法去搜索在頻域上能與原始樣本一致的對抗樣本，從而降低對抗樣本的檢測率。實驗表明，本文的IAA-DCT算法明顯降低了CNN-DCT模型關于對抗樣本的檢測率，并在一定程度保持或者提高了攻擊的成功率。

本文的工作從頻域的角度證明了對抗攻擊存在的嚴重弊端，彌補了對抗樣本在頻域工作的不足。本文主要的貢獻總結為以下幾點：

(1)本文通過頻域的角度發現了對抗樣本在頻譜上存在著與原始樣本頻域嚴重的不同。

(2)基于頻域信息的不同，本文提出了一種在頻域上的對抗樣本檢測模型CNN-DCT，極大地提高了對抗樣本檢測率。

(3)針對對抗樣本在頻域上存在的偽影且易被利用來分類的弊端，本文設計了一種通用的優化算法IAA-DCT，在保持攻擊成功率的同時極大降低了對抗樣本通過CNN-DCT的準確率。

1 圖像域上的對抗樣本

本節主要介紹圖像域上對抗樣本的通用生成方法以及幾種經典對抗樣本的原理，為下文分析對抗樣本在頻域上存在偽影以及提出改進算法IAADCT做介紹。

1.1 方法定義

在基于圖像分類的對抗樣本研究中，對抗攻擊的目標是通過在自然圖像上添加一個精心設計且難以察覺的擾動來干擾模型的推理結果。在形式上，它通過設計不同的優化問題來找到滿足條件的擾動。給定一個分類模型f和一張圖像x，這個優化問題的一般數學表達如下:

其中δ(·)表示的是干凈樣本和對抗樣本之間的距離表達式，r是添加到圖像x上的擾動大小，常見的 衡 量 方 式 有L1范 數||r||1、L2范 數||r||2和L∞范數||r||∞，而f(x)輸出的是x對應的分類結果，yt為指定的類別標簽。

1.2 分類和方法

根據模型結構以及參數是否已知，可將對抗攻擊分為白盒攻擊和黑盒攻擊。本文只討論了白盒攻擊方法下的兩種主要實現手段。

一是基于梯度信息進行攻擊，經典的研究工作有FGSM[6]、BIM[7]、PGD[8]。文獻[6]在2014年利用對抗樣本的線性解釋提出了一個快速產生對抗樣本的方式，也即Fast Gradient Sign Method(FGSM)方法。假定模型參數值為θ，模型的損失函數為H(θ，x，y)。FGSM方 法 在 無 窮 范 數 限 制 下(||η||∞＜ε)添 加 擾 動η=εsign(▽x H(θ，x，y))，其中ε為限定擾動值大小的常量，sign(·)表示為取變量值正負符號的函數，▽x H(·)表示的是損失函數H關于x的梯。用x′表示最后生成的對抗樣本，則FGSM方法的完整公式如下：

這是一種簡單的單步攻擊方法，存在噪聲大、攻擊率低的弊端。于是文獻[7]基于之前的FGSM攻擊方法做出了一部分改進，其中用迭代攻擊代替單步攻擊，于是提出了Basic Iterative Methods(BIM)攻擊方法，BIM完整的攻擊公式如下：

初始化第一個對抗樣本x′為原始樣本x，總共迭代n次，其中Clip(·)函數是將每次迭代的擾動大小限制在一定的范圍內。后來在文獻[8]中指出這實際上等價于無窮范數版本的Projected Gradient Descent(PGD)。

另外一種白盒攻擊方法基于約束優化問題來實現。比如C&W[9]方法，常規方法通過構造約束優化問題來創建對抗樣本，具體見式(1)。但其中的方程約束很難推導，因此作者將該方程進行了如下變換：

文獻[9]給出了7個目標函數C(·)，本文不作詳細描述。

2 頻域上的對抗樣本

第1節介紹了圖像域上對抗樣本的相關工作以及幾種經典對抗攻擊方法，如FGSM、BIM、PGD和C&W的生成原理。它們都在圖像域上對自然圖像添加擾動而忽視了對頻域的考慮。因此本節通過引入DCT域來分析對抗樣本，提出一個基于DCT系數的對抗樣本檢測器CNN-DCT。并且針對DCT頻譜的差異性易被利用來分類對抗樣本和原始樣本，提出了改進算法IAA-DCT。

2.1 DCT域的定義

離散余弦變換(DCT)是一種與傅里葉變換相關的變換。對于二維功能(如圖像)，DCT允許視覺上的重要信息集中在一個小的信息上。因此，DCT是針對JPEG壓縮的國際標準有損算法的核心組成部分。它還可以將一個函數表示為不同振幅和頻率的許多余弦函數的和，將信號從時空域轉換為頻域。1D-DCT的一般公式如下：

其中，F(u)為余弦變換值，u為廣義頻率變量，u=1，2，…，N-1；f(x)為時域中N個點的序列x=1，2，…，N-1。

本文進行了利用2D-DCT將圖像從空間域轉換為DCT域的實驗，給定一個2D圖像X∈Rd×d，定義一個基礎函數：

對 于1≤i，j≤d，2D-DCT變 換V=DCT(X)具 體公式展開如下：

其中，Nj1、Nj2是歸一化項，以確保圖變換是等距的，例 如||X||2=||DCT(X)||2。Vi，j項 對 應 于Ψd(i，j)波 的幅值，低頻率用低i、j表示。此外，DCT是可逆的，逆X=IDCT(V)，具體展開如下：

對于包含多個彩色通道的圖像，DCT和IDCT可以分別在通道上應用。

2.2 DCT域上的對抗樣本分析

為了更好地探究對抗樣本在頻域中的變化，本文對CIFAR-10數據集進行對抗攻擊，該數據集共有60000張分辨率大小為32×32的彩色圖像，總共劃分為10個類，每類6000張圖。本文將二維DCT變換后的DCT系數繪制為熱力圖(Heatmap)，如圖1所示。每個DCT系數對應空間頻率對圖像的貢獻比例。在實踐中，本文對圖像的每個通道分別進行行和列的1D-DCT變換，將它們相乘(對應于水平和垂直方向)，得到2D-DC變換后的系數，然后進行加權平均。熱力圖的左上區域對應圖像的低頻，右下區域對應的是圖像的高頻。當從低頻觀察高頻時，可以注意到系數下降得特別快，因此本文在制作熱圖之前截取了2.0～4.5范圍的系數。

圖1 不同算法在CIFAR-10上攻擊后的平均圖譜結果

其中，圖1(a)是CIFAR-10數據集10000個干凈樣本的平均頻譜，平均頻譜指的是樣本經過DCT變換后求平均得到的頻譜圖。圖1(b)、圖1(c)、圖1(d)和圖1(e)分別是FGSM[6]、BIM[7]、PGD[8]和C&W[9]這幾種經典對抗攻擊方法在數據集CIFAR-10上產生的10000個對抗樣本的DCT平均圖譜。與文獻[10-11]相似，圖1(a)的結果表明，自然圖像的頻率主要集中在左上角低頻部分，這部分的頻率分量對圖像的貢獻最大，并隨著往高頻區域移動，低頻對圖像的貢獻逐漸減小。主要的原因是因為圖像中大部分相鄰像素相互關聯且變化平緩，因此可以用一個低頻函數來接近完整的圖像信息。研究發現這些對抗樣本在圖像域上看起來與原始圖像十分接近，然而在DCT域上與原始圖像則有著明顯的差別。從圖1(b)、圖1(c)、圖1(d)和圖1(e)可以明顯地發現，對抗樣本的頻譜高頻分量明顯比圖1(a)增加了許多高頻分量，頻率從低往高發生了劇烈振蕩變化，產生了明顯的高頻偽影。

2.3 基于DCT域的對抗樣本檢測器

針對2.2小節發現對抗樣本在DCT域上存在高頻偽影的問題，本文提出了一個基于DCT系數的訓練的對抗樣本檢測器CNN-DCT。相較于在圖像域訓練的分類器，都是對圖像在空間域上的數據進行訓練。而基于DCT系數訓練的檢測器，是在將所有的圖像都歸一化到區間[-1，1]，然后利用2.1小節介紹的2D-DCT將圖像從空間域變換到DCT域，得到DCT系數后，把DCT系數作為輸入進行訓練。本文提出的對抗樣本檢測器CNN-DCT為一個簡單的8層網絡結構，如表1所示。

表1 檢測器網絡結構

2.4 對抗攻擊算法的改進

考慮到對抗樣本高頻偽影的存在，并且存在可能被利用來進行區分干凈樣本和對抗樣本，一個直觀的解決想法是直接在最后添加的擾動上增加一個低通濾波器，讓對抗樣本在頻域上看起來與原始圖像盡可能的相似。然而，這個簡單的方法雖然減小了對抗樣本和原始樣本在頻域上的差異，在一定程度上降低了CNN-DCT的檢測率，但同時也增大了攻擊的失敗率。為此本文尋求一個改進方法，在不犧牲攻擊成功率的前提下又能解決在頻域上易被檢測的問題。本文提出了一個改進的對抗攻擊算法IAA-DCT，可以將攻擊空間限制在低頻范圍內，通過啟發式的方法在低頻空間搜索最優的擾動，從而使對抗樣本在圖像域和頻域上都能最大程度上接近。

首先基于式(1)，本文進行了以下優化：

其中lf(r)表示的是將擾動r變換到DCT域后，去除一定的高頻分量，保留了擾動r的低頻組件，然后再通過DCT逆變換IDCT轉換成圖像域。具體展開如下式所示：

本文通過對DCT變換后的擾動DCT(r)應用掩模Mask去除擾動r中的高頻分量。然后通過對掩模后的頻率分量應用IDCT重構擾動。其中，掩模m={0，1}d×d是像素值分別為0和1的二維矩陣圖像，掩模采用逐元素積的方式進行。

算法1詳細描述了對抗攻擊算法改進后的整個流程，通過設定預期的攻擊成功率η，保證在限定擾動r的頻域大小同時，也能維持一定的攻擊成功率。其中ATK表示的是在N個原始樣本x上成功被攻擊的樣本數占所有被攻擊原始樣本的比例，randint(K)表示從K類別中隨機選取一個類別。

3 實驗分析

3.1 實驗設置

本文實驗在CIFAR-10[12]數據集和SVHN[13]數據集上進行了驗證。受攻擊基準模型為VGG-19[14]和ResNet-34[15]。實驗從以下幾個指標上進行觀測：

(1)被攻擊后模型的魯棒性準確率ACC(Accuracy)；

(2)對抗樣本的檢測率AER(Adversarial Examples Rate)，AER值越高則表示對抗樣本檢測率越高；

(3)攻擊成功率ASR(Attack Success Rate)，值為成功使分類器分類錯誤的圖像數量占全部圖像總數的比例，ASR值越高代表攻擊成功率越高。

3.2 頻域上的對抗樣本檢測

3.2.1 實驗細節

在對抗樣本檢測上主要驗證了幾種經典的對抗樣本，包括FGSM[6]、BIM[7]、PGD[8]和C&W[9]。 在CIFAR-10數據集上，分別利用這幾種攻擊方法在CIFAR-10數據集的訓練集上各自隨機生成10000張對抗樣本，其中8000張樣本用來訓練，2000張樣本用來測試。而在SVHN數據集上，則從訓練集上隨機篩選出10000張生成對抗樣本，用來訓練和測試的比例與CIFAR-10數據集相同。本文使用交叉熵作為損失函數，SGD作為優化器，其中學習率為0.001，動量值為0.9。

3.2.2 實驗結果和總結

(1)實驗結果

本文利用FGSM[6]、BIM[7]、PGD[8]和C&W[9]這幾個經典對抗攻擊算法在數據CIFAR-10和SVHN上分別對VGG-19和ResNet-34進行攻擊，并且利用得到的等比例混合對抗樣本集的DCT系數訓練得到的檢測器CNN-DCT和圖像域上訓練的CNN進行性能比較，其中ACC和AER表示的是在DCT域上實驗得到的結果，ACC*和AER*表示的是在圖像域上操作的結果。結果(如表2所示)表明，CNN-DCT取得了平均97%以上的對抗樣本檢測率AER，相對于在圖像域訓練得到的檢測器CNN取得的92%平均對抗樣本檢測率AER*提升了近5%。同時發現，在面對不同網絡和不同數據集時，對同一個數據集上不同網絡或者同一個網絡在不同數據集上進行攻擊，CNN-DCT得到的對抗樣本檢測結果和ACC相差不大。例如，FGSM方法在數據集CIFAR-10和SVHN上分別對VGG和ResNet攻擊后，通過CNN-DCT得到的對抗樣本檢測率幾乎落在97.5%左右，與ACC平均98.6%的檢測率相差不大。這說明改檢測模型得到一個較高的假陽率，于是本文在3.3小節進行了檢測模型的遷移性實驗測試。

表2 CNN-DCT檢測結果 (%)

(2)總結

對抗樣本在圖像域上看起來與干凈樣本幾乎一致，而在頻域上存在的高頻偽影可以被有效利用。相比基于圖像域信息訓練的檢測器，基于頻域信息訓練的檢測器取得了更高更穩定的對抗樣本檢測率。

3.3 基于頻域檢測器的遷移性

(1)遷移性結果分析

為了得到CNN-DCT在面對新的數據集時的表現性能，本文將在SVHN數據集上進行對抗攻擊生成的對抗樣本訓練得到檢測器遷移到CIFAR-10數據集上進行檢測。同時也進行了從SVHN數據集訓練的檢測器遷移到CIFAR-10數據集測試的驗證實驗。

本文分別對受攻擊模型VGG-19和ResNet-34在數據集CIFAR-10和SVHN上進行遷移性性能測試。在被攻擊模型ResNet-34上，從SVHN數據集訓練的CNN-DCT遷移到CIFAR-10數據集結果不足80%。而從數據集CIFAR-10遷移到SVHN的檢測結果都接近90%，如表3和表4所示(其中S表示源數據集，T表示目標數據集)。這對于未知模型或者未知數據集而言，是一個可觀的表現結果，為以后對抗樣本的檢測提供了一個新奇的研究方向。

表3 VGG-19模型上遷移結果(%)

表4 ResNet-34模型上遷移結果檢測結果 (%)

(2)總結

由于高頻偽影普遍存在于不同的數據集上，并且CNN-DCT在遷移性上表現優異，使得防御者即使在不了解攻擊者攻擊的數據集的情況下，可以很好地利用遷移學習進行對抗樣本的檢測。未來將繼續展開深入的工作。

3.4 對抗攻擊算法的改進評估

本文定義了攻擊成功率ASR(Attack Success Rate)，即成功使分類器在一定數量圖像分類錯誤占全部圖像的比例。為了更好地評估本文改進的算法，本文在CIFAR-10數據集圖像域上訓練了一個有95%分類準確度的CNN模型作為基準模型。

如表5所示，ASR和AER表示的是對上述基準模型的攻擊成功率以及對應對抗樣本的檢測率，ASR*和AER*表示的是直接對擾動添加一個低通濾波后的結果，ASR**和AER**表示用了本文的改進算法取得的結果。ASR越高并且AER越低，證明攻擊的成功率越好且不易在頻域中被檢測器檢測到。在正常的對抗攻擊下，本文可以利用頻域信息很好地區分開對抗樣本和干凈樣本，分辨度接近100%。為了解決這個弊端，本文嘗試在常規的方法攻擊后方添加一個低通濾波器，將要添加的擾動篩選出一定的低頻分量作為最后的擾動。雖然這個方法極大程度上降低基于頻域檢測器CNN-DCT對對抗樣本的正確檢測率，同時也帶了攻擊失敗的問題，它嚴重地降低了攻擊的成功率，從97%降到了不足80%。為此，本文更近一步提出了另外一個優化改進算法IAA-DCT，對抗樣本的檢測率從99%降低到了95%以下，并且還保持著90%以上的攻擊成功率。

表5 IAA-DCT算法對比檢測結果(%)

4 結論

本文以頻域的角度重新探索了對抗樣本的相關工作。從對抗樣本在DCT域上的平均圖譜結果發現，即使在圖像域上跟原始樣本看起來完全一致的對抗樣本，在DCT域上也表現出了與原始樣本的巨大不同，普遍存在高頻偽影。因此，本文以此為切入點，設計了一個基于DCT域信息的對抗樣本檢測器CNN-DCT。結果表明，相對于直接在圖像域上將對抗樣本和原始樣本進行分類，本文設計的檢測器CNN-DCT，在 數 據 集CIFAR-10和SVHN上 取 得 了近乎98%的成功檢測率，分類性能相對在圖像域上訓練的CNN有極大提升，同時在DCT域上能夠極大程度區分開對抗樣本和干凈樣本，從而提高訓練模型的性能。遷移性實驗結果表明，在未知攻擊數據集的情況下，也可以利用遷移學習來進行對抗樣本檢測，未來將成為一個新的對抗防御方向。最后針對于上述對抗樣本在頻域上存在的高頻偽影以及易被檢測的缺陷，提出了改進算法IAA-DCT，保證了對抗樣本在圖像域上的視覺一致，也讓其和原始樣本在頻域上盡可能相似，在保持攻擊成功率的同時，也極大程度上降低在頻域上被檢測的風險。