基于FGSM的對抗樣本生成算法

湯家軍，王 忠

(中國人民解放軍火箭軍工程大學(xué) 基礎(chǔ)部，陜西 西安 710025)

0 引 言

隨著統(tǒng)計(jì)學(xué)習(xí)和計(jì)算機(jī)硬件的不斷發(fā)展，深度學(xué)習(xí)在各個(gè)領(lǐng)域都取得了飛速的發(fā)展，在有的方面的表現(xiàn)甚至已經(jīng)超過了人類。無論是AlphaGo在圍棋上的優(yōu)異表現(xiàn)，還是機(jī)器翻譯取得的巨大成功，都表明了深度學(xué)習(xí)存在著巨大的潛能。基于深度學(xué)習(xí)的各種應(yīng)用也走進(jìn)了大眾的視野，比如人臉識別[1]、手語識別[2]、醫(yī)學(xué)影像[3-4]等。但是深度學(xué)習(xí)還存在一定的不穩(wěn)定性[5]，造成很多安全問題[6]。尤其是容易受到對抗樣本的攻擊，引起模型分類錯(cuò)誤[7]。

前人提出了很多對抗攻擊[8-9]與防御[10]的方法，但是還存在著很大的缺陷。該文對其中的一些缺陷進(jìn)行了研究，提出了一種動(dòng)態(tài)改變噪聲幅值、隨機(jī)添加擾動(dòng)防止陷入局部最優(yōu)解的算法，即Dynamic Change Iterative Fast Gradient Sign Method (DCI-FGSM)。

1 相關(guān)工作

自從Szegedy等提出對抗樣本[11]以來，學(xué)者們發(fā)現(xiàn)只需要添加細(xì)微的擾動(dòng)就可以讓模型產(chǎn)生錯(cuò)誤的預(yù)測。近年來，越來越多的研究發(fā)現(xiàn)對抗樣本不僅可以找到模型的缺陷[12]，還能使模型更具有魯棒性[13]，同時(shí)這種方法還可以適用于不同的模型。

為了攻擊神經(jīng)網(wǎng)絡(luò)模型，Szegedy等人[11]提出有邊界約束的L-BFGS算法，其收斂速度快、內(nèi)存開銷小，但步長計(jì)算精度不高；Goodfellow等[14]提出基于梯度方向的FGSM算法，可以有效生成對抗樣本對模型進(jìn)行白盒測試，但其只對梯度方向上進(jìn)行一次更新，生成的對抗樣本效果一般；Kurakin等人[15]基于FGSM，提出了I-FGSM算法，可以在梯度方向上進(jìn)行多次迭代，但是可能會(huì)陷入梯度的局部最大值。所以Dong等[16]為了增強(qiáng)對抗攻擊，提出了一類基于動(dòng)量的迭代算法，可以擺脫局部最大值，但其只是盲目的去擺脫，存在著一定的局限性。Jia等人為了通過梯度的均方根對學(xué)習(xí)率進(jìn)行約束，提出了AdaDelta-Nesterov動(dòng)量方法[17]，這種方法甚至不需要提前設(shè)定學(xué)習(xí)率，同時(shí)減少了無用的迭代過程。Wang 等人[18]為了欺騙模型，利用風(fēng)格遷移使得對抗樣本人眼不易區(qū)分，這種方法雖然具有一定的效率，但是在風(fēng)格遷移的過程中可能會(huì)丟失圖片本來的特征。Lin等人[19]提出一種防御量化的方法來防御對抗攻擊，同時(shí)保持攻擊的效率，在對于經(jīng)過對抗訓(xùn)練的模型上取得了顯著的成果。

2 對抗攻擊算法

2.1 FGSM算法

Goodfellow等人[14]首次提出對抗訓(xùn)練，即用對抗樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得網(wǎng)絡(luò)更具魯棒性。他們提出FGSM(Fast Gradient Sign Method)方法，認(rèn)為高維度的線性模型就可以產(chǎn)生對抗樣本。他們在梯度上進(jìn)行一步探索去最大化損失：

(1)

其中，?xJ(θ,x,y)表示損失函數(shù)的梯度，sign(·)表示sign函數(shù)。

2.2 I-FGSM算法

FGSM算法在梯度方向上做攻擊，速度快，但是其只能在梯度方向上做一次攻擊。在FGSM算法的基礎(chǔ)上，提出迭代式的FGSM算法，即I-FGSM(Iterative Fast Gradient Sign Method)算法[15]。I-FGSM算法沿著梯度的方向進(jìn)行多步擾動(dòng)，并且每一次都重新計(jì)算擾動(dòng)的方向。

算法流程為：

(2)

(3)

2.3 MI-FGSM算法

I-FGSM在每次迭代中將對抗樣本沿梯度的方向貪婪地移動(dòng)，很容易讓模型陷入局部最大值，并且過擬合，可能并不適用于所有的模型。因此，Dong等人[12]提出基于動(dòng)量的方法MI-FGSM(Momentum Iterative Fast Gradient Sign Method)：

(4)

(5)

g0=0為初始動(dòng)量且μ為衰減因子。

3 DCI-FGSM算法

在現(xiàn)實(shí)世界中存在著很多的對抗樣本[14]，讓人們更加關(guān)注深層神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，學(xué)者們提出了大量的對抗攻擊算法去對抗各個(gè)領(lǐng)域的模型(如：人臉識別、目標(biāo)檢測、語義分割等)。該文僅針對白盒測試中基于梯度的圖像對抗樣本算法做出分析。

圖1 各種攻擊算法關(guān)系

算法：DCI-FGSM。

輸入：分類器f，損失函數(shù)J，真實(shí)樣本x及其標(biāo)簽y,擾動(dòng)幅度ε，迭代輪次T。

(a)xadv=x;

(b) 獲得初始梯度g0=?xJ(θ,x,y)

(c) fort=0 toT-1 do

(d)α=ε/t+1;

(g) end for

根據(jù)前人的研究，α最好的取值為ε/T，T是總的迭代次數(shù)，在迭代的過程中，α始終保持不變可能會(huì)導(dǎo)致模型跳過最優(yōu)值。受此啟發(fā)，在DCI-FGSM算法中，α不再這樣取值，而是根據(jù)每次迭代的次數(shù)去取值，這樣做的好處是不至于讓每次迭代的步長過大，能夠有效找到原始數(shù)據(jù)的邊界。

圖2為DCI-FGSM算法的基本流程，包含五個(gè)步驟。通過卷積神經(jīng)網(wǎng)絡(luò)獲得擾動(dòng)，不斷迭代更新梯度獲取對抗擾動(dòng)，基于原始圖像獲取對抗樣本。

圖2 DCI-FGSM攻擊算法流程

圖2中，①表示通過卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練原始樣本；②表示獲取初始擾動(dòng)，代表算法中的第2步；③表示迭代不斷更新對抗樣本，代表算法中的循環(huán)；④⑤表示將原始樣本加上對抗擾動(dòng)獲取對抗樣本。

DCI-FGSM算法總體公式為：

(6)

(7)

4 實(shí)驗(yàn)測試

在本節(jié)，通過實(shí)驗(yàn)對比了所提方法的效率，以驗(yàn)證DCI-FGSM的優(yōu)勢。

4.1 實(shí)驗(yàn)設(shè)置

(1)數(shù)據(jù)集。采用的是MINIST數(shù)據(jù)集，由60 000個(gè)訓(xùn)練樣本和10 000個(gè)測試樣本組成，每個(gè)樣本都是一張28*28像素的灰度手寫數(shù)字圖片。

(2)網(wǎng)絡(luò)模型。實(shí)驗(yàn)采用的網(wǎng)絡(luò)模型為簡單神經(jīng)網(wǎng)絡(luò)模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 簡單神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

(3)實(shí)驗(yàn)設(shè)置。對于超參數(shù)，遵循文獻(xiàn)[12]中的設(shè)定，迭代輪次T=10，步長初始為1.6，對于MI-FGSM的衰減因子=1.0。實(shí)驗(yàn)在GTX1080Ti顯卡上運(yùn)行計(jì)算。

(4)評價(jià)指標(biāo)。通過模型的準(zhǔn)確率以及模型的損失值判斷生成的對抗樣本的效果。準(zhǔn)確率指簡單神經(jīng)網(wǎng)絡(luò)模型對于正確分類圖片對圖片總數(shù)的占比，準(zhǔn)確率越低，對抗樣本的效果越好；損失值越高，對抗樣本的效果越好。

4.2 實(shí)驗(yàn)結(jié)果

在本節(jié)，采用算法對模型進(jìn)行了攻擊，并對不同的算法進(jìn)行比較。

圖4、圖5為神經(jīng)網(wǎng)絡(luò)在進(jìn)行10個(gè)epoch訓(xùn)練下的準(zhǔn)確率和損失值，可以看到損失已經(jīng)降到極低且準(zhǔn)確率很高，基本達(dá)到百分之一百。本節(jié)采用FGSM、I-FGSM、MI-FGSM、DCI-FGSM算法對此神經(jīng)網(wǎng)絡(luò)進(jìn)行攻擊，生成對抗樣本，結(jié)果見表1，其中模型準(zhǔn)確率是攻擊前后模型對于圖片的分類準(zhǔn)確率，損失是攻擊前后模型的損失值。在圖6中最左邊為原始圖像，中間的為噪聲，右邊的為原始圖像加上噪聲后的圖片。可以看到，原始圖像與對抗樣本無明顯區(qū)別，但是神經(jīng)網(wǎng)絡(luò)卻會(huì)對圖像進(jìn)行錯(cuò)誤的分類。

圖4 模型準(zhǔn)確率隨epoch變化

(左：真實(shí)樣本，中：噪聲，右：對抗樣本)

表1中的結(jié)果顯示，DCI-FGSM能夠提高白盒攻擊下的成功率，原始模型的準(zhǔn)確率為98.25%，經(jīng)過DCI-FGSM算法的攻擊，其準(zhǔn)確率降至4.5%，且相比較于FGSM、I-FGSM和MI-FGSM算法，DCI-FGSM具有更高的攻擊效率，使得模型的損失值更大。

表1 攻擊自定模型的準(zhǔn)確率與損失

研究設(shè)置了不同的擾動(dòng)值ε，針對正常訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，生成對抗樣本。圖7、圖8展示了在不同的ε下各種攻擊算法的成功率。從圖中可以看到，隨著擾動(dòng)值ε的增大，各個(gè)算法的攻擊成功率也在升高，但是DCI-FGSM算法的變化趨勢與其他不一樣，DCI-FGSM能夠使模型的準(zhǔn)確率以更快的速度降到更低的值，使得模型的損失值以更快的速度提升至更高的值。足以表明DCI-FGSM的優(yōu)越性。

圖7 模型準(zhǔn)確率變化

圖8 模型損失變化

5 結(jié)束語

該文提出一種基于白盒攻擊的對抗樣本生成算法，通過動(dòng)態(tài)改變擾動(dòng)的值，并且通過前一步梯度去更正梯度前進(jìn)的方向，防止模型陷入局部最優(yōu)，從而生成更有效的對抗樣本。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的對抗樣本生成算法相比，DCI-FGSM在白盒攻擊上具有更強(qiáng)大的效率。目前DCI-FGSM算法僅針對白盒攻擊，其在黑盒攻擊上是否有更高的效率，還需要進(jìn)一步研究。