Nesterov動量迭代降噪對抗攻擊算法NMI-FGSM & Whey

陶永才，李子晨，石育澄，石 磊，，衛 琳

1(鄭州大學 信息工程學院，鄭州 450001)2(鄭州大學 軟件學院，鄭州 450002)

1 引 言

隨著深度學習的發展，應用于深度神經網絡(Deep neural network)的一些機器學習任務取得了重大成果.如圖像分類[1]，語音識別[2]，自然語言處理[3]等.最近研究發現，深度學習很容易受到一些精心設計的輸入樣本的影響，這些通常被稱為對抗樣本[4](Adversarial example)的輸入可以輕易地愚弄一個性能良好的深度學習模型，且不易被人肉眼察覺.受這一現象影響，對于深度學習模型在安全和安保領域的探索變得更加敏感且具有很強的現實意義.通過研究對抗樣本，可以有助于理解神經網絡的內部結構，以便進一步提高神經網絡的魯棒性.

近年來的研究表明，對抗樣本能以較高的置信度欺騙現有且已經成熟的圖像分類模型[5].如圖 1 所示.原先的圖片以94.39%的置信度被分類為阿爾卑斯山，加上算法生成的噪聲之后以99.99%的置信度被分類為狗，出于觀察角度而言現這是不可思議的.通常來說，攻擊者給圖片添加擾動的目的包含于以下3條[6]：1)降低圖片輸出置信度；2)輸出與正確分類不同的任何類，又稱為非目標攻擊(non-targeted attack)；3)輸出與正確分類不同的指定類(targeted attack).白盒攻擊指對目標模型的結構和參數等信息完全了解.許多方法可以以白盒的方式成功生成對抗樣本，如基于梯度的FGSM[7]方法、基于優化的L-BFGS[4]方法、基于雅可比顯著圖的JSMA[8]方法以及基于Lp范式的C & W[9]方法.黑盒攻擊[10]假設攻擊者對模型知識有限，一般只知道模型所應用于某種類型的任務，而對模型的結構和參數等重要信息一概不知.在這種情況下，通過訓練良好的替代模型從而生成對抗樣本，再利用神經網絡之間的遷移性對目標模型進行攻擊[11]，已經成為了一種主流的黑盒攻擊方法.

圖1 對抗樣本攻擊實例Fig.1 Example of adversarial example attack

回歸物理世界，多數情況下對于攻擊模型的具體信息一般很難被攻擊者知曉，于是著眼于黑盒攻擊的研究變得更具有現實意義[12].然而，白盒攻擊方法在攻擊黑盒模型時展現出較低的性能，這主要歸因于攻擊能力和遷移性之間的權衡問題.針對這一情況，2018年，Yinpeng Dong等[13]提出MI-FGSM攻擊算法，在迭代攻擊的基礎上添加了動量項，并在實驗中取得了良好的效果，但其只是簡單地設置了最大擾動值，并未關注噪聲冗余這一現象.2019年，Yucheng Shi等[14]提出了Whey優化，一定程度上解決了生成對抗樣本圖片時噪聲過多的問題.本文主要圍繞黑盒情境中的非目標攻擊任務展開，針對通過研究圖像分類任務中攻擊能力和可遷移性之間的權衡以及噪聲過多現象，提出了NMI-FGSM & Whey攻擊方法.本文創新點如下：

1)提出一種基于Nesterov-Momentum優化的對抗攻擊方法，增強對抗攻擊的魯棒性.

2)加入Whey優化，在保證攻擊魯棒性的情況下，減少對抗樣本中的噪聲.

3)通過NMI-FGSM & Whey方法在單模型及融合模型上生成對抗樣本，對比探究其在不同情況下攻擊效果.

2 相關工作

針對圖像識別領域的對抗樣本研究可追溯到2014年，Szegedy等人首先發現深度神經網絡很容易受到一類添加過微小擾動圖像的愚弄[4].這種有趣的現象引起了人們的高度關注.具體來講，對抗任務可以描述為：x是輸入的原始樣本，f(x)是一個已經受過良好訓練的模型，是分類器針對原始輸入x所給出的正確預測(ground-truth).η為通過某種方法所生成的擾動，將該擾動添加于原始樣本，從而生成對抗樣本xadv.分類器預測對抗樣本的標簽為y′，最終目標是使得y≠y′.通常對抗攻擊方法使用Lp范數的值來限制原始圖像與對抗樣本的噪聲大小[9]，其中p一般取值為0，1，2，∞.具體如公式(1)所示.

(1)

許多攻擊方法基于以上任務描述產生.簡單的一步生成方法[15]由于可以快速生成對抗樣本，相比較而言它們在黑盒攻擊中的效果更好.而基于迭代的方法由于實現的難度增加且需要更多的處理時間，因此在白盒攻擊中占據主權[5].接下來將攻擊方法總分為3類并對其進行介紹.

基于優化的攻擊方法.Szegedy等人首先揭示了深度神經網絡對對抗性例子的敏感性，并緊接著提出使用有限存儲盒約束優化L-BFGS[4]來直接逼近對抗樣本與原始輸入之間的距離，從而得到最小擾動.其標準形式如公式(2)所示.

(2)

其中J是以交叉熵為典型代表的損失函數.它通過使用盒約束(Box-constraint)方法最小化了真實輸入與對樣本之間的距離，同時達到了攻擊目的.但其由于復雜的計算問題使得訓練過程較為緩慢，此外，其在黑盒攻擊中呈現出的低魯棒性等原因使得它在面對大型數據集時并不是一個好的選擇.同樣的，基于超平面分類思想的Deepfool[16]攻擊方法本質也是基于Lp距離的優化，這里不再贅述.

基于一步生成的攻擊方法.Goodfellow等人提出對抗樣本的存在因于深度神經網絡的高層的線性結果，從而提出FGSM[7]攻擊.這是一種基于梯度生成對抗樣本的算法，也是一種經典的一步(one-step)攻擊方法.其目標為最大化交叉熵損失函數以獲取對抗樣本xadv.公式(3)揭示了其對抗樣本的生成過程.

η=ε·sign(?xJ(x，y))，
xadv=x+η

(3)

ε是控制噪聲大小的超參數，sign代表sign函數.值得一提的是，一般FGSM方法生成的對抗樣本需要滿足L∞約束從而可以推廣到L2約束演變成如公式(4)所示的FGM方法.

(4)

FGSM因為相比于L-BFGS而言更加迅速從而在白盒攻擊中廣泛使用，但其在黑盒攻擊中仍表現出較低的魯棒性.

基于迭代的攻擊方法.I-FGSM[12]是FGSM的迭代版本，如公式(5)所示，它以一個小的步長?對FGSM進行多次使用，同時為了使對抗樣本滿足Lp約束，其在每次迭代過后會對圖像進行像素裁剪.?一般設置為為ε/T，T為最大迭代次數.

(5)

I-FGSM在白盒攻擊中取得了近乎完美的效果，但最終實驗表明，隨著迭代次數的增加，增加或減小步長?已經沒有多大意義，最終效果并無明顯改善.同時其在黑盒攻擊中所表現出的遷移能力也并不高效.

3 NMI-FGSM & Whey攻擊

3.1 MI-FGSM算法

由于一般的SGD算法較為容易收斂到局部最優，在某些情況更易受困于鞍點，同時普通的迭代方法在黑盒攻擊中并未表現出較高的成功率.2018年，Yinpeng Dong等人[13]提出MI-FGSM攻擊算法.該算法通過在迭代法中引入動量項使得噪聲增加方向平滑，從而避免了迭代過程中可能出現的更新震蕩和落入較差的局部極值等問題，并成功生成了能夠欺騙目標模型的對抗樣本.基礎迭代方法將每一步計算的當前梯度累加到對抗樣本，所以基本無法愚弄未知的黑盒模型.因此，盡管I-FGSM等方法在白盒攻擊中所達到的效果已經接近極值，但在模擬現實物理世界應用的黑盒情況下仍舊受到很大的限制.

為了提升在黑盒情境下的攻擊效果，MI-FGSM攻擊在攻擊中加入動量項進行迭代.通過設置衰減因子μ來控制動量項momentum對迭代本身的影響.該算法假設最大迭代次數為T，定義gt收集每一次迭代的梯度，并通過μ來控制當前迭代對下一次迭代的影響程度.同時受FGM啟發使得梯度由自身的L1距離規范化，從而使得下一次梯度改變方向時能夠減少更新.一般I-FGSM在攻擊目標模型時，隨著迭代次數增加容易出現過擬合等現象，并在攻擊黑盒模型時呈現出較差的結果.而MI-FGSM在有效攻擊白盒模型的同時，也保留了一定的遷移能力進行黑盒攻擊.該算法通過公式(6)所示的內容生成新的對抗樣本.

(6)

3.2 Whey優化算法

現有的大部分攻擊在生成對抗樣本時著重考慮攻擊效果，而并未著眼于如何處理圖像中的多余噪聲，加上對抗樣本不可被人類肉眼察覺這一要求并不是硬性規定，所以冗余擾動的存在是普遍的.考慮這一特質，Yucheng Shi等人在2019年提出Whey[14]優化用于進行噪聲的減少.公式(7)很好地說明了Whey優化的目的.x，xadv，xadv*分別代表原始圖像，對抗樣本以及經過優化后的對抗樣本.在保證xadv和xadv*分類結果不變的情況下，使得二者相對于原始圖像的擾動差異最大化.

max(‖xadv-x‖2-‖xadv*-x‖2)，
s.t.f(xadv*)=f(xadv)

(7)

具體來講，該優化方法先將對抗性擾動按像素值進行分組，降序選擇一組進行除以2的操作，迭代至設置的最大次數或直到添加對抗擾動后的圖像不能再成功攻擊目標模型時，再隨機抽取對抗擾動中的單個像素進行噪聲剔除，做法是生成與噪聲相同規格的mask與原噪聲相乘，按概率使得某些噪聲的值為0.Whey優化算法描述如下：

算法1.whey優化算法

輸入：分類模型f(x)；初始圖像x，原始標簽y，

對抗樣本xadv；

兩次優化的最大迭代次數T1，T2；像素集p

隨機函數random()；

輸出：去噪后的對抗樣本xadv*

1.z=xadv-x

2.t1=0，t2=0

3. for eachpinpandt1

4.z=z/2 //按像素值一半縮減噪聲

5. if(f(z)=y)

6. cancel this update

7. end if

8.t1=t1+1

9. end for

10. fort2

11. generateamask //生成面具

12. if(random()<0.01)

13.mask=0

14. else

15.mask=1

16.z=z·mask

17. if(f(z)=y)

18. cancel this update

19. end if

20.t2=t2+1

21.end for

22.xadv*=x+z

23.returnxadv*

3.3 NMI-FGSM & Whey

本文提出的NMI-FGSM攻擊在原本的momentum優化中加入nesterov項.nesterov項在梯度更新時做一個校正，梯度更新由原來的?J(x，y)變為?J(x-η·μ·g，y)，其中μ為衰減因子，η為更新步長，然后再使用sign函數迭代獲取對抗樣本.所以Nesterov的改進就是讓之前的動量直接影響當前的動量.如公式(8)、公式(9)所示.

(8)

(9)

這樣做的目的是可以避免梯度前進太快，同時提高更新方向靈敏度，在更大程度上優化了動量迭代的過程.在此說明，本算法是基于L2距離度量所提出的，同理也可以擴展到L2或L∞的情況.使用NMI-FGSM攻擊算法生成對抗樣本后再對其實行Whey優化，以在確保攻擊性能的情況下降低圖像噪聲,如圖 2 所示.

圖2 NMI-FGSM & Whey算法構架圖Fig.2 NMI-FGSM & Whey algorithm architecture

NMI-FGSM攻擊的算法描述如下：

算法2.NMI-FGSM攻擊算法

輸入：分類模型f(x)；模型的損失函數J；

原始樣本及對應標簽x，y；

擾動大小ε，最大迭代次數T，衰減系數μ；

輸出：對抗樣本xadv；

1.η=ε/T

3.fort≤T

6. end for

同樣也可以用此算法攻擊集和模型.融合模型的方法[17]在研究和對抗競賽中皆取得了不錯的效果.集和模型攻擊的思想十分直觀，如果說一個對抗樣本對多個模型來說仍不失魯棒性，那么它很有可能滿足大多數模型的決策邊界，從而也有理由相信它能以更大的概率遷移到其他模型上，進一步使得它擁有強大的黑盒攻擊能力.這里使用logit集成方法，將多個logit激活融合在一起計算目標的損失函數J(x，y).如公式(10)、公式(11)所示.

(10)

J(x，y)=-1y·log(softmax(l(x)))

(11)

其中k代表第k個模型，K是融合模型總數，ωk代表了第k個模型的權重值，所有的ωk的和為1，所以一般設置權重值為1/K.-1y是y的獨熱編碼(one-hot).NMI-FGSM融合模型攻擊算法描述如下：

算法3.NMI-FGSM攻擊融合模型

輸入：n種分類模型l1，l2，…，ln；

模型對應的權重ω1，ω2，…，ωn；

原始圖像以及對應標簽x，y；

擾動大小ε，最大迭代次數T，衰減系數μ；

輸出：對抗樣本xadv；

1.n=ε/T

3. whilet≤T

4. fork≤K

9. end while

4 實驗與分析

實驗中所使用的NMI-FGSM & WHEY算法及其相關對比實驗均基于Linux(Ubuntu 16.04.2 LTS)下python2.7.12以及pytorch0.4.1深度學習框架實現.具體CPU參數為 Intel Xeon E5-2650 v4 @ 2.20GHz，64G 內存.為了加快訓練過程，實驗內容使用 NVIDIA GTX 1080 TI GPU加速完成.

4.1 實驗設置

選擇從ImageNet[18]數據集中隨機抽取2000幅圖像，這些圖片被使用的所有網絡正確分類，圖像的大小為224×224×3.實驗使用3個經過正規訓練的網絡，即Inception-v3[19](Inc-v3)、Res net-v2-152[20](Res-152)、和Inception-Resnet-v2[21](IncRes-v2).參考之前相關實驗[13，14]，其已就各項參數值做了對比實驗及深入研究，而本算法是在其基礎上加以改進，普適性有一定的保證.所以在此次實驗中不妨借鑒已得出的近優解.設置大擾動量ε被設置為16，像素值取值在[0，255] 中.最大迭代次數T為10，衰減因子μ為0.8.

4.2 單模型攻擊

首先在一個網絡上生成對抗樣本，然后使用該對抗樣本對所有網絡逐一進行攻擊.為了數據能展示出攻擊性能和噪聲量，使用從替代模型轉移到目標模型的對抗性擾動的平均值大小AVG[22]來做為攻擊算法的評估標準.如公式(12)所示.

(12)

其中sub和N分別代表替代模型和目標模型，X表示測試集，x以及xadv分別代表原始圖像和對抗樣本.公式(12)返回的原始圖像與對抗樣本的L2距離表現出攻擊算法的性能和對抗樣本與原始輸入間的擾動差異.一般來說，AVG值越小，所使用的攻擊方法就越有效.同時，使用攻擊成功率，即對抗樣本使得分類器錯誤分類的比例來直觀的顯示出攻擊方法的性能.由于基于優化的方法不能顯式地控制對抗樣本和原始樣本之間的距離，因此使用它們與本論文的方法直接比較意義不大，但它們與第2節中討論的迭代方法具有相似的性質.實驗結果如表1所示.使用FGSM，I-FGSM，MI-FGSM，NMI-FGSM以及加入了 Whey優化的CURLS，NMI-FGSM攻擊方法分別生成了基于Inc-v3、IncRes-v2、Res-152網絡的對抗樣本.對角線表示白盒攻擊，非對角線上表示黑盒攻擊.其中行表示受攻擊模型，列表示生成對抗樣本的攻擊模型.

觀察表1，白盒攻擊情況下迭代攻擊的效果要遠好于一步攻擊(one-step)，攻擊的成功率接近百分之百.但在黑盒情況下，FGSM方法生成的對抗樣本要強于普通迭代，基于動量的MI-FGSM攻擊和加入Nesterov項的NMI-FGSM攻擊在絕大多數情況要強于基礎迭代法和FGSM方法.多數情況下NMI-FGSM同CURLS & Whey相比也有著更高的成功率.同時，在Inc-v3網絡上生成的對抗樣本攻擊IncRes-v2時MI-FGSM表現出更強的攻擊性，說明在某些情況下NMI-FGSM的效果不如MI-FGSM.這是因為momentum和Nesterov計算梯度的方法不一樣.momentum對梯度先進行方向校正，而后進行梯度跳躍.Nesterov先進行梯度跳躍，而后進行方向校正.針對不同的網絡結構，兩種方法的適應性不一.不過在大多數情況下，NMI-FGSM的效果要強于MI-FGSM，因此并不失為一種更加有效的攻擊方法.

表1 單模型攻擊實驗結果，帶(*)表示白盒攻擊Table 1 Experimental results of single model，attack with(*) forwhite box attack

一個共識是，隨著噪聲的增大，圖像會變得越來越難以被正確識別.但是在L2距離的約束下，一個好的對抗樣本應在擾動盡可能小的情況下依舊保持攻擊性.為了平衡噪聲的大小和對抗樣本魯棒性之間的關系，在NMI-FGSM生成對抗樣本之后對其進行Whey優化.實驗結果表明在白盒情況下，Whey優化壓縮噪聲的效果并不明顯.但在黑盒攻擊中，它可以顯著的平衡攻擊效果與噪聲量間的關系，效果也加入了Whey優化可以減少輸入與輸出樣本間的差異.甚至在某些情況下，使用Whey優化處理NMI-FGSM方法生成的對抗樣本不但使得噪聲明顯降低，而且還提升了攻擊效果.一個有力的證據是對抗樣本與原始圖像之間L2距離均值(AVG)下降，同時NMI-FGSM & Whey算法呈現出更強的攻擊性.圖3顯示了該攻擊算法在ImageNet數據集上攻擊的結果，由左至右依次為原始圖像，噪聲，對抗樣本.

圖3 NMI-FGSM & Whey攻擊實例Fig.3 Example of NMI-FGSM & Whey attacks

4.3 融合模型攻擊

將Inc-v3、Res-152和IncRes-v2的模型的兩兩組合以及它們的總體集合對單個模型進行攻擊.使用I-FGSM、MI-FGSM、CULRS & Whey，NMI-FGSM & Whey方法攻擊剩余的網絡，由于FGSM在白盒模型上的成功率較低，因此在這里被忽略.實驗結果如表2所示.

表2 融合模型攻擊實驗結果Table 2 Experimental results of ensemble

融合模型的權重ωk設置為相同即1/3.表2中可以看出，融合模型攻擊生成的對抗樣本具有很強的魯棒性，攻擊所有單個模型的成功率幾乎可以達到100%.這是因為考慮的模型越多，越可以符合多個模型的決策邊界，針對神經網絡的深層結構便越發具有針對性和可解釋性.同樣也可以看出，當被攻擊模型受到包含自身集和模型攻擊時，成功率相比于自身白盒攻擊更高.在受攻擊模型受到另外兩個模型的集和攻擊，也就是黑盒情況，攻擊魯棒性也有顯著的提升.CURLS & Whey有時會有更好的降噪效果，但綜合起來NMI-FGSM & Whey攻擊能很好的平衡降噪和成功率間的比重，使其在有效去除噪聲的同時保持穩定甚至展現更高的攻擊效果.如當使用IncRes-v2和Res-152集成攻擊Inc-v3網絡時，I-FGSM，MI-FGSM，CULRS & Whey，NMI-FGSM & Whey的攻擊成功率分別為52.53%，71.88%，74.29%，76.21%.這就說明在融合模型攻擊下，NMI-FGSM & Whey依舊保持了很高的攻擊水準.

NMI-FGSM & Whey攻擊在保證攻擊效率的同時，也有效減少了對抗樣本的擾動信息量.圖 4顯示為4種攻擊方法以集合網絡為替代模型攻擊單個網絡所生成對抗擾動的L2平均距離.這說明本論文的方法在保證對抗樣本有效的同時，降低了自身噪聲的大小，從而使得對抗樣本更加不容易被機器和人類所識別，進一步增強了攻擊算法的魯棒性.

圖4 融合模型攻擊產生噪聲的平均L2距離比較Fig.4 Comparison of the average L2 distance of noise generated by ensemble model attack

5 結 語

本文提出的NNI-FGSM & Whey算法是一種針對圖像識別的迭代攻擊算法，其目的是在保證攻擊算法效率的同時，降低圖像自身的擾動量.為了驗證這一結論，設置單一模型攻擊和集和模型攻擊實驗.最終結果表明，在MI-FGSM攻擊算法中引入Nesterov項這一舉措穩固了攻擊算法的效率，在涉及到的大部分網絡上表現出了更高的攻擊水準.NMI-FGSM & Whey算法在這一基礎上設法清除了多余的圖像噪聲，使得對抗樣本更接近于原始樣本，從而進一步提升了對抗攻擊的魯棒性.

此外NMI-FGSM算法也有待優化之處.實驗表明并不是所有網絡都更加適應于NMI-FGSM攻擊.某些網絡中NMI-FGSM算法的攻擊效果并非最優，這是由于CURLS有著獨特的攻擊途徑，且Nesterov和momentum的梯度更新方式不一樣所造成的.另一方面，Whey在黑盒攻擊中所展現出的有效性在白盒情境下并不明顯，且噪聲仍有余留.因此，尋找不同的替代模型結以更優的實驗參數以面對種類繁多的神經網絡，在保證攻擊效果更加穩定的情況下，進一步針對各種攻擊模式去除多余的噪聲量，將是下一步深入研究的內容.