基于模型間遷移性的黑盒對(duì)抗攻擊起點(diǎn)提升方法

陳曉楠，胡建敏，張本俊，陳愛玲

（1.國(guó)防大學(xué) 聯(lián)合勤務(wù)學(xué)院，北京 100089；2.南京航空航天大學(xué) 電子信息工程學(xué)院，南京 211100；3.山東省煙臺(tái)市實(shí)驗(yàn)中學(xué)，山東 煙臺(tái) 265500）

0 概述

深度學(xué)習(xí)是目前應(yīng)用最廣泛的技術(shù)之一，在數(shù)據(jù)挖掘、自然語言處理、計(jì)算機(jī)視覺、信息檢索等領(lǐng)域中占有很重要的地位。但是很多研究表明，神經(jīng)網(wǎng)絡(luò)容易被精心設(shè)計(jì)的微小擾動(dòng)所影響，通過在正常樣本上疊加微小惡意噪聲而形成的對(duì)抗樣本進(jìn)行對(duì)抗攻擊導(dǎo)致模型輸入錯(cuò)誤的結(jié)果，進(jìn)而影響到實(shí)際應(yīng)用系統(tǒng)的安全性。對(duì)抗攻擊和對(duì)抗樣本的發(fā)現(xiàn)使人工智能領(lǐng)域面臨著巨大的安全威脅。

隨著對(duì)深度學(xué)習(xí)的深入研究，大量的對(duì)抗攻擊方法相繼被提出，對(duì)抗攻擊主要可以分為白盒攻擊和黑盒攻擊2 類。白盒攻擊是攻擊者完全掌握目標(biāo)模型的內(nèi)部結(jié)構(gòu)和訓(xùn)練參數(shù)值，甚至還包括其特征集合、訓(xùn)練方法和訓(xùn)練數(shù)據(jù)等來進(jìn)行的對(duì)抗攻擊。黑盒攻擊是攻擊者在不知道目標(biāo)模型的內(nèi)部結(jié)構(gòu)、訓(xùn)練參數(shù)和相應(yīng)算法的情況下，通過數(shù)據(jù)的輸入與輸出結(jié)果來進(jìn)行分析，設(shè)計(jì)和構(gòu)造對(duì)抗樣本，實(shí)施對(duì)抗攻擊。在實(shí)際的運(yùn)用場(chǎng)景中，黑盒攻擊的安全威脅更為嚴(yán)峻。

深度學(xué)習(xí)模型能夠以達(dá)到甚至高于人眼的識(shí)別度來識(shí)別圖像，但是對(duì)抗攻擊和對(duì)抗樣本的發(fā)現(xiàn)，將導(dǎo)致模型識(shí)別錯(cuò)誤。這些漏洞如果被別有用心的人所掌握，將可能產(chǎn)生嚴(yán)重的安全問題，例如，自動(dòng)駕駛汽車的識(shí)別錯(cuò)誤將可能導(dǎo)致嚴(yán)重的交通事故［1］，某些犯罪分子可能利用生成的對(duì)抗樣本逃過人臉識(shí)別的檢測(cè)等［2-3］。

文獻(xiàn)［4］證明了將圖片進(jìn)行適當(dāng)修改后能夠使深度學(xué)習(xí)模型識(shí)別錯(cuò)誤；文獻(xiàn)［5］提出了產(chǎn)生對(duì)抗攻擊根本原因的猜測(cè)——深度神經(jīng)網(wǎng)絡(luò)在高緯空間中的線性特性已經(jīng)足以產(chǎn)生這種攻擊行為，并提出了快速梯度符號(hào)方法（FGSM），作為經(jīng)典的攻擊手段；文獻(xiàn)［6］提出了SIGN-OPT 算法，使得黑盒攻擊對(duì)目標(biāo)模型的查詢次數(shù)大幅降低；文獻(xiàn)［7］提出了HopSkipJumpAttack2 算法，具有很高的查詢效率；文獻(xiàn)［8］在FGSM 算法的基礎(chǔ)上，提出基于動(dòng)量的迭代算法T-MI-FGSM，提高對(duì)抗樣本的可遷移性和黑盒攻擊的成功率；文獻(xiàn)［9］提出了UPSET 和ANGRI 算法，分別使用殘差梯度網(wǎng)絡(luò)構(gòu)造對(duì)抗樣本和生成圖像特定的擾動(dòng)，具有很高的欺騙率；文獻(xiàn)［10］對(duì)計(jì)算機(jī)視覺中的對(duì)抗攻擊進(jìn)行了較為詳盡的研究，提出了12 種對(duì)抗攻擊的方法和15 種防御的措施；文獻(xiàn)［11］分析并匯總了近年來關(guān)于深度學(xué)習(xí)對(duì)抗攻擊的部分算法并進(jìn)行了比較與分析。關(guān)于生成對(duì)抗樣本進(jìn)行對(duì)抗攻擊的研究很多，這些研究的成果促進(jìn)了深度學(xué)習(xí)的進(jìn)一步發(fā)展。

文獻(xiàn)［12］提出了基于決策的邊界攻擊方法，且該方法適合絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型，具有很好的通用性和普適性，文獻(xiàn)［7］在在決策基礎(chǔ)上對(duì)決策邊界處的梯度方向進(jìn)行估計(jì)，并提出了控制偏離邊界誤差的方法，有效提高了基于決策的攻擊效率，文獻(xiàn)［13］提出了一種新的基于決策的攻擊算法，它可以使用少量的查詢生成對(duì)抗性示例。文獻(xiàn)［7，12-13］都是逐步朝著更優(yōu)解靠攏，本質(zhì)上是一樣的，但靠攏的方式不同。本文基于決策算法實(shí)現(xiàn)無目標(biāo)攻擊和有目標(biāo)攻擊，與上述研究不同，本文提出可以利用模型的遷移性來循環(huán)疊加干擾圖像，找到新的初始樣本，提高基于決策算法的運(yùn)算起點(diǎn)，降低查詢次數(shù)。

1 基于決策的黑盒攻擊思路

對(duì)抗攻擊可以分為基于梯度的攻擊、基于分?jǐn)?shù)的攻擊、基于遷移的攻擊和基于決策的攻擊。在前2 種攻擊中，基于梯度的攻擊多用于白盒攻擊，基于分?jǐn)?shù)的攻擊多用于黑盒攻擊，在很多黑盒攻擊中，攻擊者可以通過對(duì)目標(biāo)模型的輸入來觀察分類結(jié)果，并可以獲得每個(gè)類別的分?jǐn)?shù)，攻擊者可以根據(jù)這個(gè)分?jǐn)?shù)來設(shè)計(jì)對(duì)抗樣本的生成算法。

文獻(xiàn)［14-15］指出對(duì)抗樣本具有遷移性：相同的對(duì)抗樣本，可以被不同的分類器錯(cuò)誤分類，即基于遷移的攻擊。基于遷移的攻擊是利用訓(xùn)練數(shù)據(jù)訓(xùn)練一個(gè)可以替代的模型，即對(duì)抗樣本在不同的模型之間可以進(jìn)行遷移。

與其他3 種攻擊相比，基于決策的攻擊與實(shí)際應(yīng)用更為相關(guān)。與此同時(shí)，基于決策的攻擊比其他攻擊類型更高效、更穩(wěn)健、更難以被察覺。文獻(xiàn)［12］引入一個(gè)普適性的對(duì)抗攻擊算法——邊界攻擊。邊界攻擊是屬于基于決策攻擊的一種，適合對(duì)復(fù)雜自然數(shù)據(jù)集的有效攻擊，其原理是沿著對(duì)抗樣本和正常樣本之間的決策邊界，采用比較簡(jiǎn)單的拒絕抽樣算法，結(jié)合簡(jiǎn)單的建議分布和信賴域方法啟發(fā)的動(dòng)態(tài)步長(zhǎng)調(diào)整。邊界攻擊的核心是從一個(gè)較大的干擾出發(fā)，逐步降低干擾的程度，這種思路基本上推翻了以往所有的對(duì)抗攻擊的思路。

基于決策的攻擊只需要模型的輸入輸出類別，并且應(yīng)用起來要簡(jiǎn)單得多。本文基于決策攻擊來設(shè)計(jì)算法，僅知道分類的結(jié)果，不能得到每個(gè)類別的分?jǐn)?shù)，以此來設(shè)計(jì)黑盒算法生成對(duì)抗樣本，進(jìn)行對(duì)抗攻擊。

在這種情況下，黑盒攻擊的一般思路是先使用現(xiàn)成的模型去標(biāo)記訓(xùn)練數(shù)據(jù)，選擇一幅圖片輸入到模型中，通過模型反饋的標(biāo)簽來當(dāng)作監(jiān)督信號(hào)，不斷地變換圖片，形成一個(gè)新的數(shù)據(jù)集，圖片的選擇可以用真實(shí)的圖片，也可以用合成的圖片，將這個(gè)數(shù)據(jù)集作為訓(xùn)練集，訓(xùn)練出一個(gè)新的模型，新的模型是透明的，在該模型上采用白盒攻擊的手段生成對(duì)抗樣本，有極高的概率能夠騙過原先的模型。

選擇一幅圖像，然后給這個(gè)圖像加一些噪聲，通過不斷地變換噪聲，使得模型輸出的分類結(jié)果發(fā)生改變，實(shí)際上此時(shí)圖片已經(jīng)碰到了模型的分類邊界。接下來就是不斷地嘗試，找到一個(gè)能讓分類結(jié)果錯(cuò)誤的最小的噪聲

上述2 種情況都有一個(gè)共同的問題，就是需要大量地向目標(biāo)模型進(jìn)行查詢，查詢到可以構(gòu)建自己的訓(xùn)練集的程度，為能夠盡可能地減少查詢，本文對(duì)傳統(tǒng)的邊界攻擊加以改進(jìn)與完善，提出一種通過模型之間的遷移性來循環(huán)疊加干擾圖像確定初始樣本，然后采用邊界攻擊生成對(duì)抗樣本的算法，目的是為了提高傳統(tǒng)邊界算法的運(yùn)算起點(diǎn)，盡可能地減少查詢數(shù)量，更好地欺騙原模型的分類能力。

已知一個(gè)神經(jīng)網(wǎng)絡(luò)模型，對(duì)其內(nèi)部結(jié)構(gòu)和參數(shù)一無所知，唯一知道模型的作用是進(jìn)行圖片分類的，并且不知這個(gè)模型的分類精度。不知道這個(gè)模型是一個(gè)最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，只能夠進(jìn)行簡(jiǎn)單的分類任務(wù)，還是一個(gè)復(fù)雜的DNN、CNN 或者RNN 神經(jīng)網(wǎng)絡(luò)，可以完成非常復(fù)雜的分類任務(wù)。

本文提出的改進(jìn)黑盒算法中最重要的是初始樣本的確定。文獻(xiàn)［7，12-13］都是逐步朝著更優(yōu)解靠攏，本質(zhì)上是一樣的，關(guān)鍵在于靠攏的方式不同，無目標(biāo)攻擊的初始樣本是一個(gè)隨機(jī)擾動(dòng)圖片，目標(biāo)攻擊的初始樣本是一個(gè)指定的目標(biāo)分類的圖片，如圖1和圖2 所示。圖的上方是對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)，下方是與原圖像之間的均方誤差。可以看出，在完全黑盒狀態(tài)下，如果要完善地構(gòu)造出有效的對(duì)抗樣本，則需要查詢數(shù)千次甚至上萬次才能逐步找到一張足夠清晰的圖片來騙過神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)［7，12-13］還有類似的大多數(shù)文獻(xiàn)都是針對(duì)這個(gè)逐步查詢的過程來進(jìn)行優(yōu)化的，從而更快地靠近目標(biāo)樣本，使得整體的查詢次數(shù)降低。如果可以找到一個(gè)更高無目標(biāo)攻擊和有目標(biāo)攻擊的運(yùn)算起點(diǎn)，不從隨機(jī)干擾圖像和指定類別的額圖像出發(fā)，將大幅降低對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)。接下來就是確定新的初始樣本來提升整體攻擊的起點(diǎn)，進(jìn)而降低整體的查詢次數(shù)。

圖1 無目標(biāo)攻擊過程Fig.1 No target attack process

圖2 有目標(biāo)攻擊過程Fig.2 Target attack process

2 基于決策的黑盒攻擊原理與流程

2.1 算法基礎(chǔ)

基于決策的黑盒攻擊具體分為2 步：第1 步是通過模型之間的遷移性來多次疊加干擾圖像的方法確定初始樣本；第2 步在初始樣本的基礎(chǔ)上運(yùn)用邊界攻擊的手段來確定合適的對(duì)抗樣本。這里的通過模型之間的遷移性來進(jìn)行的攻擊并不能算是真正的遷移攻擊，遷移攻擊利用的是訓(xùn)練數(shù)據(jù)的信息，而這里采用的是根據(jù)部分查詢結(jié)果來自己收集、擴(kuò)充和構(gòu)造數(shù)據(jù)集，進(jìn)行對(duì)應(yīng)的二分類訓(xùn)練，分類項(xiàng)為目標(biāo)圖片類和非目標(biāo)圖片類，然后采用FGSM、I-FGSM、MI-FGSM、DI2-FGSM、M-DI2-FGSM 等算法來生成對(duì)抗樣本進(jìn)行疊加嘗試，進(jìn)而確定合適的初始樣本。

快速梯度符號(hào)方法（FGSM）是非常經(jīng)典的一種攻擊方法［5］，通過計(jì)算交叉熵?fù)p失的梯度J(x，yT)來找出噪聲的方向：

I-FGSM 將噪聲ε的上限分成幾個(gè)小的步長(zhǎng)α，并逐步增加噪聲［16］：

I-FGSM 在白盒場(chǎng)景中的所有當(dāng)前迭代攻擊中具有最高的攻擊效果，其主要缺點(diǎn)是迭代步驟的邊際效應(yīng)遞減。具體是隨著迭代次數(shù)t的增加和步長(zhǎng)α的減小，保持加入迭代步驟對(duì)攻擊效果的改善很小。

DI2-FGSM 在I-FGSM 基礎(chǔ)上，將動(dòng)量集成到攻擊過程中，穩(wěn)定更新方向，在一定程度上避免了局部極值：

MI-FGSM 引入了一個(gè)動(dòng)量項(xiàng)，使噪聲添加方向的調(diào)整更加平滑，但邊際效應(yīng)遞減對(duì)迭代次數(shù)的影響仍然存在［8］：

M-DI2-FGSM 在MI-FGSM 基礎(chǔ)上，將動(dòng)量集成到攻擊過程中，穩(wěn)定更新方向，在一定程度上避免了局部極值［17］：

以上的FGSM系列算法屬于白盒攻擊算法，需要掌握模型的內(nèi)部結(jié)構(gòu)和訓(xùn)練參數(shù)值，針對(duì)的是自己搭建的二分類神經(jīng)網(wǎng)絡(luò)，目的是為了獲得一個(gè)可以接納的初始樣本，提升黑盒攻擊的攻擊起點(diǎn)，具體算法流程如下：

得到初始樣本后，采用文獻(xiàn)［7，12-13］的邊界攻擊算法，這3 種邊界攻擊算法本質(zhì)上是一致的，都是基于決策的黑盒攻擊手段，可以通過改變初始樣本來減少查詢次數(shù)，這里以文獻(xiàn)［12］的邊界攻擊算法為例，具體算法流程如下：

2.2 無目標(biāo)攻擊流程

根據(jù)上述設(shè)計(jì)的算法，進(jìn)行無目標(biāo)攻擊的相關(guān)實(shí)驗(yàn)，具體步驟如下：

步驟1實(shí)驗(yàn)樣本的準(zhǔn)備。選用一個(gè)神經(jīng)網(wǎng)絡(luò)作為攻擊目標(biāo)（攻擊者并不知道神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)、訓(xùn)練參數(shù)和相應(yīng)算法，也不知道是采用何種數(shù)據(jù)集進(jìn)行訓(xùn)練的，唯一知道的是此模型是完成圖片分類任務(wù)的）。這里選擇一張目標(biāo)圖片，將其輸入到目標(biāo)神經(jīng)網(wǎng)絡(luò)中，別被識(shí)別為o類，然后，攻擊者從百度隨機(jī)爬取若干o類的圖片和非o類的圖片，其中下載n張o類圖片輸入目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，得到n-k個(gè)分類結(jié)果為o類的樣本，k個(gè)分類結(jié)果為非o類的樣本，然后隨機(jī)下載n張其他類型的圖片，這n+k個(gè)圖片作為非o類的圖片樣本，所有圖片匯總一起得到n-k+1 個(gè)標(biāo)簽為o的圖片樣本（包括1張目標(biāo)圖片）、n+k個(gè)標(biāo)簽為非o類的圖片樣本，通過圖像旋轉(zhuǎn)、鏡像、移位、縮放比例等方法擴(kuò)充這2 類樣本，通過這2 類樣本訓(xùn)練一個(gè)新的神經(jīng)網(wǎng)絡(luò)完成二分類任務(wù)。

步驟2獲得初始對(duì)抗樣本。在構(gòu)建的二分類神經(jīng)網(wǎng)絡(luò)中，采用M-DI2-FGSM 算法計(jì)算交叉熵?fù)p失的梯度來找出噪聲的方向，生成干擾圖像η，然后將干擾圖像加到目標(biāo)圖片樣本o上生成對(duì)抗樣本，此時(shí)對(duì)于新神經(jīng)網(wǎng)絡(luò)而言，對(duì)抗樣本的生成屬于白盒攻擊，然后將這個(gè)樣本輸入到目標(biāo)神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類識(shí)別，若識(shí)別為非o類，則達(dá)成了無目標(biāo)識(shí)別任務(wù)；若仍識(shí)別為o類，則說明目標(biāo)神經(jīng)網(wǎng)絡(luò)的精度很高，新的神經(jīng)網(wǎng)絡(luò)二分類后的對(duì)抗樣本生成也騙不過目標(biāo)神經(jīng)網(wǎng)絡(luò)。此時(shí)，對(duì)剛剛生成的對(duì)抗樣本采取圖像旋轉(zhuǎn)、鏡像、移位、縮放比例等數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行擴(kuò)充，然后投入訓(xùn)練集中，對(duì)二分類神經(jīng)網(wǎng)絡(luò)增量訓(xùn)練，生成新的干擾圖像η′，以此反復(fù)，直到目標(biāo)神經(jīng)網(wǎng)絡(luò)得出非o的結(jié)論，此時(shí)，對(duì)抗樣本為即疊加了n′次干擾圖像。新的對(duì)抗樣本即初始對(duì)抗樣本很大概率將和原圖片樣本o差別較大，不符合對(duì)抗樣本的要求，這里將采用新的邊界攻擊算法進(jìn)行處理。

步驟3對(duì)抗樣本生成。采用文獻(xiàn)［12］中的邊界攻擊算法，將文獻(xiàn)［12］中隨機(jī)生成的初始樣本變更為步驟2 得到的簡(jiǎn)易對(duì)抗樣本，以此來進(jìn)行無目標(biāo)攻擊，最終得到清晰度符合要求的對(duì)抗樣本圖片。

綜上所述，可以得到整個(gè)無目標(biāo)黑盒攻擊流程，如圖3 所示。

圖3 無目標(biāo)黑盒攻擊整體流程Fig.3 Whole procedure of non-target black box attack

2.3 有目標(biāo)攻擊流程

根據(jù)上述設(shè)計(jì)的算法，進(jìn)行有目標(biāo)攻擊的相關(guān)實(shí)驗(yàn)，具體方法如下：

對(duì)于有目標(biāo)攻擊，若按照上述無目標(biāo)攻擊的流程來進(jìn)行，理論構(gòu)建的二分類神經(jīng)網(wǎng)絡(luò)應(yīng)變?yōu)槿诸惿窠?jīng)網(wǎng)絡(luò)，分別為目標(biāo)圖片o類、指定錯(cuò)誤類o′類、其他類共3 類，再利用如文獻(xiàn)［18-20］等白盒有目標(biāo)攻擊算法來生成初始樣本，然后將這個(gè)樣本輸入到目標(biāo)神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類識(shí)別，若識(shí)別為o′類，則達(dá)成了有目標(biāo)識(shí)別任務(wù)；若仍識(shí)別為o類或其他類，則說明需要繼續(xù)生成對(duì)抗樣本。此時(shí)，對(duì)剛生成的對(duì)抗樣本采取圖像旋轉(zhuǎn)、鏡像、移位、縮放比例等數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行擴(kuò)充，最后投到入訓(xùn)練集中，對(duì)三分類神經(jīng)網(wǎng)絡(luò)進(jìn)行增量訓(xùn)練，生成新的干擾圖像η′，以此反復(fù)，直到目標(biāo)神經(jīng)網(wǎng)絡(luò)得出o′類的結(jié)論，此時(shí)，對(duì)抗樣本為，即疊加了n′次干擾圖像。

但在實(shí)際操作中發(fā)現(xiàn)，無目標(biāo)攻擊只需要將對(duì)抗樣本分為非o類即可，而有目標(biāo)攻擊己方搭建的分類模型無論怎樣進(jìn)行增量訓(xùn)練，都和目標(biāo)神經(jīng)網(wǎng)絡(luò)差距太大，準(zhǔn)確程度低，無法準(zhǔn)確地將對(duì)抗樣本分到o′類。因此，根據(jù)文獻(xiàn)［7，12-13］的邊界攻擊算法原理，對(duì)目標(biāo)圖片o和指定錯(cuò)誤分類o′的一張圖片進(jìn)行加權(quán)疊加，目標(biāo)圖片o的權(quán)重范圍為0.05～0.95，指定分類的一張圖片權(quán)重范圍為0.95～0.05，步長(zhǎng)0.05，如圖4 所示。

圖4 2 個(gè)類別的加權(quán)圖Fig.4 Weighted graphs of two categories

從圖4 可以看出，前7 幅加權(quán)圖片被目標(biāo)神經(jīng)網(wǎng)絡(luò)識(shí)別為瓢蟲（ladybug），其他圖片被目標(biāo)神經(jīng)網(wǎng)絡(luò)識(shí)別為金毛獵犬（golden_retriever），選取合適的加權(quán)樣本后整體流程和無目標(biāo)攻擊一致，只是將隨機(jī)擾動(dòng)的初始樣本換為加權(quán)樣本，通過加權(quán)樣本來獲得合適的初始樣本。

理論上第1 幅到第7 幅圖片之間的golden_retriever 的權(quán)值越大，則越容易通過算法1 來找到合適的初始樣本，使得golden_retriever 錯(cuò)誤的識(shí)別為ladybug，但是golden_retriever 的權(quán)值越大，初始樣本越接近于原始算法直接采用golden_retriever 作為初始樣本，且對(duì)查詢次數(shù)的降低基本沒有任何改善；Ladybug 的權(quán)值越大，則出現(xiàn)前文提到的準(zhǔn)確程度就越低，無法準(zhǔn)確地將對(duì)抗樣本粗略地分到o′類。

因此，這里選取第1 幅～第7 幅圖片作為加權(quán)樣本m。加權(quán)圖片越靠近第7 幅圖片則越接近2 個(gè)類別的邊界，此時(shí)仍然通過算法1 來進(jìn)行處理，通過設(shè)定每一幅圖片的最大嘗試查詢次數(shù)p，就容易得到所需要的初始樣本。這里的p值不需要太大，否則會(huì)導(dǎo)致圖片嚴(yán)重失真，且不能保證攻擊的方向性，p的取值一般不超過10。最好的情況是選取第1 幅圖片時(shí)就能通過算法1 得到合適的初始樣本，最差的情況就是到第7 幅圖片也沒有得到合適的初始樣本，此時(shí)只有使用第8 幅圖片作為初始樣本。

最后再通過算法2 來進(jìn)行無目標(biāo)攻擊，最終得到清晰度符合要求的對(duì)抗樣本圖片。

綜上所述，可以得到整個(gè)有目標(biāo)黑盒攻擊流程，如圖5 所示。

圖5 有目標(biāo)黑盒攻擊整體流程Fig.5 Overall procedure of targeted black box attack

3 實(shí)例分析

3.1 無目標(biāo)攻擊實(shí)例分析

本文選擇目標(biāo)神經(jīng)網(wǎng)絡(luò)為ImageNet 數(shù)據(jù)集對(duì)應(yīng)的ResNet-50 網(wǎng)絡(luò)結(jié)構(gòu)，選擇目標(biāo)圖片o為瓢蟲（ladybug）圖片，n取100，根據(jù)2.3 節(jié)中的步驟，從百度隨機(jī)爬取100 張瓢蟲的圖片和100 張其他圖片，將100 張瓢蟲的圖片導(dǎo)入到目標(biāo)神經(jīng)網(wǎng)絡(luò)中，有92 張被分類為瓢蟲標(biāo)簽，8 張被分類為其他標(biāo)簽，此時(shí)，加上目標(biāo)圖片，共有93 張瓢蟲的圖片，108 張其他的圖片，經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像等方法，將數(shù)量擴(kuò)充至5 倍，搭建二分類神經(jīng)網(wǎng)絡(luò)來訓(xùn)練數(shù)據(jù)。

采用M-DI2-FGSM 算法計(jì)算交叉熵?fù)p失的梯度來找出目標(biāo)圖片在新的神經(jīng)網(wǎng)絡(luò)噪聲的方向，生成干擾圖像η，合成為對(duì)抗樣本后輸入到目標(biāo)神經(jīng)網(wǎng)絡(luò)中，發(fā)現(xiàn)仍識(shí)別為瓢蟲，然后將剛合成的對(duì)抗樣本經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像等方法進(jìn)行擴(kuò)充，隨后作為數(shù)據(jù)集來增量訓(xùn)練二分類神經(jīng)網(wǎng)絡(luò)，再次利用M-DI2-FGSM 算法合成為對(duì)抗樣本，經(jīng)過反復(fù)疊加，7 次疊加后目標(biāo)神經(jīng)網(wǎng)絡(luò)識(shí)別為鯉魚（crayfish），如圖6 所示。將新的對(duì)抗樣本輸入到邊界攻擊程序中，作為起始樣本來進(jìn)行下一步處理，具體攻擊過程如圖7 所示。

圖6 反復(fù)疊加后的對(duì)抗樣本Fig.6 Counter sample after repeated superposition

圖7 更改初始樣本后的無目標(biāo)攻擊過程Fig.7 Non-target attack process after changing initial sample

從圖7 可以看出，當(dāng)對(duì)抗樣本與目標(biāo)圖片之間的均方誤差約為2.99e+3 時(shí)，共對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)查詢了（9 109+100+7）次，肉眼已難以區(qū)分對(duì)抗樣本和目標(biāo)圖片之間的差異，此時(shí)目標(biāo)神經(jīng)網(wǎng)絡(luò)仍識(shí)別為鯉魚（crayfish）。對(duì)比初始樣本為隨機(jī)干擾圖片的無目標(biāo)攻擊過程，當(dāng)對(duì)抗樣本與目標(biāo)圖片之間的均方誤差約為2.99e+3 時(shí)，共查詢了12 006 次。

顯然，更改初始樣本后無目標(biāo)黑盒攻擊過程中對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)顯著降低，大約降低了2 790 次，節(jié)省了23%的查詢次數(shù)，同時(shí)，經(jīng)過簡(jiǎn)單測(cè)算，獲得初始樣本的過程耗時(shí)（包括爬取圖片、查詢圖片、擴(kuò)充數(shù)據(jù)集、訓(xùn)練和增量訓(xùn)練網(wǎng)絡(luò)、調(diào)用MDI2-FGSM 算法疊加對(duì)抗樣本）不超過原來的黑盒攻擊查詢2 790 次所耗費(fèi)的時(shí)間。因此，無目標(biāo)黑盒攻擊算法計(jì)算所需時(shí)間也在可控范圍內(nèi)。

3.2 有目標(biāo)攻擊實(shí)例分析

對(duì)于有目標(biāo)攻擊，同樣選擇目標(biāo)神經(jīng)網(wǎng)絡(luò)為ImageNet 數(shù)據(jù)集對(duì)應(yīng)的ResNet-50 網(wǎng)絡(luò)結(jié)構(gòu)，選擇目標(biāo)圖片o為瓢蟲（ladybug）圖片，n取100，根據(jù)2.3 節(jié)中的步驟，從百度隨機(jī)爬取100 張瓢蟲的圖片和100 張其他的圖片，將100 張瓢蟲的圖片導(dǎo)入到目標(biāo)神經(jīng)網(wǎng)絡(luò)中，有90 張被分類為瓢蟲標(biāo)簽，10 張被分類為其他標(biāo)簽，此時(shí)，加上目標(biāo)圖片，共有91 張瓢蟲的圖片和110 張其他圖片，經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像等方法，將數(shù)量擴(kuò)充至5 倍，搭建二分類神經(jīng)網(wǎng)絡(luò)來訓(xùn)練數(shù)據(jù)。

選擇指定分類圖片o′為金毛獵犬（golden retriever）圖片，通過2.3 節(jié)中的方法進(jìn)行加權(quán)并按照從第1 幅到第7 幅的順序調(diào)用M-DI2-FGSM 算法計(jì)算交叉熵?fù)p失的梯度來多次疊加對(duì)抗樣本，設(shè)定p值為10，同時(shí)將每一步的對(duì)抗樣本經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像擴(kuò)充后作為數(shù)據(jù)集增量訓(xùn)練二分類神經(jīng)網(wǎng)絡(luò)。經(jīng)過計(jì)算，在第5 個(gè)加權(quán)圖片中的第2 次疊加后，找到了合適的初始樣本，此時(shí)對(duì)抗樣本被識(shí)別為金毛獵犬，此時(shí)已經(jīng)對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)查詢了（100+40+2）次。

將新的對(duì)抗樣本輸入到邊界攻擊程序中，作為起始樣本來進(jìn)行下一步處理，具體攻擊過程如圖8所示。從圖8 可以看出，當(dāng)對(duì)抗樣本與目標(biāo)圖片之間的均方誤差約為1.08e+3 時(shí)，共對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)查詢了（20 537+100+19+40+2）次，此時(shí)肉眼已難以區(qū)分對(duì)抗樣本和目標(biāo)圖片之間的差異。對(duì)比初始樣本為隨機(jī)干擾圖片的有目標(biāo)攻擊過程，當(dāng)對(duì)抗樣本與目標(biāo)圖片之間的均方誤差約為1.08e+3 時(shí)，共查詢了25 058 次。

圖8 更改初始樣本后的有目標(biāo)攻擊過程Fig.8 Target attack process after changing initial sample

顯然，更改初始樣本后有目標(biāo)黑盒攻擊過程中對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)顯著降低，大約降低了4 360 次，節(jié)省了17%的查詢次數(shù)，同時(shí)，經(jīng)過簡(jiǎn)單測(cè)算，獲得初始樣本的過程耗時(shí)（包括爬取圖片、查詢圖片、擴(kuò)充數(shù)據(jù)集、訓(xùn)練和增量訓(xùn)練網(wǎng)絡(luò)、加權(quán)圖像、調(diào)用M-DI2-FGSM 算法疊加對(duì)抗樣本）不超過原來的黑盒攻擊查詢4 360 次所耗費(fèi)的時(shí)間，因此，有目標(biāo)黑盒攻擊算法計(jì)算所需時(shí)間也在可控范圍內(nèi)。

4 結(jié)束語

本文在基于決策的黑盒攻擊算法的基礎(chǔ)上，提出一種基于模型間遷移性的黑盒對(duì)抗攻擊起點(diǎn)提升方法。利用模型的遷移性來循環(huán)疊加干擾圖像，確定新的初始樣本，提高基于決策攻擊的起點(diǎn)，降低查詢次數(shù)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法時(shí)間復(fù)雜度低，生成對(duì)抗樣本耗時(shí)短，使得對(duì)抗攻擊更有效、更穩(wěn)健、更難以被察覺。本文設(shè)計(jì)的對(duì)抗樣本可以作為神經(jīng)網(wǎng)絡(luò)魯棒性的評(píng)估標(biāo)準(zhǔn)，進(jìn)一步擴(kuò)展神經(jīng)網(wǎng)絡(luò)對(duì)抗防御的思路，提高神經(jīng)網(wǎng)絡(luò)模型的穩(wěn)健性。下一步將針對(duì)邊界攻擊的過程算法進(jìn)行優(yōu)化，采用新的方法估計(jì)梯度方向，對(duì)分類邊界進(jìn)行優(yōu)化搜索，盡可能減少整體的查詢時(shí)間，提高攻擊效率。