深度神經(jīng)網(wǎng)絡(luò)中的后門(mén)攻擊與防御技術(shù)綜述

錢(qián)漢偉，孫偉松

1.江蘇警官學(xué)院 計(jì)算機(jī)信息與網(wǎng)絡(luò)安全系，南京210031

2.南京大學(xué) 軟件學(xué)院，南京210093

軟件程序中，后門(mén)攻擊是指繞過(guò)軟件的安全性控制，從比較隱秘的通道獲取對(duì)程序或系統(tǒng)訪問(wèn)權(quán)的黑客方法。隨著深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域的廣泛應(yīng)用，其后門(mén)攻擊等安全問(wèn)題也開(kāi)始凸顯。深度神經(jīng)網(wǎng)絡(luò)后門(mén)攻擊實(shí)質(zhì)上是通過(guò)對(duì)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的樣本中混入有毒樣本或者直接對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行修改，將“后門(mén)”植入在模型中，使修改后的中毒模型對(duì)含有觸發(fā)器的輸入敏感。中毒模型對(duì)于良性樣本的輸入行為正常或者沒(méi)有顯著變化，而當(dāng)輸入包含觸發(fā)器特征的樣本時(shí)，模型的推理則會(huì)出現(xiàn)攻擊者預(yù)期的錯(cuò)誤行為。如以基于深度神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別系統(tǒng)為例，中毒模型在識(shí)別普通人臉時(shí)能夠正常工作，但是當(dāng)用戶(hù)臉部帶有彩色眼鏡等特定觸發(fā)器時(shí)，模型會(huì)將普通用戶(hù)誤識(shí)別成管理員用戶(hù)。

深度神經(jīng)網(wǎng)絡(luò)后門(mén)植入得很隱蔽，以及神經(jīng)網(wǎng)絡(luò)模型本身的不可解釋性導(dǎo)致后門(mén)攻擊防御困難。近幾年，深度神經(jīng)網(wǎng)絡(luò)后門(mén)攻擊和防御已成為研究熱點(diǎn)。目前已有論文對(duì)現(xiàn)有深度神經(jīng)網(wǎng)絡(luò)后門(mén)總結(jié)與分類(lèi)中，或者側(cè)重于論述某一方面的研究，或者只關(guān)注實(shí)施攻擊防御的實(shí)驗(yàn)技術(shù)方法。Goldblum等人[1]總結(jié)了數(shù)據(jù)中毒的后門(mén)攻擊防御方法及其分類(lèi)，但是并未討論其他類(lèi)型的后門(mén)攻擊。Kaviani 等人[2]更加關(guān)注如何防御機(jī)器學(xué)習(xí)即服務(wù)（machine learning as a service，MLaaS）場(chǎng)景中神經(jīng)網(wǎng)絡(luò)被篡改的特洛伊木馬攻擊。Liu等人[3]介紹了數(shù)據(jù)中毒、訓(xùn)練算法和二進(jìn)制層次等三類(lèi)攻擊防御方法，他們選取了有限幾項(xiàng)工作，討論還不夠充分。Li等人[4]和Gao等人[5]系統(tǒng)介紹了近年來(lái)后門(mén)攻擊和防御的工作，并對(duì)攻擊防御方法按照技術(shù)類(lèi)型做了分類(lèi)，但是他們對(duì)后門(mén)攻擊和防御內(nèi)在的原理和機(jī)制缺乏更深入的關(guān)注和探討。

本文對(duì)現(xiàn)有攻擊和防御方法進(jìn)行全面的回顧，以攻擊對(duì)象作為主要分類(lèi)依據(jù)，從攻防對(duì)抗的角度對(duì)現(xiàn)有后門(mén)攻擊和防御的技術(shù)進(jìn)行歸納總結(jié)，同時(shí)將從神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)原理、深度學(xué)習(xí)可視化角度探討深度神經(jīng)網(wǎng)絡(luò)后門(mén)缺陷產(chǎn)生的原因，從軟件工程、程序分析等多個(gè)角度探討深度神經(jīng)網(wǎng)絡(luò)后門(mén)攻擊和防御的困難以及未來(lái)發(fā)展方向。盡管深度神經(jīng)網(wǎng)絡(luò)的后門(mén)攻擊和防御已經(jīng)在自然語(yǔ)言處理[6-8]、音頻[9-10]、強(qiáng)化學(xué)習(xí)[11-13]、圖神經(jīng)網(wǎng)絡(luò)[14]等領(lǐng)域有了很多的研究進(jìn)展，但是圖像分類(lèi)任務(wù)仍然是當(dāng)前深度神經(jīng)網(wǎng)絡(luò)后門(mén)攻擊和防御領(lǐng)域最主要的研究焦點(diǎn)，也是本文重點(diǎn)關(guān)注的內(nèi)容。

1 基本概念和原理

1.1 基本概念

本節(jié)主要介紹三個(gè)與深度神經(jīng)網(wǎng)絡(luò)后門(mén)相關(guān)的概念，包括后門(mén)觸發(fā)器、有毒樣本和中毒模型等。

后門(mén)觸發(fā)器（backdoor trigger）是指能夠使模型造成誤判的特殊輸入，這種特殊輸入通常是完整輸入的部分。在正常輸入上附加觸發(fā)器,可以使模型將本來(lái)應(yīng)該能夠正確分類(lèi)的樣本誤判成為指定的類(lèi)別。觸發(fā)器一般可以通過(guò)隨機(jī)方法或者優(yōu)化方法生成[15]。隨機(jī)方法搜索的空間過(guò)于龐大，計(jì)算成本太高，因此優(yōu)化方法更常使用。優(yōu)化方法的目標(biāo)是最大化模型輸出，同時(shí)最小化樣本特征的改變，通常采用的技術(shù)是梯度下降法[16]。另一類(lèi)基于雅可比矩陣的優(yōu)化方法[17]是找出對(duì)模型輸出影響最大的輸入進(jìn)行改變，從而實(shí)現(xiàn)樣本空間跨越模型分類(lèi)邊界，也經(jīng)常用于對(duì)抗樣本的生成。

有毒樣本（poisoned sample）是指包含后門(mén)觸發(fā)器的惡意樣本。良性樣本（benign sample）是指用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的正常樣本。源標(biāo)簽表示樣品的真實(shí)標(biāo)簽（ground truth）。目標(biāo)標(biāo)簽是攻擊者指定的標(biāo)簽。良性數(shù)據(jù)準(zhǔn)確率（clean data accuracy，CDA）是良性樣本成功預(yù)測(cè)為真實(shí)標(biāo)簽的正確率[18]，攻擊成功率（attack success rate，ASR）表示被中毒模型成功預(yù)測(cè)為目標(biāo)標(biāo)簽的被攻擊樣本的比例。一般認(rèn)為，可以從良性數(shù)據(jù)準(zhǔn)確率、攻擊成功率、隱蔽性（stealthiness）、有毒樣本率和計(jì)算成本等維度評(píng)估后門(mén)攻擊的成功程度，但是有時(shí)幾種指標(biāo)難以兼顧，如一般來(lái)說(shuō)有毒樣本率越高，攻擊成功率越高，但是有毒樣本率高會(huì)導(dǎo)致有毒樣本更容易被發(fā)現(xiàn)，隱蔽性就減弱了。中毒模型（poisoned model）是指帶有隱藏后門(mén)的深度神經(jīng)網(wǎng)絡(luò)模型。

1.2 后門(mén)產(chǎn)生原因的解釋

后門(mén)攻擊是利用深度神經(jīng)網(wǎng)絡(luò)的過(guò)擬合能力，通過(guò)訓(xùn)練、調(diào)參等方法使其學(xué)習(xí)觸發(fā)器的特征，在觸發(fā)器和目標(biāo)標(biāo)簽之間建立潛在的聯(lián)系。這種聯(lián)系往往具有隱蔽性，圖片分類(lèi)任務(wù)中人類(lèi)往往并不能有效識(shí)別含有觸發(fā)器的圖片，但是深度神經(jīng)網(wǎng)絡(luò)對(duì)觸發(fā)器非常敏感。Ma等人[19]認(rèn)為深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)是從高維度的外部世界識(shí)別出通用的低維度的結(jié)構(gòu)，用緊湊的方式將它們準(zhǔn)確地存儲(chǔ)下來(lái)。深度神經(jīng)網(wǎng)絡(luò)模型擅長(zhǎng)處理高維數(shù)據(jù)，然而人類(lèi)并不能觀察到高維數(shù)據(jù)中顯著的特征，使得模型和人類(lèi)行為出現(xiàn)一些差異的結(jié)果。后門(mén)攻擊者利用深度神經(jīng)網(wǎng)絡(luò)的過(guò)度學(xué)習(xí)能力在觸發(fā)模式和目標(biāo)標(biāo)簽之間建立潛在的聯(lián)系，并不能被人類(lèi)直觀覺(jué)察和理解。Simonyan等人[20]提出通過(guò)顯著圖（saliency map）觀察每個(gè)像素點(diǎn)對(duì)應(yīng)的重要度的信息，即圖像中的像素點(diǎn)對(duì)圖像分類(lèi)結(jié)果的影響，并分析了不同圖像的顯著圖的特征。如圖1 展示的深度神經(jīng)網(wǎng)絡(luò)中動(dòng)物及其對(duì)應(yīng)顯著圖[20]，可以看出動(dòng)物所在圖片的位置顯著度會(huì)高于其他地方，但是更多的情況是人類(lèi)無(wú)法精確知道圖片分類(lèi)提取的是什么特征。

圖1 動(dòng)物圖片的顯著圖Fig.1 Salient map of images with animals

根據(jù)流形假設(shè)，自然數(shù)據(jù)在其嵌入空間中形成低維流形。Olah[21]認(rèn)為分類(lèi)算法的任務(wù)就可以歸結(jié)為找出一組超平面分離一組互相糾纏的流形。一個(gè)類(lèi)完全包圍了另一個(gè)類(lèi)，要分離n維的流形，就需要更高維度的空間，Whitney證明了所有的n維流形都可以用2n個(gè)維度分離。實(shí)際上，深度神經(jīng)網(wǎng)絡(luò)模型更傾向加深神經(jīng)網(wǎng)絡(luò)層數(shù)而不是每層隱藏神經(jīng)元的個(gè)數(shù)。由于數(shù)據(jù)噪音等各種因素的影響，深度神經(jīng)網(wǎng)絡(luò)在分類(lèi)任務(wù)上的精度很少達(dá)到100%。如圖2所示二維空間中[21]，藍(lán)色的A類(lèi)數(shù)據(jù)完全包圍紅色B類(lèi)數(shù)據(jù)，無(wú)論分割線怎么旋轉(zhuǎn)、移動(dòng)，都無(wú)法完全地分隔A和B兩類(lèi)數(shù)據(jù)，只能實(shí)現(xiàn)一個(gè)局部最小值，達(dá)到相對(duì)較高的分類(lèi)精度。Ilyas 等人[22]認(rèn)為是數(shù)據(jù)本身特征而不是模型會(huì)造成誤判，這也同樣支持了上述的觀點(diǎn)。對(duì)抗攻擊任務(wù)可能是找出不同類(lèi)別數(shù)據(jù)邊界的過(guò)程，在邊界區(qū)域輕微的擾動(dòng)都會(huì)造成分類(lèi)的錯(cuò)誤。當(dāng)前更加隱蔽的語(yǔ)義攻擊等后門(mén)攻擊則可能是找出會(huì)將源標(biāo)簽誤判為目標(biāo)標(biāo)簽的分類(lèi)邊界數(shù)據(jù)區(qū)域。

圖2 數(shù)據(jù)分類(lèi)任務(wù)可視化Fig.2 Data classification task visualization

1.3 后門(mén)攻擊的場(chǎng)景

深度神經(jīng)網(wǎng)絡(luò)攻擊一般發(fā)生在訓(xùn)練數(shù)據(jù)收集、訓(xùn)練外包、遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等場(chǎng)景中。大量眾包數(shù)據(jù)集是當(dāng)前人工智能行業(yè)的特點(diǎn)，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，用戶(hù)通常會(huì)收集多個(gè)公開(kāi)來(lái)源的數(shù)據(jù)集，如ImageNet[23]等。攻擊者可以偷偷地將少量有毒樣本注入訓(xùn)練集而不被發(fā)現(xiàn)。龐大數(shù)據(jù)集數(shù)量使得清理或監(jiān)控有毒數(shù)據(jù)集是一件極其困難的事情。

訓(xùn)練外包場(chǎng)景中受害者沒(méi)有足夠的計(jì)算能力，需要把數(shù)據(jù)和模型全部交給機(jī)器學(xué)習(xí)即服務(wù)，攻擊者控制了訓(xùn)練階段，對(duì)訓(xùn)練數(shù)據(jù)和模型具有完全的訪問(wèn)權(quán)限，在訓(xùn)練過(guò)程中對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行后門(mén)植入。一般而言，此時(shí)攻擊者有具有最健壯的觸發(fā)器控制和最高的攻擊成功率。與此相對(duì)，受害者在此場(chǎng)景下防御能力最低。深度神經(jīng)網(wǎng)絡(luò)模型存儲(chǔ)在供應(yīng)商或傳輸給用戶(hù)時(shí)也有直接被篡改的可能。

用戶(hù)通過(guò)遷移學(xué)習(xí)創(chuàng)建自己的深度學(xué)習(xí)模型的場(chǎng)景也較為普遍。攻擊者發(fā)布有毒預(yù)訓(xùn)練模型或者在公開(kāi)預(yù)訓(xùn)練（如GPT-3[24]）模型植入后門(mén)。當(dāng)用戶(hù)獲取有毒模型，針對(duì)新的用例對(duì)其再訓(xùn)練進(jìn)行微調(diào)（fine-tune）時(shí)，后門(mén)也可以在目標(biāo)深度神經(jīng)網(wǎng)絡(luò)模型中持續(xù)存在。

聯(lián)邦學(xué)習(xí)構(gòu)造了一個(gè)能使多個(gè)參與者共同訓(xùn)練模型的框架。他們?cè)诩用軘?shù)據(jù)上訓(xùn)練模型，以保護(hù)數(shù)據(jù)隱私。攻擊者可以很容易地將本地訓(xùn)練的有毒數(shù)據(jù)提交服務(wù)器，而服務(wù)器不可能檢查數(shù)據(jù)是否中毒。因此聯(lián)邦學(xué)習(xí)很容易受到后門(mén)攻擊。

1.4 后門(mén)攻擊和防御的分類(lèi)

深度神經(jīng)網(wǎng)絡(luò)的后門(mén)攻擊手段和方法多種多樣，分類(lèi)方法也很多。根據(jù)觸發(fā)器是否放置在固定位置的固定模式分為靜態(tài)觸發(fā)器和動(dòng)態(tài)觸發(fā)器，根據(jù)觸發(fā)器是否可見(jiàn)分為可見(jiàn)攻擊和不可見(jiàn)攻擊，根據(jù)觸發(fā)器的選擇分為優(yōu)化攻擊和非優(yōu)化攻擊。根據(jù)是否可以訪問(wèn)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，分為白盒和黑盒攻擊，根據(jù)攻擊發(fā)生的場(chǎng)景分為數(shù)字攻擊和物理攻擊，根據(jù)有毒樣本是否具有相同目標(biāo)標(biāo)簽分為多對(duì)一（all to one）攻擊和多對(duì)多（all to all）攻擊。采用了具體技術(shù)作為分類(lèi)標(biāo)準(zhǔn)有時(shí)存在一定的局限性，如可見(jiàn)觸發(fā)器和不可見(jiàn)觸發(fā)器的分類(lèi)，實(shí)際上隨著對(duì)后門(mén)攻擊隱蔽性要求不斷的提高，觸發(fā)器大多數(shù)存在于早期的文獻(xiàn)中，近期研究中幾乎很少使用。

本文采用按照攻擊對(duì)象的分類(lèi)方法，訓(xùn)練數(shù)據(jù)集和模型是深度神經(jīng)網(wǎng)絡(luò)中兩類(lèi)最重要的對(duì)象，攻擊者可以分別發(fā)起數(shù)據(jù)中毒（data poisoning）和中毒模型的后門(mén)攻擊。這部分內(nèi)容將分別在2.1 節(jié)和2.3節(jié)討論。雖然針對(duì)物理世界的攻擊的對(duì)象仍然是訓(xùn)練數(shù)據(jù)集，但是針對(duì)物理世界的攻擊有著顯著不同的特點(diǎn)，危害性更大，相關(guān)研究較多，因此單獨(dú)在2.2節(jié)討論。其他的攻擊場(chǎng)景和方法將在2.3節(jié)中討論，如遷移學(xué)習(xí)攻擊是利用中毒預(yù)訓(xùn)練模型后門(mén)的可移植性特點(diǎn)，但是中毒的預(yù)訓(xùn)練模型本身仍然是通過(guò)2.1 節(jié)和2.2 節(jié)的方法得到的。后門(mén)攻擊中主要攻擊對(duì)象及方法如表1所示。

表1 主要攻擊對(duì)象及方法Table 1 Primary attack objects and methods

從防御角度來(lái)說(shuō)，手段通常包括識(shí)別有毒訓(xùn)練數(shù)據(jù)、識(shí)別中毒模型、過(guò)濾攻擊測(cè)試數(shù)據(jù)和提高模型健壯性等方法，如表2 所示。針對(duì)訓(xùn)練數(shù)據(jù)集的攻擊，訓(xùn)練數(shù)據(jù)集中包含部分有毒數(shù)據(jù)樣本，防御方法是從訓(xùn)練數(shù)據(jù)集中識(shí)別和刪除有毒數(shù)據(jù)樣本。該方法將在3.1節(jié)具體討論。相對(duì)應(yīng)的，針對(duì)訓(xùn)練模型的攻擊，假設(shè)中毒模型跟其他正常模型不一樣，一個(gè)很自然想到的防御方法是識(shí)別中毒模型，該方法將在3.3 節(jié)討論。從觸發(fā)器和中毒模型的關(guān)系角度來(lái)說(shuō)，觸發(fā)器相當(dāng)于鑰匙，中毒模型是門(mén)，中毒模型只對(duì)特定的觸發(fā)器有效，因此另一類(lèi)防御方法是在推理階段過(guò)濾攻擊數(shù)據(jù)，識(shí)別含有特定觸發(fā)器的輸入并將其去除。該方法將在3.2 節(jié)具體討論。其他的一些防御方法，如通過(guò)加入隨機(jī)噪音破壞觸發(fā)器特征，將在3.4節(jié)中討論。

表2 主要防御方法及對(duì)應(yīng)攻擊方法Table 2 Primary defenses and corresponding attacks

2 后門(mén)攻擊方法

2.1 針對(duì)訓(xùn)練數(shù)據(jù)集的后門(mén)攻擊

基于訓(xùn)練數(shù)據(jù)集的后門(mén)攻擊是在訓(xùn)練數(shù)據(jù)集混入事先設(shè)計(jì)的有毒樣本，在模型訓(xùn)練完成后遇到特定的觸發(fā)器時(shí)，有毒模型會(huì)把有毒樣本識(shí)別成目標(biāo)標(biāo)簽。

Gu等人提出的BadNets[25]是可見(jiàn)攻擊的代表，他們選擇一部分良性樣本，增加一個(gè)給定的觸發(fā)器，比如補(bǔ)丁塊，并將其標(biāo)注標(biāo)簽（ground-truth）替換為目標(biāo)標(biāo)簽，形成有毒樣本。使用良性樣本和有毒樣本混合數(shù)據(jù)集來(lái)訓(xùn)練受害者的模型。訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)將被中毒，它在良性樣本上表現(xiàn)良好，類(lèi)似于僅使用良性樣本訓(xùn)練的模型。如果被攻擊的圖像中包含相同的觸發(fā)器，那么它的預(yù)測(cè)將被更改為目標(biāo)標(biāo)簽。實(shí)際上，后續(xù)基于數(shù)據(jù)中毒攻擊的相關(guān)工作都是基于該方法進(jìn)行。

BadNets通過(guò)補(bǔ)丁（stamping）方式來(lái)生成有毒樣本，很容易被人類(lèi)發(fā)現(xiàn)。Chen 等人[26]提出了一種混合注入策略（blended injection strategy），通過(guò)將后門(mén)觸發(fā)器與良性樣本圖像混合，有毒的圖像應(yīng)該與它的良性版本難以區(qū)分，以逃避人類(lèi)的檢查。他們的研究表明即使采用一個(gè)微小量級(jí)的隨機(jī)噪聲作為后門(mén)觸發(fā)器，仍然可以成功地創(chuàng)建后門(mén)，這進(jìn)一步降低了被發(fā)現(xiàn)的風(fēng)險(xiǎn)。

大多數(shù)關(guān)于后門(mén)攻擊的工作都需要向訓(xùn)練集中添加錯(cuò)誤標(biāo)簽的有毒樣本，即使擾動(dòng)是不可見(jiàn)的，但是有毒樣本還是很可能被發(fā)現(xiàn)，因?yàn)橛卸緲颖镜臉?biāo)簽與地面真實(shí)標(biāo)簽不匹配。Turner 等人[27]提出了標(biāo)簽一致（label-consistent）攻擊，降低有毒樣本被發(fā)現(xiàn)的可能性。他們利用對(duì)抗性擾動(dòng)或生成模型修改來(lái)自目標(biāo)類(lèi)的一些良性圖像，減輕中毒樣本中包含的“魯棒特征”的影響，然后在圖像中增加觸發(fā)器進(jìn)行攻擊。清潔標(biāo)簽（clean-label）攻擊[28]保留了有毒數(shù)據(jù)的標(biāo)簽，被篡改的圖像看起來(lái)仍然像一個(gè)良性樣本，比如魚(yú)的圖像已經(jīng)被中毒，而它的潛在特征卻代表了一只狗。清潔標(biāo)簽攻擊實(shí)際上利用特征碰撞，有毒樣本中魚(yú)的圖像在輸入空間或像素級(jí)別仍然看起來(lái)像魚(yú)實(shí)例，但是當(dāng)特征更抽象時(shí)，如經(jīng)過(guò)多個(gè)卷積層抽象之后形成的圖像，它在潛在特征空間中接近目標(biāo)狗實(shí)例狗。后續(xù)工作的有效性不是通過(guò)特征碰撞攻擊，而是分別利用凸多邊形攻擊（convex polytope attack）[29]和二層優(yōu)化問(wèn)題（bilevel optimization problem）[30]來(lái)生成有毒清潔標(biāo)簽樣本。

反射后門(mén)攻擊[31]的觸發(fā)器的圖像更像是玻璃或光滑的表面反射這種常見(jiàn)的自然現(xiàn)象。反射后門(mén)是根據(jù)自然反射現(xiàn)象制作的，因此不需要故意錯(cuò)誤標(biāo)記有毒樣本，也不需要依賴(lài)明顯補(bǔ)丁、水印或可疑的條紋。因此，反射后門(mén)攻擊更加隱蔽、有效且難以消除，但是這種方法的缺點(diǎn)是訓(xùn)練數(shù)據(jù)中有毒樣本的比例需要很高。

復(fù)合攻擊[32]是一種更靈活、更隱蔽的后門(mén)攻擊，有毒樣本圖像與良性樣本圖像完全相同。它使用由多個(gè)標(biāo)簽的現(xiàn)有良性特征組成的觸發(fā)器來(lái)躲避后門(mén)掃描器。感染復(fù)合攻擊后門(mén)的深度神經(jīng)網(wǎng)絡(luò)可以在良性樣本上達(dá)到與其未中毒模型相當(dāng)?shù)木龋钱?dāng)輸入中存在復(fù)合觸發(fā)器時(shí)會(huì)錯(cuò)誤分類(lèi)。比如，復(fù)合觸發(fā)器是“鳥(niǎo)”和“人”的兩個(gè)語(yǔ)義對(duì)象的組合，同時(shí)包含這些物體的圖像將被受感染的模型歸類(lèi)為“汽車(chē)”，觸發(fā)器是語(yǔ)義和動(dòng)態(tài)的，因此復(fù)合攻擊也稱(chēng)為語(yǔ)義攻擊。

原始圖像通常比深度神經(jīng)網(wǎng)絡(luò)模型輸入大小大得多，因此深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中必須通過(guò)下采樣來(lái)調(diào)整原始圖像大小。Xiao等人提出了圖像縮放攻擊（image-scaling attack）[33]，有毒樣本巧妙地嵌入到原始大尺寸原始圖像中。如圖3所示，攻擊者通過(guò)濫用resize()函數(shù)將“狼”圖像巧妙地嵌入到“羊”圖像中。當(dāng)下采樣濾波器調(diào)整攻擊有毒圖像樣本大小時(shí)，“綿羊”像素被丟棄，并呈現(xiàn)模型看到的“狼”圖像。

圖3 圖像縮放攻擊Fig.3 Image-scaling attack

2.2 針對(duì)物理世界的攻擊

針對(duì)物理世界的攻擊主要方式仍然是針對(duì)訓(xùn)練數(shù)據(jù)集的攻擊，但是物理攻擊中樣本圖像來(lái)自于相機(jī)從物理空間捕獲的畫(huà)面。一方面，擾動(dòng)的相鄰像素之間的極端差異不太可能被相機(jī)準(zhǔn)確捕捉到，數(shù)字攻擊中微小擾動(dòng)的不可見(jiàn)觸發(fā)器可能不再有效。攝像頭捕捉圖像時(shí)的亮度、噪聲、角度和距離經(jīng)常會(huì)發(fā)生變化，物理攻擊需要?jiǎng)討B(tài)觸發(fā)器在巨大的變化下具有持續(xù)的有效性。另一方面，數(shù)字攻擊可以使用不易察覺(jué)的擾動(dòng)，而物理攻擊可以選擇使用可察覺(jué)但不明顯的觸發(fā)器，如自然附件觸發(fā)、面部表情、自然反射現(xiàn)象。各種各樣的自然觸發(fā)因素，可能會(huì)被優(yōu)先用于物理攻擊。物理世界攻擊的觸發(fā)器設(shè)計(jì)等方面特點(diǎn)，使得物理世界攻擊存在相對(duì)獨(dú)特的地方。

Chen 等人[26]首次探討了物理后門(mén)攻擊，他們采用一副眼鏡作為物理觸發(fā)器來(lái)誤導(dǎo)相機(jī)中的中毒的面部識(shí)別系統(tǒng)模型。他們的實(shí)驗(yàn)表明在最好情況下，以真實(shí)的太陽(yáng)鏡為觸發(fā)器，只需注入40個(gè)有毒樣本即可達(dá)到100%的攻擊成功率，其他情況則相對(duì)較差。當(dāng)使用不同人的照片作為后門(mén)時(shí)，攻擊的有效性是不同的。為了進(jìn)一步提高物理攻擊的有效性，Sharif等人[34]開(kāi)發(fā)了一種系統(tǒng)的方法來(lái)自動(dòng)生成這種攻擊，通過(guò)打印一副眼鏡框架來(lái)實(shí)現(xiàn)，如圖4（a）。攻擊者的圖像被提供給被中毒的人臉識(shí)別深度神經(jīng)網(wǎng)絡(luò)模型，戴上這款眼鏡后，攻擊者可以逃避識(shí)別或被系統(tǒng)誤判為他人，如圖4（b）被錯(cuò)誤地識(shí)別為圖4（c）。

圖4 人臉識(shí)別系統(tǒng)后門(mén)攻擊Fig.4 Backdoor attack on face recognition system

Eykholt等人[35]提出了一種通用的魯棒物理擾動(dòng)（robust physical perturbations）攻擊算法，在不同的物理?xiàng)l件下產(chǎn)生魯棒的視覺(jué)對(duì)抗擾動(dòng)。他們使用真實(shí)世界的路標(biāo)分類(lèi)案例，在只有黑白貼圖的情況下，攻擊一個(gè)真實(shí)的停車(chē)標(biāo)志，在實(shí)驗(yàn)室設(shè)置中獲得的100%的圖像中造成目標(biāo)誤分類(lèi)，在目標(biāo)分類(lèi)器獲得的運(yùn)動(dòng)車(chē)輛（現(xiàn)場(chǎng)測(cè)試）上的84.8%的視頻幀中造成目標(biāo)誤分類(lèi)。Li 等人[36]分析了物理攻擊中旋轉(zhuǎn)和收縮等轉(zhuǎn)換會(huì)改變受攻擊樣本中觸發(fā)器的位置和外觀，提出了一種基于轉(zhuǎn)換的攻擊增強(qiáng)，使增強(qiáng)的攻擊在物理世界中仍然有效。Salem等人[37]系統(tǒng)地研究了動(dòng)態(tài)觸發(fā)器的實(shí)用性，利用生成對(duì)抗模型算法生成觸發(fā)器，利用不同觸發(fā)模式劫持具有相似潛在表征和位置的相同標(biāo)簽，以方便后門(mén)。

2.3 針對(duì)深度神經(jīng)網(wǎng)絡(luò)模型的后門(mén)攻擊

Dumford 等人[38]提出了面向深度神經(jīng)網(wǎng)絡(luò)權(quán)重的攻擊，假設(shè)攻擊者可以通過(guò)某種方式訪問(wèn)駐留在主機(jī)文件存儲(chǔ)系統(tǒng)或內(nèi)存中的模型，采用貪婪搜索，對(duì)預(yù)先訓(xùn)練的模型的權(quán)重施加不同的擾動(dòng)。由于要對(duì)被篡改的權(quán)重進(jìn)行廣泛的迭代搜索，要實(shí)現(xiàn)良好的攻擊成功率計(jì)算成本非常高，但是這是第一次直接修改深度神經(jīng)網(wǎng)絡(luò)權(quán)重嘗試了后門(mén)操作的可能性。

Rakin 等人[39]提出了修改權(quán)重比特位的后門(mén)攻擊，它會(huì)翻轉(zhuǎn)存儲(chǔ)在內(nèi)存中的關(guān)鍵權(quán)重位。為了確定需要翻轉(zhuǎn)哪些位，使用梯度排序方法找到對(duì)目標(biāo)類(lèi)的輸出影響最大的最后一層神經(jīng)元。攻擊者能夠在ResNet-18[40]的8 800 萬(wàn)權(quán)重位中進(jìn)行84 位翻轉(zhuǎn)就實(shí)現(xiàn)后門(mén)效果。Chen等人的研究[41]中攻擊者可以進(jìn)一步顯著減少嵌入隱藏后門(mén)所需的翻轉(zhuǎn)位。

Tang 等人[42]提出了一種插入后門(mén)子模塊的攻擊。他們訓(xùn)練一個(gè)惡意深度神經(jīng)網(wǎng)絡(luò)子模塊，當(dāng)將良性樣本輸入到中毒模型時(shí)，該子模塊將輸出一個(gè)全零向量，而攻擊者指定的觸發(fā)器可以激活相應(yīng)的后門(mén)神經(jīng)元。攻擊時(shí)，他們將訓(xùn)練好的有毒深度神經(jīng)網(wǎng)絡(luò)子模塊插入任意的目標(biāo)受害者模型。該攻擊簡(jiǎn)單有效，有毒模塊可以與所有深度神經(jīng)網(wǎng)絡(luò)模塊組合。Li等人[43]也探討了類(lèi)似的想法，攻擊者利用一組逆向工程技術(shù)反編譯深度學(xué)習(xí)模型，修改神經(jīng)網(wǎng)絡(luò)條件分支，將惡意條件邏輯嵌入到目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中。由于不需要原始模型的任何先驗(yàn)知識(shí)，條件邏輯可以由攻擊者靈活定制擴(kuò)展，因此該攻擊簡(jiǎn)單有效。

2.4 其他攻擊方法

攻擊者在不能訪問(wèn)訓(xùn)練數(shù)據(jù)集和訓(xùn)練模型的情況下，一般采用黑盒攻擊的方法對(duì)模型發(fā)起攻擊。攻擊者首先會(huì)生成一些替代訓(xùn)練樣本。文獻(xiàn)[44]中，攻擊者通過(guò)優(yōu)化從另一個(gè)數(shù)據(jù)集初始化的圖像，生成每個(gè)類(lèi)的一些代表性圖像，使所選類(lèi)的預(yù)測(cè)置信度達(dá)到最大值。Liu等人[45]訓(xùn)練代理模型使其與受害者模型的特征表示相似，結(jié)果表明對(duì)代理模型的有效攻擊對(duì)受害者模型攻擊也有一定的效果。Quiring 等人[46]提出的縮放攻擊，縮放偽裝可以被有效且隱秘地利用以在黑盒設(shè)置下進(jìn)行后門(mén)攻擊，它不需要控制標(biāo)簽過(guò)程，也可以用作黑盒攻擊。黑盒攻擊比白盒攻擊更接近真實(shí)情況，攻擊難度更大，目前這部分工作也不多。

遷移學(xué)習(xí)攻擊中[47-48]，攻擊者通過(guò)有毒樣本的數(shù)據(jù)在模型中植入后門(mén)，并將有毒的模型發(fā)布到模型市場(chǎng)。攻擊者也有可能直接篡改公開(kāi)發(fā)布的預(yù)訓(xùn)練模型。當(dāng)用戶(hù)使用有毒的預(yù)訓(xùn)練模型訓(xùn)練新模型時(shí)可能存在后門(mén)。自然語(yǔ)言處理領(lǐng)域有更多的預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型，因此自然語(yǔ)言處理領(lǐng)域更容易出現(xiàn)遷移學(xué)習(xí)攻擊[49]。

聯(lián)邦學(xué)習(xí)的固有特性可能使得后門(mén)攻擊引起嚴(yán)重的安全問(wèn)題，惡意的參與者可以上傳有毒的更新，將后門(mén)功能引入到全局模型中。訓(xùn)練數(shù)據(jù)中毒攻擊和模型中毒攻擊對(duì)聯(lián)邦學(xué)習(xí)仍然有效。在聯(lián)邦學(xué)習(xí)的訓(xùn)練數(shù)據(jù)中毒攻擊場(chǎng)景中，更多的挑戰(zhàn)是來(lái)自正常參與者的良性更新會(huì)稀釋后門(mén)在后續(xù)訓(xùn)練過(guò)程中的作用[50]。聯(lián)邦學(xué)習(xí)的模型中毒攻擊通常會(huì)有一些自身的特點(diǎn)，比如攻擊只有在全局模型接近收斂時(shí)才有效[51]，需要構(gòu)造多個(gè)惡意的局部模型[52]。

3 后門(mén)攻擊的防御方法

3.1 識(shí)別有毒訓(xùn)練數(shù)據(jù)的防御方法

對(duì)于基于訓(xùn)練數(shù)據(jù)集的攻擊，最直接的防御方法是從有可能被中毒的訓(xùn)練數(shù)據(jù)集中識(shí)別和刪除有毒數(shù)據(jù)樣本。這種防御方法通常假設(shè)有毒樣本具備某一些異常的特征，可以使得有毒樣本與良性樣本區(qū)別開(kāi)來(lái)。例如，Tran等人[53]認(rèn)為有毒樣本的光譜特征（spectral signature）與良性樣本不同。他們把樣本按照標(biāo)簽進(jìn)行分類(lèi)，并記錄它們潛在表示（latent representation），再對(duì)潛在表示的協(xié)方差矩陣執(zhí)行奇異值分解，計(jì)算每個(gè)樣本的異常值分?jǐn)?shù)。他們發(fā)現(xiàn)得分高的樣本更有可能是有毒樣本，然后按照一定比例可以將有毒樣本從訓(xùn)練數(shù)據(jù)集中刪除。由于防御者通常無(wú)法事先知道有毒樣本的比例，比例的選擇是一件困難的事情。Chan等人[54]認(rèn)為有毒樣本在觸發(fā)器圖像位置處的梯度絕對(duì)值相對(duì)較大，因此可以使用聚類(lèi)算法將有毒樣本與良性樣本分離。Chen等人[55]提出了一種激活聚類(lèi)（activation clustering）方法。他們認(rèn)為深度神經(jīng)網(wǎng)絡(luò)最后一層隱藏層的激活值反映了模型用來(lái)做出決策的高級(jí)特征。因此可以收集每個(gè)樣本在該層的激活值，把屬于同一標(biāo)簽的激活值使用k-means聚類(lèi)算法將激活值分成兩個(gè)簇，從而識(shí)別出有毒樣本后將其刪除。Peri 等人[56]設(shè)計(jì)了一種深度k-NN方法來(lái)檢測(cè)有毒樣本，該方法可以有效地對(duì)抗特征碰撞和凸多面體干凈標(biāo)簽攻擊。

3.2 過(guò)濾攻擊數(shù)據(jù)的防御方法

模型訓(xùn)練階段，可以通過(guò)識(shí)別并刪除含有觸發(fā)器的有毒樣本，防止深度神經(jīng)網(wǎng)絡(luò)模型被中毒。與此相應(yīng)，在測(cè)試階段，過(guò)濾攻擊數(shù)據(jù)是一種有效的防御方法。過(guò)濾攻擊數(shù)據(jù)的方法通常引入一個(gè)預(yù)處理模塊，用于更改測(cè)試樣本中觸發(fā)器特征，修改后的觸發(fā)器不再匹配后門(mén)，從而抵御有毒樣本的攻擊。

Liu等人[57]提出了第一個(gè)基于預(yù)處理的后門(mén)防御方法。他們采用了預(yù)訓(xùn)練的自動(dòng)編碼器作為預(yù)處理器，使用支持向量機(jī)和決策樹(shù)算法將異常數(shù)據(jù)檢測(cè)出來(lái)。Doan 等人[58]提出了Februus 方法。Februus 使用GradCAM[59]視覺(jué)工具識(shí)別潛在的觸發(fā)器區(qū)域，然后將其移除并替換為中性灰色，防止觸發(fā)器激活后門(mén)。為了防止樣本部分區(qū)域信息丟失而導(dǎo)致模型在良性數(shù)據(jù)預(yù)測(cè)準(zhǔn)確率下降，他們進(jìn)一步使用基于GAN（generative adversarial network）[60]的圖像修復(fù)方法，使受損區(qū)域盡可能恢復(fù)到原始狀態(tài)。Villarreal-Vasquez 等人[61]提出ConFoc 預(yù)處理方法。ConFoc 強(qiáng)制模型專(zhuān)注于輸入圖像的內(nèi)容，通過(guò)重新生成風(fēng)格遷移的圖像丟棄可能被觸發(fā)器污染的樣本信息。圖像包含內(nèi)容和樣式信息。他們認(rèn)為根據(jù)圖片內(nèi)容進(jìn)行分類(lèi)與人類(lèi)行為比較相似，因此ConFoc 重新訓(xùn)練模型進(jìn)行分類(lèi)主要依靠?jī)?nèi)容信息。

Li 等人[62]針對(duì)靜態(tài)觸發(fā)器對(duì)外觀和位置等因素敏感的特點(diǎn)，提出對(duì)測(cè)試圖像采用收縮、翻轉(zhuǎn)等空間變換預(yù)處理進(jìn)行防御。Zeng等人[63]進(jìn)一步引入更多圖像變換預(yù)處理。測(cè)試樣本經(jīng)過(guò)預(yù)處理之后，靜態(tài)觸發(fā)器往往會(huì)失效。圖像縮放變換方法計(jì)算成本較低，因此預(yù)處理效率更高。

3.3 識(shí)別中毒模型的防御方法

Liu 等人[64]假設(shè)良性樣本和有毒樣本激活的神經(jīng)元是不同的且可分離的。他們提出根據(jù)深度神經(jīng)網(wǎng)絡(luò)神經(jīng)元在良性樣本上的激活情況進(jìn)行排序，并按激活最少的順序進(jìn)行修剪，可以降低模型對(duì)觸發(fā)器的敏感度。雖然在模型修剪后可通過(guò)微調(diào)來(lái)恢復(fù)模型性能，但是這種方法仍然會(huì)大大降低模型的精度。

Wang 等人[65]提出了一種稱(chēng)為神經(jīng)凈化（neural cleanse，NC）的防御技術(shù)。對(duì)于每個(gè)輸出標(biāo)簽，NC使用類(lèi)似于對(duì)抗樣本生成技術(shù)對(duì)輸入模式進(jìn)行逆向工程，使得所有帶有該模式的樣本都被分類(lèi)到相同的目標(biāo)標(biāo)簽。如果一個(gè)標(biāo)簽的生成模式遠(yuǎn)小于其他標(biāo)簽的生成模式，NC則認(rèn)為該模型已被植入后門(mén)。對(duì)于普通標(biāo)簽，逆向工程圖案的大小應(yīng)該足夠大，以超過(guò)正常特征的效果，而對(duì)于目標(biāo)標(biāo)簽，生成的圖案往往與真正的觸發(fā)器相似，后者要小得多。

Liu等人[66]提出了ABS（artificial brain stimulation）來(lái)檢測(cè)模型是否中毒。他們認(rèn)為觸發(fā)器在任何背景下都能激活后門(mén)，因此不管模型的輸入是什么，那些顯著提高特定輸出標(biāo)簽激活程度的神經(jīng)元被認(rèn)為是潛在的受損神經(jīng)元。通過(guò)對(duì)此類(lèi)神經(jīng)元執(zhí)行模型反轉(zhuǎn)來(lái)生成觸發(fā)器。如果生成的觸發(fā)器可以一致地將其他標(biāo)簽的輸入顛覆為特定標(biāo)簽，ABS 則認(rèn)為該模型已被植入后門(mén)。

3.4 其他防御方法

通過(guò)隨機(jī)平滑驗(yàn)證對(duì)抗魯棒性，Xie等人在文獻(xiàn)[67]中推理時(shí)利用隨機(jī)化來(lái)減輕對(duì)抗效應(yīng)，使用兩種隨機(jī)化操作，隨機(jī)調(diào)整大小和隨機(jī)填充。隨機(jī)調(diào)整大小是將輸入圖像的大小調(diào)整為隨機(jī)大小。隨機(jī)填充是以隨機(jī)方式在輸入圖像周?chē)畛淞恪４罅繉?shí)驗(yàn)表明，隨機(jī)化方法在防御攻擊方面非常有效。

4 討論與展望

4.1 解決深度神經(jīng)網(wǎng)絡(luò)后門(mén)安全問(wèn)題的困難

（1）缺少完整的軟件測(cè)試用例集、標(biāo)準(zhǔn)化測(cè)試方法。根據(jù)萊斯定理，不存在通用的判定程序非平凡屬性的方法，大多數(shù)程序分析的問(wèn)題是不可判定的。在缺乏有效的檢測(cè)工具條件下，軟件本身很難避免缺陷和后門(mén)的發(fā)生。因此深度神經(jīng)網(wǎng)絡(luò)模型的測(cè)試標(biāo)準(zhǔn)還有很多工作要做。以自動(dòng)駕駛為例，據(jù)文獻(xiàn)[68]統(tǒng)計(jì)，自動(dòng)駕駛測(cè)試的場(chǎng)景庫(kù)建設(shè)還依靠大量人工進(jìn)行采集、標(biāo)注。場(chǎng)景分析挖掘、測(cè)試驗(yàn)證，整個(gè)流程效率低、成本高。全球每年人工標(biāo)注成本在10億美元量級(jí)。

當(dāng)前的研究?jī)H僅局限在具體的攻擊和防御方法，深度神經(jīng)網(wǎng)絡(luò)本身和后門(mén)攻擊的內(nèi)在機(jī)制都缺乏深入的認(rèn)識(shí)。研究者并不清楚當(dāng)觸發(fā)器出現(xiàn)時(shí)，中毒模型內(nèi)部會(huì)發(fā)生什么。對(duì)深度神經(jīng)網(wǎng)絡(luò)預(yù)期行為也缺乏嚴(yán)格的形式化定義，模型訓(xùn)練程序和數(shù)據(jù)中毒方法缺乏標(biāo)準(zhǔn)化，結(jié)果難以復(fù)制。盡管NIST（https://pages.nist.gov/trojai/）組織了在線后門(mén)檢測(cè)比賽，其使用的TrojAI 框架能夠簡(jiǎn)單地重現(xiàn)后門(mén)攻擊結(jié)果，并標(biāo)準(zhǔn)化衡量后門(mén)攻擊效果的指標(biāo)，但是對(duì)于深度神經(jīng)網(wǎng)絡(luò)的測(cè)試還缺乏相對(duì)權(quán)威統(tǒng)一測(cè)試標(biāo)準(zhǔn)。

（2）深度神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)軟件程序有著本質(zhì)上的不同。傳統(tǒng)軟件程序?qū)崿F(xiàn)的需求可以用不同形式規(guī)約的邏輯關(guān)系表達(dá)。傳統(tǒng)軟件行為有著明確的操作語(yǔ)義和正確錯(cuò)誤的界定，是一種離散化的表示。傳統(tǒng)軟件程序能夠被后門(mén)攻擊的原因是程序代碼本身的邏輯存在漏洞或者錯(cuò)誤被攻擊者利用。深度神經(jīng)網(wǎng)絡(luò)則是基于大數(shù)據(jù)概率統(tǒng)計(jì)的數(shù)學(xué)模型。不同于傳統(tǒng)軟件程序，模型本身對(duì)應(yīng)的則是一個(gè)連續(xù)函數(shù)，側(cè)重于數(shù)值計(jì)算。分類(lèi)任務(wù)依賴(lài)于概率模型的置信區(qū)間，不同類(lèi)別之間的判斷缺乏明確的界限。深度神經(jīng)網(wǎng)絡(luò)存在的后門(mén)也非神經(jīng)網(wǎng)絡(luò)程序代碼本身漏洞造成的。因此適用于傳統(tǒng)軟件程序的相對(duì)成熟的軟件工程方法（例如Hoare Logic 等理論和各種類(lèi)型理論），軟件測(cè)試、分析以及定理證明等工具，敏捷方法等認(rèn)證標(biāo)準(zhǔn)和軟件開(kāi)發(fā)過(guò)程，不一定適用于深度神經(jīng)網(wǎng)絡(luò)。有研究者嘗試著將是否存在后門(mén)的問(wèn)題轉(zhuǎn)換為約束求解問(wèn)題。然而深度神經(jīng)網(wǎng)絡(luò)輸入空間巨大，實(shí)際可行性并不大。

4.2 未來(lái)研究方向及挑戰(zhàn)

攻擊和防御處于不斷的演化過(guò)程中，基于現(xiàn)有的攻擊提出新的防御技術(shù)，已經(jīng)提出的防御又幾乎可以被后續(xù)的自適應(yīng)攻擊繞過(guò)。

從攻擊者角度來(lái)說(shuō)，隱蔽性、有效性、最低中毒率和觸發(fā)泛化（trigger generalization）等是觸發(fā)器設(shè)計(jì)的重要衡量指標(biāo)。觸發(fā)器從可見(jiàn)逐步發(fā)展到不可見(jiàn)。攻擊的手段和方法越隱蔽，越不容易被對(duì)方發(fā)現(xiàn)。當(dāng)前的后門(mén)攻擊對(duì)觸發(fā)器外觀和位置都比較敏感，基于中毒的后門(mén)攻擊有效性也與觸發(fā)器密切相關(guān)，如何增強(qiáng)觸發(fā)器的有效性是一個(gè)關(guān)注焦點(diǎn)。大多數(shù)現(xiàn)有的觸發(fā)器都采用擾動(dòng)等啟發(fā)式設(shè)計(jì)，甚至采用非優(yōu)化的方式，如何更好地優(yōu)化觸發(fā)器也是一個(gè)重要研究課題。另外，衡量觸發(fā)器的優(yōu)劣的幾個(gè)指標(biāo)也存在難以兼顧的問(wèn)題。例如標(biāo)簽一致性后門(mén)攻擊通常具有較低的攻擊效率，但具有更好的隱蔽性。如何平衡攻擊的隱蔽性和有效性也值得進(jìn)一步探索。

從防御者角度來(lái)說(shuō)，Tramer等人[69]認(rèn)為對(duì)于任何已知計(jì)劃的攻擊，都可以建立一個(gè)不夠健壯（nonrobust）的防御來(lái)阻止該攻擊。事實(shí)上防御者并不能提前了解攻擊者，因此研究者更關(guān)心魯棒性的防御。盡管隨機(jī)平滑具有較好的魯棒性，但是隨機(jī)平滑假設(shè)觸發(fā)器是局部的微小擾動(dòng)，這樣的假設(shè)有時(shí)不成立。因此集成學(xué)習(xí)方法有可能成為防御的重要研究方向。集成學(xué)習(xí)通過(guò)將多個(gè)弱學(xué)習(xí)器（weak learner)進(jìn)行結(jié)合，可獲得比單一學(xué)習(xí)器顯著優(yōu)越的泛化性能。實(shí)際上，中毒的模型可以被看作參與集成學(xué)習(xí)中的某一個(gè)弱學(xué)習(xí)器，特定觸發(fā)器導(dǎo)致的錯(cuò)誤行為可能會(huì)在最終輸出中得到糾正。集成學(xué)習(xí)的前提是各個(gè)模型誤差相互獨(dú)立，然而現(xiàn)實(shí)任務(wù)中，單個(gè)模型是為解決同一個(gè)問(wèn)題訓(xùn)練出來(lái)的，不可能互相獨(dú)立。因此，如何同時(shí)提高單個(gè)模型的準(zhǔn)確性和多樣性是集成學(xué)習(xí)防御方法的核心問(wèn)題。此外現(xiàn)有的防御通常都存在計(jì)算成本較高的問(wèn)題，如何設(shè)計(jì)有效和高效的防御也將是重要的研究課題。

5 結(jié)束語(yǔ)

本文介紹了深度神經(jīng)網(wǎng)絡(luò)的后門(mén)攻擊和防御方法，實(shí)際應(yīng)用中，一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型的開(kāi)發(fā)通常需要經(jīng)歷數(shù)據(jù)收集、模型選擇、模型訓(xùn)練、模型測(cè)試和模型部署等階段，后門(mén)攻擊可能發(fā)生在各個(gè)階段，深度神經(jīng)網(wǎng)絡(luò)的安全性取決于整個(gè)數(shù)據(jù)和訓(xùn)練管道的安全性，實(shí)際上這可能很弱或根本不存在。當(dāng)前的深度神經(jīng)網(wǎng)絡(luò)后門(mén)攻擊和防御都處于不斷演化之中，未來(lái)深度神經(jīng)網(wǎng)絡(luò)安全問(wèn)題將對(duì)當(dāng)前的各種應(yīng)用場(chǎng)景持續(xù)帶來(lái)挑戰(zhàn)。