基于樣本損失值變化統(tǒng)一性的后門樣本隔離

摘" 要：后門攻擊對人工智能的應(yīng)用構(gòu)成潛在威脅。基于遺忘的魯棒訓練方法可通過隔離后門樣本的子集并遺忘該子集，實現(xiàn)在不受信的數(shù)據(jù)集上訓練無后門的模型。然而，錯誤隔離并遺忘干凈樣本會導致模型在干凈數(shù)據(jù)上的性能受到損害。為了減少對干凈樣本的錯誤隔離，進而保護模型在干凈數(shù)據(jù)上的性能，提出基于樣本損失值變化統(tǒng)一性的后門樣本隔離方案。后門樣本訓練過程中損失值的變化較大且較為統(tǒng)一，在隔離的潛在后門樣本集中損失值變化統(tǒng)一性較低的樣本可以被移除。實驗結(jié)果表明，應(yīng)用該方案能夠減少對干凈樣本的錯誤隔離，在不影響后門防御效果的基礎(chǔ)上保護了模型在干凈數(shù)據(jù)上的性能。

關(guān)鍵詞：人工智能安全；后門防御；魯棒訓練；后門樣本隔離；神經(jīng)網(wǎng)絡(luò)模型

中圖分類號：TP18" 文獻標識碼：A" 文章編號：2096-4706（2024）11-0044-05

Backdoor Sample Isolation Based on the Uniformity of Samples' Loss Value Changes

ZHANG Jiahui

（School of Cyber Engineering， Xidian University， Xi'an" 710126， China）

Abstract： Backdoor attacks pose a potential threat to applying AI applications. Unlearning-based robust training methods achieve training models with no backdoor on untrusted datasets by isolating a subset of backdoor samples and unlearning it. However， incorrectly isolating and unlearning clean samples can lead to performance degradation of the model on clean data. In order to reduce 1 isolation of clean samples thus protecting model performance on clean data， a backdoor sample isolation scheme based on the uniformity of samples' loss value changes is proposed. During the training process， samples have large and uniform changes in loss value， and samples with low uniformity of loss value changes in the isolated and potential backdoor samples set are removed. Experimental results indicate that the application of the scheme benefits reducing the 1 isolation of clean samples， and protects the model's performance on clean data without compromising on defending against backdoor attacks.

Keywords： Artificial Intelligence security; backdoor defense; robust training; backdoor sample isolation; neural network model

0" 引" 言

人工智能相關(guān)的應(yīng)用在人們的生活中帶來了極大的便利。為了使人工智能模型能夠迎合需求的發(fā)展并輸出恰當?shù)慕Y(jié)果，服務(wù)提供商需要頻繁收集數(shù)據(jù)用于訓練新模型或重訓練現(xiàn)有模型。這為潛在的攻擊者提供了機會：后門攻擊者試圖在模型的訓練數(shù)據(jù)集中注入后門樣本，從而在模型中構(gòu)建后門[1，2]，令模型在接收附帶特殊標記的輸入時輸出指定結(jié)果。

現(xiàn)有的魯棒訓練[3，4]試圖在訓練過程中阻止后門的構(gòu)建。具體來說，基于遺忘的魯棒訓練在訓練過程中隔離后門樣本的一個子集并應(yīng)用模型遺忘技術(shù)遺忘該子集，從而實現(xiàn)在不受信的數(shù)據(jù)集上訓練不含后門的模型。然而，在不受信的數(shù)據(jù)集上隔離出后門樣本的過程中存在錯誤隔離干凈樣本的可能，而遺忘干凈樣本會導致模型性能下降。

本文基于對樣本損失值變化量的觀察，結(jié)合對模型結(jié)構(gòu)的分析，認為在模型訓練過程中后門樣本的損失值變化有較強的統(tǒng)一性。模型中存在與后門觸發(fā)關(guān)聯(lián)緊密的神經(jīng)元，隨著這類神經(jīng)元連接上權(quán)重的更新，大部分后門樣本的損失值會具有不完全相等但大致統(tǒng)一的變化，即樣本損失值變化統(tǒng)一性較強。在現(xiàn)有后門樣本隔離方案中基于損失值變化統(tǒng)一性分析對隔離方案進行調(diào)整可以減少對干凈樣本的錯誤隔離，進而在魯棒訓練中保護模型的性能。

1" 技術(shù)介紹

1.1" 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)模型包含多個神經(jīng)元，神經(jīng)元接收輸入并通過激活函數(shù)輸出。多個神經(jīng)元構(gòu)成了神經(jīng)網(wǎng)絡(luò)的輸入層、隱藏層和輸出層。應(yīng)用于模型訓練或訪問的單個數(shù)據(jù)可以被稱為樣本。神經(jīng)網(wǎng)絡(luò)模型的訓練過程最小化一個損失函數(shù)，損失函數(shù)反映了模型輸出和樣本實際標簽的差距。在訓練過程中，神經(jīng)元之間連接的權(quán)重得到調(diào)整，影響了神經(jīng)元之間的激活情況，最終使得模型的輸出得到更新。模型的訓練優(yōu)化目標可以表示為：

（1）

其中，fθ （x）為模型對輸入x的輸出，y為該樣本的實際標簽；l （·）為損失，如交叉熵損失； 為訓練過程最小化的目標，即在數(shù)據(jù)集D上最小化其中樣本的平均損失。

在模型工作時，模型根據(jù)任務(wù)輸出一個經(jīng)過歸一化處理的向量，其中向量的維度對應(yīng)輸出結(jié)果的種類。每個維度上的值表示模型認為應(yīng)當輸出該結(jié)果的概率。模型選擇具有最高概率的類別作為輸出。

1.2" 針對智能模型的后門攻擊

Gu等[1]首先提出針對模型的后門攻擊，其向模型的訓練數(shù)據(jù)集中注入后門樣本，使得模型在訓練過程中學習到由攻擊者設(shè)計的特殊識別模式。受攻擊的模型對普通數(shù)據(jù)仍然輸出正常的結(jié)果，但對附加了特殊標記的數(shù)據(jù)則會輸出由攻擊者指定的結(jié)果。現(xiàn)有的大多數(shù)后門攻擊旨在實現(xiàn)不需修改標簽的后門數(shù)據(jù)[5]、優(yōu)化標識的隱蔽性[6]或增強攻擊效果，但仍然遵循了通過注入后門樣本構(gòu)建特殊識別模式的攻擊框架，如圖1所示。

后門攻擊的優(yōu)化目標可以表示為：

（2）

其中，Dc和Db分別為訓練過程使用的干凈數(shù)據(jù)集和后門數(shù)據(jù)集，yt為由攻擊者指定的后門樣本標簽。

1.3" 后門防御

現(xiàn)有的大部分后門防御針對已經(jīng)遭受攻擊的模型實現(xiàn)后門檢測與后門消除中至少一項功能。后門檢測檢查訓練數(shù)據(jù)集或檢驗?zāi)Ｐ偷妮敵鲆詼y定模型是否已經(jīng)被植入后門；后門消除通過剪枝[7]或遺忘[8]等手段改變模型內(nèi)部參數(shù)或結(jié)構(gòu)，從而抹除后門。魯棒訓練試圖直接在訓練過程中抵御后門攻擊，在訓練正常任務(wù)的同時阻止后門的構(gòu)建，實現(xiàn)在不受信的數(shù)據(jù)集上訓練出干凈模型。

1.3.1" 剪枝防御

剪枝防御深入模型結(jié)構(gòu)，觀察神經(jīng)元的激活情況。Liu等[7]提出，部分神經(jīng)元在輸入后門樣本（標記）時激活，而輸入干凈樣本時通常休眠。可以說，模型在訓練過程中形成了與后門強關(guān)聯(lián)的神經(jīng)元。因此，可以通過檢查神經(jīng)元觸發(fā)特性并修剪特定神經(jīng)元的方式阻斷后門的觸發(fā)。

1.3.2" 基于模型遺忘的魯棒訓練

Wu等[9]提出，后門樣本相對于干凈樣本更易于學習，因此在訓練過程中其損失值的下降更為劇烈。基于相似的觀察結(jié)論，Li等[3]提出了一種在訓練過程中根據(jù)損失值隔離潛在后門樣本并遺忘的魯棒訓練方法ABL（Anti-Backdoor Learning）。具體來講，在訓練過程中后門樣本的損失值l （ fθ （x）， yt）相比于干凈樣本通常更低。因此，可以將一部分損失值低的樣本視為后門樣本并將之隔離，再通過模型遺忘技術(shù)[8]阻止后門的構(gòu)建。

基于模型遺忘技術(shù)的魯棒訓練的優(yōu)化目標可以表示為：

（3）

在隔離后門樣本集Db時，為了擴大后門樣本和干凈樣本的損失值差距，Li等[3]在執(zhí)行隔離之前的訓練階段改用一種名為局部梯度上升LGA（Local Gradient Ascent）的優(yōu)化目標：

（4）

其中，sign（·）為符號函數(shù)。該方法利用了后門樣本易于學習的特性：由于后門樣本易于學習，它們的損失值很低，在其損失值低于γ并置為負后，其絕對值較小；而干凈樣本學習緩慢，模型優(yōu)化過程中其損失值偏大，在其低于γ并置為負后損失值絕對值較大。當優(yōu)化過程中損失值為負時，優(yōu)化后的模型對該樣本的性能會下降。由于后門樣本損失值置為負后絕對值仍然較小，后門樣本仍然能被較好地學習到，而干凈樣本則不然，從而實現(xiàn)干凈樣本和后門樣本之間損失值差距的擴大。

2" 提出的后門樣本的隔離方法

現(xiàn)有的基于模型遺忘的魯棒訓練方法在隔離過程中存在錯誤隔離干凈樣本的風險，會導致模型在干凈數(shù)據(jù)上的性能受損。在CIFAR-10數(shù)據(jù)集上應(yīng)用基于遺忘的魯棒訓練方法時，若在包含5 000個樣本的隔離樣本集中將500個后門樣本替換為干凈樣本，遺忘后模型在干凈數(shù)據(jù)上的準確率從89.27%降低到了85.61%。

如表1所示，即便Li等[3]在其設(shè)計的魯棒訓練方法ABL中通過LGA擴大了干凈樣本和后門樣本的損失差距，其基于樣本損失值的隔離方法中仍然錯誤隔離了一部分獲得了較低損失值的干凈樣本。針對這一問題，基于對樣本損失值變化量的分析，一種基于樣本損失值變化統(tǒng)一性的后門樣本隔離方法被提出。

2.1" 針對樣本損失值變化量的分析

在CIFAR-10數(shù)據(jù)集上應(yīng)用LGA時首個訓練輪次中樣本損失值變化量的分布如圖2所示，其中后門樣本的損失值變化量傾向于集中在一個值域內(nèi)，而干凈樣本的損失值變化量的分布較為分散。在后門攻擊中，攻擊的目標是快速構(gòu)建后門樣本與目標標簽的穩(wěn)健識別關(guān)系，在訓練過程表現(xiàn)為后門樣本的損失值更低且變化更為劇烈[9]，即在訓練的早期階段中后門樣本的損失值變化量集中于一個高值。

在訓練的晚期階段，模型決策趨于穩(wěn)定，后門樣本和干凈樣本的損失值變化量都普遍較小，即樣本的損失值變化量大多分布在低值。但后門樣本相對干凈樣本的損失值變化量分布仍然更為集中。

后門樣本在訓練過程中損失值變化量的特征可以總結(jié)為：在模型訓練過程中的單個訓練輪次內(nèi)，后門樣本損失值變化量的分布更為集中，而干凈樣本的損失值分布相對分散，稱之為后門樣本損失值變化量表現(xiàn)出較強的統(tǒng)一性。

2.2" 對樣本損失值變化統(tǒng)一性的理解

應(yīng)用剪枝防御[7]時，模型在剪枝前和剪枝后對同一組樣本輸出的平均置信度分布如圖3所示，其中，選擇了具有相同真實標簽label-2的30個干凈樣本與30個后門樣本，后門樣本的目標標簽都是label-5。剪枝后，后門樣本的置信度分布會貼近于干凈樣本的分布；然而，剪枝消去與后門強關(guān)聯(lián)的神經(jīng)元也會導致模型在干凈數(shù)據(jù)上的置信度出現(xiàn)小幅變化。從模型結(jié)構(gòu)的角度分析，認為這一現(xiàn)象的產(chǎn)生是因為與后門強關(guān)聯(lián)的神經(jīng)元同目標標簽對應(yīng)的輸出層神經(jīng)元之間的連接權(quán)重較大，而與輸出層其他神經(jīng)元之間也存在連接但連接權(quán)重小。

結(jié)合上述結(jié)論，后門樣本損失值變化表現(xiàn)出統(tǒng)一性更強的原因可以解釋為：在模型訓練過程中存在激活情況與后門強關(guān)聯(lián)的神經(jīng)元，模型優(yōu)化過程可以對這些特殊神經(jīng)元的連接權(quán)重進行大幅度的修改，從而使得后門樣本的損失值出現(xiàn)較大且統(tǒng)一的變化，而這些神經(jīng)元的權(quán)重的變化對干凈樣本損失值的影響較小。其他與后門關(guān)聯(lián)不強的神經(jīng)元的連接權(quán)重修改使得干凈樣本正常被學習，并使得后門樣本之間的損失值變化仍然存在些許差距。

根據(jù)上述分析，認為可以基于樣本損失值變化統(tǒng)一性隔離后門樣本，即樣本損失值變化量最為集中的一些樣本更可能是后門樣本。值得一提的是，樣本損失值變化量的統(tǒng)一性不僅僅可以在單個訓練輪次中評估，在某一訓練輪次中損失值變化量集中的后門樣本在其他訓練輪次中的損失值變化量分布仍然較為集中。因此，可以在多個訓練輪次觀察樣本損失值變化量，并隔離后門樣本。

2.3" 后門樣本的隔離策略

后門樣本相比干凈樣本在損失值變化上表現(xiàn)出更強的統(tǒng)一性，基于樣本損失值變化統(tǒng)一性的后門樣本隔離策略設(shè)計如下：

1）在模型訓練過程中，計算并保存樣本的損失值。

2）計算樣本在一個或多個輪次的損失值變化量。

3）在每個輪次中對樣本分組。以0為起點，以m為步長對樣本根據(jù)損失值變化量分組，在該輪次內(nèi)同一分組中的樣本兩兩之間的損失值變化量之差小于m。

4）定義指定樣本為中心判定統(tǒng)一性的方法。基于樣本x，以k為最大步長檢驗其他樣本，若其他樣本在各個輪次的損失值變化量的分組序號與x的序號之差都小于等于k，即樣本在各個輪次內(nèi)的損失值變化量與x的差都小于（k + 1）×m，則記為受檢樣本相對樣本x在該訓練輪次中的樣本損失值變化量上具有（k，m）強度的統(tǒng)一性。

5）隔離后門樣本集。在已知特定樣本為后門的情況下，將現(xiàn)有的后門樣本定為x，并隔離相對樣本x在指定訓練輪次內(nèi)樣本損失值變化量上都具有（k，m）強度的統(tǒng)一性的樣本；在沒有已知的后門樣本的情況下，將兩兩之間都具有統(tǒng)一性的樣本分為一類，將其中樣本數(shù)量最多的一類視為后門樣本并隔離。

對樣本先分組再評估會導致?lián)p失值變化量在分組臨界值兩側(cè)的樣本統(tǒng)一性評估較差。但是考慮到基于遺忘的魯棒訓練本身就不要求找出所有后門樣本，而直接使用損失值變化量評估統(tǒng)一性會大幅增加計算量，因此采用先分組后評估的隔離策略。此外，為了能夠更明顯地評估樣本損失值變化統(tǒng)一性，可以在模型訓練早期設(shè)置較低的學習率。較低的學習率下與后門關(guān)聯(lián)弱的神經(jīng)元對模型輸出的調(diào)整較小，但是后門易于學習，與后門關(guān)聯(lián)強的神經(jīng)元的連接權(quán)重仍能獲得較大修改。此時，后門樣本損失值的變化更多是受與后門關(guān)聯(lián)強的神經(jīng)元影響，而更少收到其他普通神經(jīng)元的影響，后門樣本的損失值變化量也會更傾向于分布在同一值域內(nèi)。

基于樣本損失值變化統(tǒng)一性的后門樣本隔離策略可應(yīng)用于現(xiàn)有的數(shù)據(jù)隔離方法輔助隔離。在現(xiàn)有隔離樣本集中對樣本的統(tǒng)一性進行分析可以縮減分析范圍，減少計算量。在現(xiàn)有隔離方法所隔離的潛在后門樣本集中可以依據(jù)其隔離思想選定最可能是后門樣本的樣本作為初始后門樣本，并隔離與這個（些）樣本具有統(tǒng)一性的樣本；或?qū)⒉慌c這個（些）樣本具有統(tǒng)一性的樣本移出隔離樣本集。

現(xiàn)有基于損失值的后門樣本隔離方法中認為損失值低的樣本傾向于是后門樣本。因此可以在其隔離樣本集中首先將損失值最低的一個或多個樣本視為后門樣本，并僅隔離選定的樣本以及與選定樣本具有統(tǒng)一性的樣本。值得注意的是，Li等[3]提出的LGA機制限制干凈樣本的損失值于γ之上，但是并沒有對模型結(jié)構(gòu)進行限制。因此，在應(yīng)用了LGA機制時，即便干凈樣本的損失值變化量被集中在初始損失值loss0與loss0-γ之間，干凈樣本的損失值變化量分布仍然較為分散，并且相對后門樣本不表現(xiàn)出足夠強的統(tǒng)一性。

3" 實驗結(jié)果及分析

3.1" 實驗設(shè)置

服務(wù)器使用Windows 10系統(tǒng)，使用Python，通過Sklearn函數(shù)庫處理樣本并進行模型訓練。實驗在ABL [3]框架下，在MNIST和CIFAR-10數(shù)據(jù)集上分別注入BadNets [1]，Trojan [2]和LBA [10]共三種攻擊的后門樣本，訓練了6個WRN-16神經(jīng)網(wǎng)絡(luò)模型。后門樣本的投毒率被設(shè)定為10%。其中，設(shè)置統(tǒng)一性檢驗的損失值變化量分組步長m為0.25，分組判斷步長k為0，選定的檢驗輪次為訓練過程的前5個輪次與最后一個輪次。

3.2" 實驗內(nèi)容

實驗針對6個模型，在Li等[3]的基于樣本損失值的后門數(shù)據(jù)隔離結(jié)果上應(yīng)用基于樣本損失值變化統(tǒng)一性的后門隔離策略。實驗中依照基于樣本損失值隔離后門樣本的思想，在其隔離的潛在后門樣本集中選定10個損失值最低的樣本作為判定樣本統(tǒng)一性的中心，并放棄隔離在現(xiàn)有隔離結(jié)果中不與選定樣本具有統(tǒng)一性的樣本。實驗在調(diào)整隔離結(jié)果后的隔離樣本集中檢驗隔離的干凈樣本數(shù)量，并檢驗遺忘經(jīng)過調(diào)整的隔離樣本集后的模型性能表現(xiàn)。

3.3" 實驗結(jié)果與分析

如表2所示，在現(xiàn)有隔離方法的基礎(chǔ)上應(yīng)用基于樣本損失值變化統(tǒng)一性的后門樣本隔離策略大幅減少了對干凈樣本的錯誤隔離。

如表3所示，在現(xiàn)有隔離方法上應(yīng)用基于樣本損失值變化統(tǒng)一性的后門樣本隔離策略后，模型在遺忘過程中仍然成功阻止了后門的構(gòu)建，并且模型在干凈數(shù)據(jù)上的準確率得到了提升。由于通過模型遺忘技術(shù)阻止后門構(gòu)建過程僅需隔離后門樣本的子集，因此減少對后門樣本的隔離并不會導致攻擊成功率的大幅上升，而減少對干凈樣本的隔離則在模型遺忘的過程中保護了模型在干凈數(shù)據(jù)上的性能。尤其是在MNIST數(shù)據(jù)集上，基于樣本損失值變化統(tǒng)一性的后門樣本隔離策略的應(yīng)用在三種攻擊上平均減少了73.27%的錯誤隔離，并將模型準確率平均提高了3.72%。

4" 結(jié)" 論

神經(jīng)網(wǎng)絡(luò)中存在與后門強關(guān)聯(lián)的神經(jīng)元，這些神經(jīng)元的權(quán)重變化對后門樣本的損失值會產(chǎn)生統(tǒng)一的巨大影響，因此大量后門樣本在訓練過程中在損失值變化量上表現(xiàn)出強統(tǒng)一性。基于樣本損失值變化統(tǒng)一性，可以在訓練過程隔離后門樣本。此外，也可以在現(xiàn)有后門樣本隔離方法的基礎(chǔ)上對潛在后門樣本類進行分析，通過移除不與潛在后門樣本具有統(tǒng)一性的樣本減少對干凈樣本的錯誤隔離。在基于遺忘的魯棒訓練中，應(yīng)用基于樣本損失值變化統(tǒng)一性的輔助隔離策略能實現(xiàn)減少錯誤隔離，保護了模型在干凈數(shù)據(jù)上的性能，有助于人工智能應(yīng)用的安全使用與安全模型訓練。

參考文獻：

[1] GU T Y，DOLAN-GAVITT B，GARG S. BadNets： Identifying Vulnerabilities in the Machine Learning Model Supply Chain [J/OL].arXiv：1708.06733 [cs.CR].（2017-08-22）.https：//arxiv.org/abs/1708.06733.

[2] LIU Y Q，MA S Q，AAFER Y，et al. Trojaning Attack on Neural Networks [C]//Network and Distributed System Security Symposium.San Diego：NDSS，2017：1-15.

[3] LI Y G，LYU X X，KOREN N，et al. Anti-backdoor Learning： Training Clean Models on Poisoned Data [J/OL].arXiv：2110.11571 [cs.LG].（2021-10-22）.https：//arxiv.org/abs/2110.11571.

[4] ZHANG Z X，LIU Q，WANG Z C，et al. Backdoor Defense Via Deconfounded Representation Learning [C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Vancouver：IEEE，2023：12228-12238.

[5] YANG J，ZHENG J，BAKER T，et al. Clean-label Poisoning Attacks on Federated Learning for IoT [J].Expert Systems，2023，40（5）：e13161.

[6] LI S F，XUE M H，ZHAO B Z H，et al. Invisible Backdoor Attacks on Deep Neural Networks Via Steganography and Regularization [J].IEEE Transactions on Dependable and Secure Computing，2021，18（5）：2088-2105.

[7] LIU K，DOLAN-GAVITT B，GARG S.Fine-Pruning： Defending Against Backdooring Attacks on Deep Neural Networks [J/OL].arXiv：1805.12185 [cs.CR].（2018-05-30）.https：//arxiv.org/abs/1805.12185.

[8] LIU Y，F(xiàn)AN M Y，CHEN C，et al. Backdoor defense with Machine Unlearning [C]//IEEE INFOCOM 2022-IEEE Conference on Computer Communications.London：IEEE，2022：280-289.

[9] WU B Y，CHEN H R，ZHANG M D，et al. BackdoorBench： A Comprehensive Benchmark of Backdoor Learning [J/OL].arXiv：2206.12654 [cs.LG].（2022-06-25）.https：//arxiv.org/abs/2206.12654v2.

[10] YAO Y S，LI H Y，ZHENG H T，et al. Latent backdoor attacks on Deep Neural Networks [C]//Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security.London：ACM，2019：2041-2055.

作者簡介：張家輝（1998—），男，漢族，遼寧沈陽人，碩士在讀，研究方向：人工智能安全、后門攻擊、后門防御。

收稿日期：2023-12-07