基于可學(xué)習(xí)攻擊步長(zhǎng)的聯(lián)合對(duì)抗訓(xùn)練方法

摘 要：對(duì)抗訓(xùn)練（AT）是抵御對(duì)抗攻擊的有力手段。然而，現(xiàn)有方法在訓(xùn)練效率和對(duì)抗魯棒性之間往往難以平衡。部分方法提高訓(xùn)練效率但降低對(duì)抗魯棒性，而其他方法則相反。為了找到最佳平衡點(diǎn)，提出了一種基于可學(xué)習(xí)攻擊步長(zhǎng)的聯(lián)合對(duì)抗訓(xùn)練方法（FGSM-LASS）。該方法包括預(yù)測(cè)模型和目標(biāo)模型，其中，預(yù)測(cè)模型為每個(gè)樣本預(yù)測(cè)攻擊步長(zhǎng)，替代FGSM算法的固定大小攻擊步長(zhǎng)。接著，將目標(biāo)模型參數(shù)和原始樣本輸入改進(jìn)的FGSM算法，生成對(duì)抗樣本。最后，采用聯(lián)合訓(xùn)練策略，共同訓(xùn)練預(yù)測(cè)和目標(biāo)模型。在與最新五種方法比較時(shí)，F(xiàn)GSM-LASS在速度上比魯棒性最優(yōu)的LAS-AT快6倍，而魯棒性僅下降1%；與速度相近的ATAS相比，魯棒性提升3%。實(shí)驗(yàn)結(jié)果證明，F(xiàn)GSM-LASS在訓(xùn)練速度和對(duì)抗魯棒性之間的權(quán)衡表現(xiàn)優(yōu)于現(xiàn)有方法。

關(guān)鍵詞：對(duì)抗訓(xùn)練； 對(duì)抗樣本； 對(duì)抗攻擊； 預(yù)測(cè)模型； 可學(xué)習(xí)攻擊步長(zhǎng)

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）06-036-1845-06

doi：10.19734/j.issn.1001-3695.2023.09.0431

Joint adversarial training method based on learnable attack step size

Abstract：AT is a powerful means to defend against adversarial attacks. However， currently available methods often struggle to strike a balance between training efficiency and adversarial robustness. Some methods increase training efficiency but decrease adversarial robustness， while others do the opposite. To achieve the best trade-off， this paper proposed a joint adversa-rial training method based on a learnable attack step size（FGSM-LASS） . This method included a prediction model and a target model. The prediction model predicted an attack step size for each example， which replaced the fixed-size attack step size using in the FGSM algorithm. Subsequently， the improved FGSM algorithm feeded both the target model parameters and original examples to generate adversarial examples. Finally， the prediction model and the target model perform joint adversarial training using these adversarial examples. Compared to the five most recent methods， FGSM-LASS was six times faster than LAS-AT， which was the best performing method in terms of robustness， with only 1% decrease in robustness. It was 3% more robust than ATAS， which was comparable in speed. Extensive experimental results fully demonstrate that FGSM-LASS outperforms current methods in the trade-off between training speed and adversarial robustness.

Key words：adversarial training（AT）; adversarial example; adversarial attack; prediction model; learnable attack step size

0 引言

近年來(lái)，隨著GPU計(jì)算能力的飛速提升，深度學(xué)習(xí)模型在圖像分類［1，2］、目標(biāo)檢測(cè)［3］、語(yǔ)義分割［4］、語(yǔ)音識(shí)別等領(lǐng)域取得了顯著成功。然而，Szegedy等人［5］揭示了深度學(xué)習(xí)模型中對(duì)抗樣本的存在，這使得模型在面對(duì)對(duì)抗樣本攻擊時(shí)顯得異常脆弱。為了解決對(duì)抗樣本對(duì)深度學(xué)習(xí)模型的攻擊，研究者們提出了許多防御方法，其中較為有效且廣泛應(yīng)用的是對(duì)抗訓(xùn)練。Goodfellow等人［6］最早提出利用對(duì)抗訓(xùn)練（adversarial training，AT）來(lái)抵御對(duì)抗樣本的攻擊。他們采用快速梯度符號(hào)法（fast gradient sign method，F(xiàn)GSM）生成對(duì)抗樣本以訓(xùn)練模型，從而增強(qiáng)模型對(duì)抗攻擊的能力。隨后，Madry等人［7］提出使用投影梯度下降法（projected gradient decent，PGD）生成對(duì)抗樣本進(jìn)行模型訓(xùn)練。然而，由于PGD算法在生成用于訓(xùn)練的對(duì)抗樣本時(shí)需要進(jìn)行多次模型前向與反向傳播以計(jì)算梯度，所以訓(xùn)練速度較慢。雖然與FGSM相比，PGD能夠使訓(xùn)練好的模型具有更強(qiáng)的對(duì)抗魯棒性，但由于訓(xùn)練速度過(guò)慢，這一方法在實(shí)際應(yīng)用中受到了一定的質(zhì)疑。相比之下，F(xiàn)GSM在生成對(duì)抗樣本時(shí)只需進(jìn)行一次前向與反向傳播，訓(xùn)練速度較快，但其模型的對(duì)抗魯棒性相對(duì)較弱，無(wú)法滿足應(yīng)用需求。因此，如何在保證訓(xùn)練效率的同時(shí)提高模型的對(duì)抗魯棒性，成為了當(dāng)前研究的重點(diǎn)。

一些研究致力于對(duì)PGD算法進(jìn)行優(yōu)化。Cai等人［8］提出了一種課程學(xué)習(xí)策略，其目的是加速訓(xùn)練過(guò)程。在訓(xùn)練初期，采用較低強(qiáng)度的攻擊來(lái)生成對(duì)抗樣本。當(dāng)模型在某一攻擊強(qiáng)度下達(dá)到較高準(zhǔn)確率時(shí)，便提高攻擊強(qiáng)度。該策略的核心是在訓(xùn)練過(guò)程中逐步增加PGD的迭代次數(shù)，從而提高攻擊強(qiáng)度。隨后，Ye等人［9］提出了一種調(diào)整迭代次數(shù)的策略。該策略設(shè)定了最小和最大迭代次數(shù)，并在整個(gè)訓(xùn)練過(guò)程中，從最小迭代次數(shù)開始均勻增加迭代次數(shù)，直至達(dá)到最大迭代次數(shù)。前面提到的兩種方法都是基于PGD迭代次數(shù)進(jìn)行規(guī)律性調(diào)整的，雖然這些調(diào)整在一定程度上提高了訓(xùn)練速度，但與原始PGD相比，模型的對(duì)抗魯棒性卻明顯下降。因此，Jia等人［10］提出了一種基于可學(xué)習(xí)攻擊策略的對(duì)抗訓(xùn)練方法（AT with learnable attack strategy，LAS-AT），并提出了一種用于預(yù)測(cè)PGD的攻擊策略（包括攻擊步長(zhǎng)、迭代次數(shù)和最大擾動(dòng)強(qiáng)度）。隨著訓(xùn)練的進(jìn)行，這些策略會(huì)根據(jù)強(qiáng)化學(xué)習(xí)進(jìn)行優(yōu)化，為后續(xù)訓(xùn)練提供更具攻擊性的對(duì)抗樣本，從而提高目標(biāo)模型的對(duì)抗魯棒性。盡管LAS-AT極大地提高了模型的對(duì)抗魯棒性，但預(yù)測(cè)的迭代次數(shù)仍然較大，且需要強(qiáng)化學(xué)習(xí)機(jī)制來(lái)訓(xùn)練策略模型的參數(shù)，這兩點(diǎn)導(dǎo)致了訓(xùn)練速度極慢，甚至低于原始的PGD訓(xùn)練速度。盡管基于PGD算法的研究能夠?yàn)槟Ｐ吞峁┹^高的對(duì)抗魯棒性，但訓(xùn)練速度問題限制了其應(yīng)用。因此，許多研究開始轉(zhuǎn)向?qū)GSM算法進(jìn)行分析和改進(jìn)。

FGSM算法是一種高效生成對(duì)抗樣本的攻擊方法，因其生成過(guò)程簡(jiǎn)潔且速度快，在許多場(chǎng)景中得到了廣泛應(yīng)用。然而，F(xiàn)GSM采用固定大小的攻擊步長(zhǎng)，導(dǎo)致生成的對(duì)抗樣本過(guò)于單一，缺乏多樣性。在訓(xùn)練過(guò)程中，模型可能對(duì)這些單一的對(duì)抗樣本產(chǎn)生適應(yīng)，從而過(guò)擬合FGSM攻擊生成的對(duì)抗樣本。這會(huì)降低模型對(duì)其他攻擊算法（如PGD）的對(duì)抗魯棒性，即模型的泛化能力較差。為了提高模型的泛化能力，需要對(duì)固定大小的攻擊步長(zhǎng)進(jìn)行調(diào)整，以產(chǎn)生更多樣化的對(duì)抗樣本，從而提高訓(xùn)練得到模型的泛化能力。

Wong等人［11］對(duì)原始樣本添加隨機(jī)初始化（隨機(jī)步）來(lái)提高對(duì)抗樣本的多樣性，從而降低模型過(guò)擬合于對(duì)抗樣本的風(fēng)險(xiǎn)。該方法將原始樣本輸入 FGSM 算法生成用于訓(xùn)練模型的對(duì)抗樣本，其中樣本經(jīng)過(guò)隨機(jī)初始化，被稱為基于隨機(jī)初始化的快速梯度符號(hào)法對(duì)抗訓(xùn)練（FGSM AT with random step，F(xiàn)GSM-RS）。Kim等人［12］對(duì)FGSM-RS訓(xùn)練得到的模型進(jìn)行探究，發(fā)現(xiàn)其對(duì)較小的對(duì)抗擾動(dòng)的抵御能力較弱，而對(duì)較大的對(duì)抗擾動(dòng)有較好的抵御力。他們將這一現(xiàn)象稱為決策邊界扭曲，并提出一種解決方法：在訓(xùn)練過(guò)程中，沿著對(duì)抗干擾方向驗(yàn)證內(nèi)部區(qū)間，即調(diào)整對(duì)抗擾動(dòng)大小，觀察模型的預(yù)測(cè)結(jié)果，以找出最小的能使模型預(yù)測(cè)出錯(cuò)的對(duì)抗擾動(dòng)下的對(duì)抗樣本，以此訓(xùn)練模型，以有效防止決策邊界扭曲問題，這種方法被稱為基于檢查點(diǎn)的快速梯度符號(hào)法對(duì)抗訓(xùn)練（FGSM AT with checkpoint，F(xiàn)GSM-CKPT）。Andriushchenko等人［13］提出了一種基于梯度對(duì)齊的快速梯度符號(hào)法對(duì)抗訓(xùn)練（FGSM AT with gradient alignment，F(xiàn)GSM-GA）。該方法的主要思想是將樣本的梯度執(zhí)行梯度對(duì)齊算法，使得生成的對(duì)抗樣本在梯度空間中更接近原始樣本。這樣可以增加模型在梯度空間中的穩(wěn)定性，使模型更難以過(guò)擬合于 FGSM 算法生成的對(duì)抗樣本，從而提高模型的泛化能力。Huang等人［14］則提出了一種自適應(yīng)攻擊步長(zhǎng)的對(duì)抗訓(xùn)練方法（AT with adaptive step size，ATAS）。該方法通過(guò)對(duì)每個(gè)樣本的梯度范數(shù)進(jìn)行動(dòng)量累積，根據(jù)范數(shù)值計(jì)算攻擊步長(zhǎng)，對(duì)范數(shù)較大的樣本采用較小的攻擊步長(zhǎng)，對(duì)范數(shù)較小的樣本采用較大的攻擊步長(zhǎng)。這樣可以使得生成的對(duì)抗樣本具有較好的多樣性，更有利于提高模型的泛化能力和對(duì)抗魯棒性。上述基于 FGSM 擴(kuò)展的對(duì)抗訓(xùn)練方法在訓(xùn)練速度和對(duì)抗魯棒性之間仍存在權(quán)衡不足的問題。部分方法在訓(xùn)練效率方面表現(xiàn)良好，但對(duì)抗魯棒性仍不夠強(qiáng)，如 FGSM-RS、FGSM-CKPT和ATAS。而 FGSM-GA 雖然在提高對(duì)抗魯棒性方面表現(xiàn)出色，但使用梯度對(duì)齊算法來(lái)增加對(duì)抗樣本的多樣性會(huì)導(dǎo)致訓(xùn)練成本上升，從而降低訓(xùn)練速度。

本文提出了一種基于可學(xué)習(xí)攻擊步長(zhǎng)的聯(lián)合對(duì)抗訓(xùn)練方法（FGSM AT with learnable attack step size，F(xiàn)GSM-LASS）。該方法使用一個(gè)預(yù)測(cè)模型為每個(gè)原始樣本預(yù)測(cè)一個(gè)攻擊步長(zhǎng)，并將其應(yīng)用于FGSM來(lái)生成對(duì)抗樣本。預(yù)測(cè)模型和目標(biāo)模型使用這些生成的對(duì)抗樣本進(jìn)行聯(lián)合訓(xùn)練。在該方法中，每個(gè)原始樣本預(yù)測(cè)的攻擊步長(zhǎng)會(huì)隨著預(yù)測(cè)模型的訓(xùn)練而得到不斷的學(xué)習(xí)，攻擊步長(zhǎng)的學(xué)習(xí)能力有助于持續(xù)為目標(biāo)模型提供更加多樣的對(duì)抗樣本，為后續(xù)的訓(xùn)練持續(xù)提供有效的攻擊，極大程度地降低了目標(biāo)模型對(duì)對(duì)抗樣本的過(guò)擬合風(fēng)險(xiǎn)，從而提高目標(biāo)模型的泛化能力和對(duì)抗魯棒性。通過(guò)與上述對(duì)抗訓(xùn)練方法的實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，本文方法在訓(xùn)練速度上具有優(yōu)勢(shì)，同時(shí)還能有效提升目標(biāo)模型的對(duì)抗魯棒性。

1 預(yù)備知識(shí)

1.1 對(duì)抗攻擊

文獻(xiàn)［6］提出了FGSM。該方法將原始樣本x輸入模型進(jìn)行前向傳播，得到的結(jié)果與類別標(biāo)簽y計(jì)算模型損失，然后對(duì)損失進(jìn)行反向傳播，得到原始樣本的梯度，將梯度符號(hào)與攻擊步長(zhǎng)α相乘得到對(duì)抗擾動(dòng)δ，繼而得到對(duì)抗樣本，公式如下：

其中：ε 為擾動(dòng)預(yù)算；Π B（x，ε） （x+δ）表示將x+δ限制在以x為中心ε為半徑的區(qū)域內(nèi)，也就是將對(duì)抗樣本x′限制在擾動(dòng)預(yù)算 ε 范圍內(nèi)；f w表示參數(shù)為w的目標(biāo)模型；L表示損失函數(shù)，x表示求x的梯度；sign為取符號(hào)函數(shù)。PGD算法［7］在FGSM的基礎(chǔ)上進(jìn)行了擴(kuò)展，F(xiàn)GSM進(jìn)行一次前向與反向傳播，而PGD采用多次前向與反向傳播，即多次迭代FGSM算法，但采用了更小的攻擊步長(zhǎng)α，公式如下：

其中：t為迭代次數(shù)；η為隨機(jī)初始化擾動(dòng)；x0為x隨機(jī)初始化后的樣本，作為PGD算法的初始輸入；δt 為第t次迭代計(jì)算得到的對(duì)抗擾動(dòng)；xt-i表示t-1次迭代計(jì)算得到的對(duì)抗樣本，作為第t次迭代計(jì)算的輸入，有關(guān)符號(hào)在式（1）中已有解釋，此處不再贅述。根據(jù)迭代次數(shù)的不同，PDG可分為PGD-10、PGD-20和PGD-50。Wang等人［15］提出根據(jù)動(dòng)量積累方差來(lái)調(diào)整原始樣本的梯度，以提高對(duì)抗攻擊的可遷移性。

除了上述基于梯度的對(duì)抗攻擊方法外，Carlini等人［16］提出了一種基于優(yōu)化的對(duì)抗攻擊方法。這種方法通過(guò)優(yōu)化擾動(dòng)后的樣本，使其與原始樣本的距離最小，被稱為C&W（carlini and wagner attack）。Croce等人［17］則提出了一種自動(dòng)化的攻擊手段，采用幾種無(wú)參數(shù)攻擊的有序集合來(lái)自動(dòng)化攻擊目標(biāo)模型，這種方法被稱為自動(dòng)攻擊（auto attack，AA）。

1.2 對(duì)抗訓(xùn)練

對(duì)抗訓(xùn)練可以被形式化為一個(gè)最大最小優(yōu)化問題，將對(duì)抗攻擊生成的對(duì)抗樣本輸入到目標(biāo)模型計(jì)算損失，作為對(duì)抗訓(xùn)練的內(nèi)部最大化損失，然后使用該損失利用梯度下降算法更新目標(biāo)模型的參數(shù)，找到一個(gè)既能在原始干凈樣本上表現(xiàn)良好，又能在對(duì)抗樣本上具有較高對(duì)抗魯棒性的模型參數(shù)。公式如下：

其中：x表示數(shù)據(jù)集D中的原始干凈樣本；y為x的類別標(biāo)簽；ε為擾動(dòng)預(yù)算；δ為對(duì)抗擾動(dòng)，δ∈B（x，ε）表示δ被限制在以x為中心ε為半徑的圓形區(qū)域內(nèi)；fw表示參數(shù)為w的深度學(xué)習(xí)模型；L表示損失函數(shù)。

2 本文方法

本文提出了一種涉及預(yù)測(cè)模型和目標(biāo)模型兩個(gè)模型的方法。目標(biāo)模型為一個(gè)圖像分類深度學(xué)習(xí)模型，是訓(xùn)練的目標(biāo)，用fw表示，其中w是模型參數(shù)。預(yù)測(cè)模型為一個(gè)簡(jiǎn)單的自定義模型，用于輔助目標(biāo)模型的訓(xùn)練，后續(xù)將詳細(xì)介紹預(yù)測(cè)模型的結(jié)構(gòu)。預(yù)測(cè)模型旨在預(yù)測(cè)各個(gè)樣本所對(duì)應(yīng)的攻擊步長(zhǎng)。根據(jù)預(yù)測(cè)的攻擊步長(zhǎng)，采用FGSM算法生成對(duì)抗樣本，并將這些生成的對(duì)抗樣本用于訓(xùn)練預(yù)測(cè)和目標(biāo)模型。

預(yù)測(cè)模型的目標(biāo)是通過(guò)聯(lián)合對(duì)抗訓(xùn)練動(dòng)態(tài)學(xué)習(xí)原始樣本對(duì)應(yīng)的攻擊步長(zhǎng)，以增加生成的對(duì)抗樣本的多樣性。這旨在為目標(biāo)模型持續(xù)提供有效的攻擊，防止目標(biāo)模型對(duì)對(duì)抗樣本產(chǎn)生適應(yīng)性而導(dǎo)致過(guò)擬合。這種方法可以有效地提高目標(biāo)模型的對(duì)抗魯棒性，確保目標(biāo)模型在面臨各種對(duì)抗性攻擊時(shí)仍具有較高的性能。

本文方法的整體流程如圖1所示。實(shí)線部分展示了對(duì)抗樣本的生成過(guò)程，而虛線部分描述了預(yù)測(cè)模型和目標(biāo)模型的聯(lián)合訓(xùn)練過(guò)程。

2.1 預(yù)測(cè)模型架構(gòu)

圖2展示了預(yù)測(cè)模型的整體結(jié)構(gòu)，該模型包括一個(gè)殘差塊、ReLU激活層［18］、平均池化層（AP）、flatten層、全連接層（FC）和sigmoid激活層。殘差塊由一個(gè)3×3卷積層（conv）、兩個(gè)批量歸一化層（BN）和一個(gè)1×1卷積層構(gòu)成。

在預(yù)測(cè)模型中，原始樣本經(jīng)過(guò)殘差塊進(jìn)行特征提取后，依次經(jīng)過(guò)ReLU激活層、AP、flatten層、FC和sigmoid激活層，最終得到一個(gè)比例值r。這個(gè)比例值r用于控制攻擊的強(qiáng)度，其取值范圍為0～1。為了確定攻擊步長(zhǎng)，將r乘以1.25ε（ε為擾動(dòng)預(yù)算，通常設(shè)為8/255），就可以得到對(duì)應(yīng)的攻擊步長(zhǎng)，用于對(duì)原始樣本進(jìn)行攻擊，使其在一定程度上偏離原始樣本，從而得到需要的對(duì)抗樣本。攻擊步長(zhǎng)計(jì)算公式定義如下：

r=PMθ（x），α=α（θ）=1.25εr（4）

其中：x為原始樣本；PMθ代表預(yù)測(cè)模型，θ是預(yù)測(cè)模型的參數(shù);ε為擾動(dòng)預(yù)算；α（θ）為預(yù)測(cè)得到的攻擊步長(zhǎng)。每個(gè)原始樣本都會(huì)預(yù)測(cè)一個(gè)對(duì)應(yīng)的攻擊步長(zhǎng)，并且隨著預(yù)測(cè)模型的訓(xùn)練，攻擊步長(zhǎng)會(huì)得到進(jìn)一步的學(xué)習(xí)。

2.2 對(duì)抗樣本生成

圖3展示了本文方法中對(duì)抗樣本的完整生成流程，主要包括以下三個(gè)步驟：

a）將原始樣本x輸入預(yù)測(cè)模型得到攻擊步長(zhǎng)α（θ），計(jì)算公式如式（4）所示。這個(gè)步驟的主要目的是在當(dāng)前訓(xùn)練階段確定對(duì)原始樣本所需的擾動(dòng)程度。

b）對(duì)原始樣本x添加隨機(jī)初始化擾動(dòng)η，并將該擾動(dòng)后的樣本輸入到目標(biāo)模型中進(jìn)行前向傳播計(jì)算。接著，將計(jì)算出的結(jié)果與真實(shí)類別標(biāo)簽y進(jìn)行交叉熵?fù)p失計(jì)算。然后，以損失為因變量，原始樣本為自變量，進(jìn)行反向傳播以計(jì)算原始樣本的梯度。最后，通過(guò)sign函數(shù)提取梯度的符號(hào)（1或-1），該符號(hào)指示了在擾動(dòng)下原始樣本的變化方向。

c）將步驟a）中計(jì)算得到的攻擊步長(zhǎng)α（θ）與步驟b）中得到的梯度符號(hào)相乘，然后將乘積與隨機(jī)初始化擾動(dòng)η相加。接著，對(duì)得到的結(jié)果進(jìn)行投影裁剪操作（Π［-ε，ε］［·］），將其限制在-ε～ε。這樣就得到了對(duì)抗擾動(dòng)δ。最后，將原始樣本x加上對(duì)抗擾動(dòng)δ，即得到所需的對(duì)抗樣本x+δ。

2.3 聯(lián)合對(duì)抗訓(xùn)練

為了保證本文方法在訓(xùn)練過(guò)程中的高效性，選用FGSM算法來(lái)生成對(duì)抗樣本，因?yàn)镕GSM被公認(rèn)為是速度最快的對(duì)抗攻擊算法。然而，為了提高對(duì)抗魯棒性，本文并未采用原生的FGSM算法。相反，本文將FGSM算法所需的攻擊步長(zhǎng)參數(shù)替換為預(yù)測(cè)模型（針對(duì)每個(gè)樣本）預(yù)測(cè)出來(lái)的攻擊步長(zhǎng)。為了在訓(xùn)練過(guò)程中使攻擊步長(zhǎng)得到學(xué)習(xí)，本文將預(yù)測(cè)模型與目標(biāo)模型進(jìn)行聯(lián)合對(duì)抗訓(xùn)練，從而使預(yù)測(cè)模型的參數(shù)得到學(xué)習(xí)。因此，通過(guò)這種方式，攻擊步長(zhǎng)的學(xué)習(xí)能力得到了提高，它可以為目標(biāo)模型持續(xù)提供有效的攻擊，從而防止目標(biāo)模型對(duì)對(duì)抗樣本產(chǎn)生適應(yīng)性而發(fā)生過(guò)擬合。讓攻擊步長(zhǎng)在訓(xùn)練過(guò)程中持續(xù)學(xué)習(xí)是非常重要的。

為了實(shí)現(xiàn)聯(lián)合對(duì)抗訓(xùn)練，本文引入了一個(gè)超參數(shù)k。當(dāng)目標(biāo)模型的訓(xùn)練次數(shù)達(dá)到k的整數(shù)倍時(shí)，預(yù)測(cè)模型將進(jìn)行一次訓(xùn)練。通過(guò)這種訓(xùn)練方式，預(yù)測(cè)模型和目標(biāo)模型形成了一種相互影響的關(guān)系。預(yù)測(cè)模型的訓(xùn)練是為了提高目標(biāo)模型的損失，以便在之后的訓(xùn)練中使預(yù)測(cè)模型預(yù)測(cè)的攻擊步長(zhǎng)對(duì)目標(biāo)模型產(chǎn)生更強(qiáng)的攻擊效果。而目標(biāo)模型的訓(xùn)練是為了減少自身的損失，以提高自身的預(yù)測(cè)能力。在這種訓(xùn)練機(jī)制下，隨著預(yù)測(cè)模型的不斷訓(xùn)練，每個(gè)樣本都會(huì)生成更強(qiáng)的對(duì)抗樣本，這些對(duì)抗樣本將在之后的目標(biāo)模型訓(xùn)練中發(fā)揮作用，使目標(biāo)模型的對(duì)抗魯棒性得到顯著提高。結(jié)合本文方法，對(duì)抗訓(xùn)練的目標(biāo)可以總結(jié)為

其中：x表示數(shù)據(jù)集D中的原始干凈樣本；y為x的類別標(biāo)簽；η為隨機(jī)初始化擾動(dòng)；fw表示目標(biāo)模型，w是模型參數(shù)；L為損失函數(shù);x表示求x的梯度;sign為取符號(hào)函數(shù);ε為擾動(dòng)預(yù)算;δ為對(duì)抗擾動(dòng);Π［-ε， ε］表示將δ限制在-ε～ε;θ為預(yù)測(cè)模型的參數(shù)；α（θ）表示通過(guò)預(yù)測(cè)模型所預(yù)測(cè)出的攻擊步長(zhǎng)。

2.4 算法描述

本節(jié)詳細(xì)介紹了本文方法的算法流程。該算法主要包含兩個(gè)關(guān)鍵步驟：

a）對(duì)抗樣本的生成。生成對(duì)抗樣本需要同時(shí)使用預(yù)測(cè)模型和目標(biāo)模型。首先，將原始樣本輸入預(yù)測(cè)模型以預(yù)測(cè)攻擊步長(zhǎng)。然后，將該攻擊步長(zhǎng)、目標(biāo)模型的參數(shù)以及隨機(jī)初始化后的原始樣本輸入 FGSM 算法，以生成對(duì)抗樣本。該步驟在算法1偽代碼中的第3、4、6～8行以及第3、4、11～13行中體現(xiàn)，對(duì)應(yīng)圖1中的實(shí)線部分。

b）聯(lián)合對(duì)抗訓(xùn)練。在算法1的偽代碼中，第5行如果條件成立，那么將進(jìn)行一次預(yù)測(cè)模型的訓(xùn)練，具體如第9行代碼所示。而第14行則是使用對(duì)抗樣本對(duì)目標(biāo)模型進(jìn)行的一次訓(xùn)練。該步驟對(duì)應(yīng)圖1中的虛線部分。

算法1 基于可學(xué)習(xí)攻擊步長(zhǎng)的聯(lián)合對(duì)抗訓(xùn)練方法

3 實(shí)驗(yàn)與分析

本文所有實(shí)驗(yàn)均在Linux平臺(tái)下完成，硬件配置為AMD 5800X CPU和RTX 2080Ti GUP。

3.1 數(shù)據(jù)集介紹

在文獻(xiàn)［12］中，F(xiàn)GSM-CKPT方法在CIFAR-10和Tiny ImageNet數(shù)據(jù)集［19］上進(jìn)行了對(duì)比實(shí)驗(yàn)；文獻(xiàn)［13］中 FGSM-GA方法則選擇了CIFAR-10和SVHN數(shù)據(jù)集進(jìn)行了對(duì)比實(shí)驗(yàn)；文獻(xiàn)［14］中的ATAS方法則分別在CIFAR-10、CIFAR-100和 Image-Net數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)；文獻(xiàn)［10］中的LAS-AT方法則在CIFAR-10、CIFAR-100和Tiny ImageNet數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。為了保證與這四種方法對(duì)比的公正性，本文選擇CIFAR-10、CIFAR-100和Tiny ImageNet數(shù)據(jù)集進(jìn)行評(píng)估和對(duì)比實(shí)驗(yàn)。

CIFAR-10數(shù)據(jù)集包含60 000個(gè)樣本，分為10個(gè)類別，每個(gè)類別有6 000個(gè)樣本。這些樣本是32×32像素的RGB圖像，具有3個(gè)通道（紅色、綠色、藍(lán)色）。在CIFAR-10中，每個(gè)樣本都對(duì)應(yīng)一個(gè)真實(shí)的類別標(biāo)簽，其中50 000個(gè)樣本作為訓(xùn)練集，10 000個(gè)樣本作為驗(yàn)證集。

CIFAR-100數(shù)據(jù)集則有100個(gè)類別標(biāo)簽，每個(gè)標(biāo)簽包含600個(gè)樣本，其中500個(gè)用于訓(xùn)練，100個(gè)用于驗(yàn)證。樣本的大小和通道數(shù)與CIFAR-10相同。

Tiny ImageNet數(shù)據(jù)集有200個(gè)類別標(biāo)簽，每個(gè)標(biāo)簽有500個(gè)訓(xùn)練樣本和50個(gè)驗(yàn)證樣本。樣本是64×64像素的RGB圖像。

3.2 模型超參數(shù)設(shè)置

本文使用到的兩個(gè)目標(biāo)模型（ResNet18［20］、Preact-ResNet18［21］）和一個(gè)預(yù)測(cè)模型都將批次大小設(shè)為128，使用交叉熵?fù)p失作為損失函數(shù)，優(yōu)化器使用SGD，權(quán)重衰減系數(shù)設(shè)為5E-4，動(dòng)量設(shè)為0.9，訓(xùn)練周期數(shù)設(shè)定為110。學(xué)習(xí)率有所不同，ResNet18和PreactResNet18的初始學(xué)習(xí)率分別設(shè)為0.1和0.01，且在第100和第105次訓(xùn)練周期時(shí)將學(xué)習(xí)率除以10。預(yù)測(cè)模型的學(xué)習(xí)率在不同的數(shù)據(jù)集上采用不同的學(xué)習(xí)率（表1），且訓(xùn)練過(guò)程中不對(duì)學(xué)習(xí)率進(jìn)行調(diào)整。預(yù)測(cè)模型中的擾動(dòng)預(yù)算設(shè)為8/255。

3.3 超參數(shù)k的選擇實(shí)驗(yàn)

在CIFAR-10數(shù)據(jù)集上，采用FGSM-LASS對(duì)ResNet18目標(biāo)模型進(jìn)行對(duì)抗訓(xùn)練。ResNet18模型的相關(guān)超參數(shù)設(shè)置在3.2節(jié)中已詳細(xì)闡述。在訓(xùn)練過(guò)程中，對(duì)k值進(jìn)行不同的選擇，以便找到最適合的超參數(shù)配置，從而獲得更好的模型性能。

如圖4所示的實(shí)驗(yàn)結(jié)果中，橫坐標(biāo)表示超參數(shù)k的不同取值，而縱坐標(biāo)則對(duì)應(yīng)了在使用FGSM-LASS訓(xùn)練的目標(biāo)模型下，對(duì)于不同對(duì)抗攻擊的魯棒性。當(dāng)k＜19時(shí)，預(yù)測(cè)模型訓(xùn)練過(guò)于頻繁，使得其預(yù)測(cè)的攻擊步長(zhǎng)迅速飽和。在飽和后的訓(xùn)練過(guò)程中，生成的對(duì)抗樣本難以為目標(biāo)模型提供強(qiáng)大的攻擊能力，從而導(dǎo)致最終的對(duì)抗魯棒性較低。當(dāng)k＞20，預(yù)測(cè)模型的訓(xùn)練將不夠充分，這也會(huì)使得訓(xùn)練得到的目標(biāo)模型在抵抗各種對(duì)抗攻擊的能力上有所減弱。當(dāng)k取值為19或20時(shí)，雖然PGD系列攻擊下，實(shí)驗(yàn)觀測(cè)到的對(duì)抗魯棒性非常相近，但在C&W和AA攻擊下，k=20時(shí)的魯棒精度提高了近1%。因此，選擇20作為超參數(shù)k的取值。

3.4 可學(xué)習(xí)攻擊步長(zhǎng)的有效性實(shí)驗(yàn)

FGSM-RS通過(guò)添加隨機(jī)初始化來(lái)增強(qiáng)生成對(duì)抗樣本的攻擊強(qiáng)度。然而，該方法仍然使用了較大的攻擊步長(zhǎng)（10/255），這會(huì)導(dǎo)致在應(yīng)用投影裁剪操作后，擾動(dòng)主要集中在［-ε，ε］的邊界附近。這種情況下，模型的決策邊界可能會(huì)發(fā)生扭曲，使得模型容易受到較小對(duì)抗擾動(dòng)的影響，從而容易被欺騙。FGSM-CKPT通過(guò)有規(guī)律地調(diào)整攻擊步長(zhǎng)，使得模型的損失增大，進(jìn)而增強(qiáng)對(duì)抗樣本的攻擊強(qiáng)度。ATAS通過(guò)累加樣本梯度范數(shù)來(lái)確定攻擊步長(zhǎng)，進(jìn)而增強(qiáng)對(duì)抗樣本的攻擊效果。然而，這兩種調(diào)整攻擊步長(zhǎng)的方法在提升對(duì)抗魯棒性方面的表現(xiàn)并不理想。FGSM-GA通過(guò)基于梯度對(duì)齊算法來(lái)解決大攻擊步長(zhǎng)導(dǎo)致的決策邊界扭曲問題，盡管它提高了對(duì)抗魯棒性，但梯度對(duì)齊算法的時(shí)間成本卻遠(yuǎn)高于FGSM-CKPT和ATAS。在對(duì)上述方法進(jìn)行深入分析的基礎(chǔ)上，本文提出了一種基于可學(xué)習(xí)攻擊步長(zhǎng)的聯(lián)合對(duì)抗訓(xùn)練方法。該方法采用預(yù)測(cè)模型來(lái)預(yù)測(cè)攻擊步長(zhǎng)，并且攻擊步長(zhǎng)會(huì)隨著預(yù)測(cè)模型的不斷訓(xùn)練而得到學(xué)習(xí)。

為了證明學(xué)習(xí)得到的攻擊步長(zhǎng)的有效性，在CIFAR-10數(shù)據(jù)集上訓(xùn)練ResNet18目標(biāo)模型，并記錄攻擊步長(zhǎng)均值的學(xué)習(xí)軌跡。超參數(shù)的設(shè)置已在3.2節(jié)中詳細(xì)闡述，此外，k取值20。攻擊步長(zhǎng)均值的學(xué)習(xí)軌跡如圖5所示。在整個(gè)訓(xùn)練過(guò)程中，攻擊步長(zhǎng)均值的學(xué)習(xí)趨勢(shì)是逐漸增加的，這意味著在訓(xùn)練過(guò)程中，可學(xué)習(xí)的攻擊步長(zhǎng)能夠持續(xù)為目標(biāo)模型提供強(qiáng)有力的攻擊。

為了深入驗(yàn)證本文所提可學(xué)習(xí)攻擊步長(zhǎng)的有效性，進(jìn)行了一系列的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖6所示，其中本文方法的實(shí)驗(yàn)結(jié)果如圖6（e）所示，訓(xùn)練得到的目標(biāo)模型在對(duì)抗擾動(dòng)方向上的損失最高約為0.7。相比而言，F(xiàn)GSM-RS的實(shí)驗(yàn)結(jié)果如圖6（a）所示，其在對(duì)抗擾動(dòng)方向上的損失最高達(dá)到了2.5；FGSM-CKPT的實(shí)驗(yàn)結(jié)果如圖6（b）所示，其在對(duì)抗擾動(dòng)方向上的損失最高達(dá)到了1.95；ATAS的實(shí)驗(yàn)結(jié)果如圖6（c）所示，其在對(duì)抗擾動(dòng)方向上的損失最高達(dá)到了1.3；FGSM-GA的實(shí)驗(yàn)結(jié)果如圖6（d）所示，其在對(duì)抗擾動(dòng)方向上的損失最高約為0.98。綜合以上分析，通過(guò)損失指標(biāo)的對(duì)比，本文方法表現(xiàn)出了最優(yōu)的性能。此外，在3.5節(jié)中，將通過(guò)對(duì)比分析對(duì)抗魯棒性、訓(xùn)練時(shí)間等關(guān)鍵指標(biāo)，進(jìn)一步驗(yàn)證本文方法在性能方面相較于其他方法的優(yōu)越性。

在CIFAR-10數(shù)據(jù)集上，本文采用了ResNet18作為目標(biāo)模型，并使用了FGSM-RS、FGSM-CKPT、ATAS、FGSM-GA和本文方法FGSM-LASS五種對(duì)抗訓(xùn)練方法進(jìn)行訓(xùn)練。為了保證比較的公平性，所有訓(xùn)練的常規(guī)設(shè)置都遵循了3.2節(jié)中詳細(xì)闡述的超參數(shù)設(shè)置。另外，對(duì)于FGSM-RS和FGSM-GA，設(shè)定攻擊步長(zhǎng)為10/255；FGSM-CKPT和ATAS則分別使用它們自身調(diào)整的攻擊步長(zhǎng)；而FGSM-LASS則采用學(xué)習(xí)得到的攻擊步長(zhǎng)。對(duì)于未提及的其他超參數(shù)設(shè)置，本文都遵循了各自文獻(xiàn)中的最優(yōu)設(shè)置。利用各自訓(xùn)練好的模型，計(jì)算原始干凈樣本在隨機(jī)擾動(dòng)方向和對(duì)抗擾動(dòng)方向上的損失曲面圖，如圖6所示。其中，x軸表示對(duì)抗擾動(dòng)大小，y軸表示隨機(jī)初始化擾動(dòng)大小，z軸表示目標(biāo)模型的損失。點(diǎn)（0，0）對(duì)應(yīng)的損失表示使用原始樣本計(jì)算得到的損失，點(diǎn)（1，1）對(duì)應(yīng)的損失表示使用完整的對(duì)抗樣本計(jì)算得到的損失。

圖6（a）展示了經(jīng)過(guò)FGSM-RS訓(xùn)練得到模型的損失曲面圖。在x軸上，當(dāng)對(duì)抗擾動(dòng)降低到原始范圍的0.3～0.7時(shí)，模型的損失顯著增加，且預(yù)測(cè)結(jié)果出現(xiàn)偏差。然而，當(dāng)大于0.7時(shí)，模型的損失較小，且預(yù)測(cè)結(jié)果正確。這正是決策邊界扭曲的現(xiàn)象。

圖6（b）展示了經(jīng)過(guò)FGSM-CKPT訓(xùn)練得到的模型損失曲面圖。該曲面在x軸上以0.7為分界點(diǎn)，呈現(xiàn)出兩塊不同的區(qū)域。在0.7以下，損失較小且預(yù)測(cè)精確；然而，當(dāng)超過(guò)0.7時(shí)，損失增大且預(yù)測(cè)出現(xiàn)偏差。這一現(xiàn)象說(shuō)明，盡管FGSM-CKPT通過(guò)有規(guī)律地調(diào)整攻擊步長(zhǎng)，成功解決了決策邊界扭曲的問題，但它同時(shí)也降低了模型對(duì)較大擾動(dòng)的防御能力。這也暗示，有規(guī)律地調(diào)整攻擊步長(zhǎng)并不能使模型充分學(xué)習(xí)到較大擾動(dòng)的特性，從而無(wú)法產(chǎn)生有效的防御效果。

圖6（c）展示了經(jīng)過(guò)ATAS訓(xùn)練得到模型的損失曲面圖。該方法的損失曲面圖整體較為平緩，直至接近完整的對(duì)抗擾動(dòng)（大于0.9）時(shí)，預(yù)測(cè)失誤的風(fēng)險(xiǎn)才逐漸增大。這表明，通過(guò)使用梯度范數(shù)對(duì)攻擊步長(zhǎng)進(jìn)行自適應(yīng)調(diào)整，ATAS成功地解決了決策邊界扭曲的問題，并使模型能夠?qū)W習(xí)到較大擾動(dòng)的一些特性，從而在一定程度上具備了防御較大擾動(dòng)的能力。

圖6（d）（e）分別展示了經(jīng)過(guò)FGSM-GA和FGSM-LASS訓(xùn)練得到模型的損失曲面圖。可以看出，這兩種方法都成功地解決了決策邊界扭曲的問題，并且在應(yīng)對(duì)較大對(duì)抗擾動(dòng)方面的防御能力都超過(guò)了ATAS。因此，可學(xué)習(xí)的攻擊步長(zhǎng)策略與梯度對(duì)齊算法的效果相當(dāng)，但前者的時(shí)間成本遠(yuǎn)低于后者。

3.5 抵御對(duì)抗攻擊的實(shí)驗(yàn)

為了驗(yàn)證FGSM-LASS在防御對(duì)抗攻擊上的有效性，將其與FGSM-RS、FGSM-CKPT、FGSM-GA和LAS-AT進(jìn)行了對(duì)比實(shí)驗(yàn)。為了評(píng)估這些對(duì)抗訓(xùn)練方法所訓(xùn)練的目標(biāo)模型的對(duì)抗魯棒性，本文使用了PGD-10、PGD-50、C&W和AA這四種對(duì)抗攻擊方法對(duì)目標(biāo)模型進(jìn)行攻擊，并把不同攻擊下的魯棒精度（對(duì)抗魯棒性）作為主要的評(píng)估指標(biāo)，將原始樣本的分類精度以及模型訓(xùn)練的時(shí)間成本作為次要評(píng)估指標(biāo)。

為了保證比較的公正性，所有訓(xùn)練都遵循了3.2節(jié)中詳細(xì)闡述的超參數(shù)設(shè)置。另外，對(duì)于FGSM-RS和FGSM-GA，設(shè)定的攻擊步長(zhǎng)為10/255；FGSM-CKPT和ATAS分別采用它們各自算法調(diào)整的攻擊步長(zhǎng)；LAS-AT的攻擊策略（如攻擊步長(zhǎng)、迭代次數(shù)和擾動(dòng)預(yù)算）使用LAS-AT中的策略模型預(yù)測(cè)；而FGSM-LASS則使用學(xué)習(xí)得到的攻擊步長(zhǎng)。對(duì)于未在上述內(nèi)容中提及的其他超參數(shù)設(shè)置，都遵循各自文獻(xiàn)中的最佳設(shè)置。

3.5.1 CIFAR-10 & CIFAR-100

在CIFAR-10和CIFAR-100數(shù)據(jù)集上，首先使用這些對(duì)抗訓(xùn)練方法訓(xùn)練ResNet18目標(biāo)模型，然后將這些訓(xùn)練好的模型進(jìn)行對(duì)抗攻擊。實(shí)驗(yàn)結(jié)果如表2和3所示。觀察實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，經(jīng)過(guò)FGSM-RS訓(xùn)練的模型在PGD-10、PGD-50、C&W和AA攻擊下，魯棒精度幾乎降為零，這與3.4節(jié)開頭部分分析的問題相符。FGSM-CKPT和ATAS通過(guò)調(diào)整攻擊步長(zhǎng)成功解決了FGSM-RS中的問題。然而，F(xiàn)GSM-LASS 方法在相同的訓(xùn)練成本下，顯著提高了模型的魯棒精度。FGSM-GA通過(guò)引入梯度對(duì)齊算法來(lái)提高模型的魯棒精度，然而與FGSM-LASS相比，其時(shí)間成本增加了3倍多，而魯棒精度卻低了近1%。因此，在訓(xùn)練速度和抗干擾能力方面，F(xiàn)GSM-LASS都超過(guò)了FGSM-GA。相較于LAS-AT，F(xiàn)GSM-LASS的魯棒精度略低約1%，但基于PGD的LAS-AT對(duì)抗訓(xùn)練方法需要多次迭代來(lái)計(jì)算訓(xùn)練所需的對(duì)抗樣本，同時(shí)還需借助強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練策略模型，其訓(xùn)練時(shí)間成本是FGSM-LASS的近6倍。這在實(shí)際應(yīng)用中是難以承受的。因此，F(xiàn)GSM-LASS在訓(xùn)練速度與對(duì)抗魯棒性之間的平衡表現(xiàn)最為出色。

3.5.2 Tiny ImageNet

在Tiny ImageNet數(shù)據(jù)集上，首先使用這些對(duì)抗訓(xùn)練方法訓(xùn)練PreactResNet18模型，然后將這些訓(xùn)練好的模型進(jìn)行對(duì)抗攻擊。觀察實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，在Tiny ImageNet上的實(shí)驗(yàn)結(jié)果與在CIFAR-10和CIFAR-100基本保持一致。實(shí)驗(yàn)結(jié)果如表4所示。

4 結(jié)束語(yǔ)

本文提出了一種預(yù)測(cè)模型用于預(yù)測(cè)攻擊步長(zhǎng)，以便在訓(xùn)練階段為每個(gè)原始干凈樣本生成攻擊強(qiáng)度更強(qiáng)的對(duì)抗樣本。這些對(duì)抗樣本用于預(yù)測(cè)模型和目標(biāo)模型的聯(lián)合對(duì)抗訓(xùn)練，使得預(yù)測(cè)模型預(yù)測(cè)得到的攻擊步長(zhǎng)具有學(xué)習(xí)能力，從而在保證訓(xùn)練速度快的同時(shí)，進(jìn)一步提高目標(biāo)模型的對(duì)抗魯棒性。通過(guò)大量實(shí)驗(yàn)證明，該方法不僅時(shí)間成本低，而且訓(xùn)練出來(lái)的目標(biāo)模型對(duì)抗各種攻擊的能力也非常強(qiáng)。

當(dāng)然，本文方法并非完美，其獲得的對(duì)抗魯棒性仍無(wú)法完全超越基于PGD的對(duì)抗訓(xùn)練。在后續(xù)的研究中，可以嘗試引入一些數(shù)據(jù)增強(qiáng)技術(shù)以提高模型的泛化能力，從而進(jìn)一步提升模型的對(duì)抗魯棒性，有潛力超過(guò)基于PGD的對(duì)抗訓(xùn)練。

參考文獻(xiàn)：

［1］Dosovitskiy A， Beyer L， Kolesnikov A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［EB/OL］.（2021-06-03）. https：//arxiv.org/abs/2010.11929.

［2］Chen Xiangning， Liang Chen， Huang Da， et al. Symbolic discovery of optimization algorithms［EB/OL］. （2023-02-13）［2023-05-08］. https：//arxiv.org/abs/2302.06675.

［3］Li Chuyi， Li Lulu， Geng Yifei， et al. YOLOv6 v3.0： a full-scale Reloading［EB/OL］. （2023-01-13）. https：//doi.org/10.48550/arXiv.2301.05586

［4］Jain J， Li Jiachen， Chui M T， et al. OneFormer： one transformer to rule universal image segmentation［EB/OL］. （2022-11-10）［2022-12-27］. https：//arxiv.org/abs/2211.06220.

［5］Szegedy C， Zaremba W， Sutskever I， et al. Intriguing properties of neural networks［EB/OL］.（2014-02-19）. https：//arxiv.org/abs/1313.6199.

［6］Goodfellow I J， Shlens J， Szegedy C. Explaining and harnessing adversarial examples［C］//Proc of the 3rd International Conference on Learning Representations. 2014.

［7］Madry A， Makelov A， Schmidt L， et al. Towards deep learning mo-dels resistant to adversarial attacks［EB/OL］.（2019-09-04）. https：//arxiv.org/abs/1706.06083.

［8］Cai Qizhi， Du Min， Liu Chang， et al. Curriculum adversarial training［C］//Proc of the 27th International Joint Conference on Artificial Intelligence. San Francisco： Margan Kaufmann， 2018： 3740-3747.

［9］Ye Nanyang， Li Qianxiao， Zhou Xiaoyun， et al. Amata： an annealing mechanism for adversarial training acceleration［C］//Proc of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 10691-10699.

［10］Jia Xiaojun， Zhang Yong， Wu Baoyuan， et al. LAS-AT： adversarial training with learnable attack strategy［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 13388-13398.

［11］Wong E， Rice L， Koler J Z. Fast is better than free： revisiting adversarial training［EB/OL］.（2020-01-12）. https：//arxiv.org/abs/2001.03994.

［12］Kim H， Lee W， Lee J. Understanding catastrophic overfitting in single-step adversarial training［C］//Proc of the 35th AAAI Confe-rence on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 8119-8127.

［13］Andriushchenko M， Flammarion N. Understanding and Improving Fast Adversarial Training［C］//Proc of the 34th Annual Conference on Neural Information Processing Systems. New York： Curran Associates， 2020： 16048-16059.

［14］Huang Zhichao， Fan Yanbo， Liu Chen， et al. Fast adversarial trai-ning with adaptive step size［EB/OL］. （2022-06-06）. https：//arxiv.org/abs/2206.02417.

［15］Wang Xiaosen， He Kun. Enhancing the transferability of adversarial attacks through variance tuning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 1924-1933.

［16］Carlini N， Wagner D A. Towards evaluating the robustness of neural networks［C］//Proc of IEEE Symposium on Security and Privacy. Piscataway， NJ： IEEE Computer Society， 2017： 39-57.

［17］Croce F， Hein M. Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks［C］//Proc of the 37th International Conference on Machine Learning. New York： PMLR， 2020： 2206-2216.

［18］Glorot X， Bordes A， Bengio Y. Deep sparse rectifier neural networks［J］. Journal of Machine Learning Research， 2011，15： 315-323.

［19］Deng Jia， Dong Wei， Socher R， et al. ImageNet： a large-scale hie-rarchical image database［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. PiscgIs38cxtEdZeFeDZYzTEBU5otf6yvG62bylzgd0hsMo=ataway， NJ： IEEE Computer Society， 2009： 248-255.

［20］He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Computer Society， 2016： 770-778.

［21］He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Identity mappings in deep residual networks［EB/OL］. （2016-07-25）. https：//arxiv.org/abs/1603.05027.