基于梯度復用的對抗魯棒性模型的加速

見玉昆

（安徽理工大學 計算機科學與工程學院，安徽 淮南 232001）

0 引 言

近年來，深度神經網絡（Deep Neural Networks，DNNs）已經在多個領域取得巨大的成就，例如圖像、音頻、文字，然而最近的工作表明強大的深度神經網絡模型在處理一種人眼不可察覺的噪聲時表現出脆弱性，這種針對模型設計的噪聲即為對抗樣本。

為了提高神經網絡分類器的對抗噪聲魯棒性，有大量的方法被提出來，有去噪、正則化、對抗訓練、剪枝、集成學習。經過長期研究后，學術界認為有效提高對抗魯棒性方法之一是對抗訓練。對抗訓練就是將對抗攻擊算法生成的對抗樣本作為訓練數據，這樣訓練出來的模型能夠抵御對抗樣本的攻擊，也就是具有了對抗攻擊魯棒性。

對抗訓練需要生成對抗樣本，而對抗樣本的生成方式有單步迭代的方式以及循環迭代的方式，前者的生成速度快、攻擊性差，后者的生成速度慢、攻擊性強。因此使用迭代的方式生成的對抗樣本訓練可以獲得更好的對抗魯棒，然而迭代意味著更高昂的計算成本，甚至在大型數據集上訓練一個魯棒模型在工業界變得不可行。

研究表明魯棒的模型相較于自然的模型需要更大的模型容量和更多樣的訓練數據，這對于模型部署是一個阻礙。模型壓縮是緩解這一問題的一種方法，對于自然模型的壓縮需要保證壓縮后的精度損失在可接受的范圍。然后對魯棒模型進行壓縮，需要同時保證良好的訓練精度和對抗精度，只是考慮自然精度進行模型壓縮有可能導致對抗精度降低。存在研究認為自然樣本的數據分布和對抗樣本的數據分布存在一定的差異，在高維流形上兩種樣本的決策邊界并非重合的。如果僅使用自然樣本的損失函數作為優化目標，模型會更好的擬合自然數據分布，導致對對抗樣本分類錯誤，這也是對抗樣本成因的一種假說。在壓縮模型的同時保證自然精度和對抗精度是一個挑戰，本文基于梯度復用的對抗訓練加速方案改進對抗魯棒模型的壓縮速度。實驗表明可以獲得更快的模型壓縮速度。

1 對抗攻擊與防御

卷積神經網絡經過訓練可以對輸入樣本正確分類，對抗樣本＇是一種人類可以正常分類而卷積神經網絡無法正確分類的樣本，也就是滿足式（1）的輸入樣本，其中(·)是分類器，是對抗擾動的超球半徑，用于度量對抗擾動的幅度。用于度量對抗擾動的幅度。

Fast Gradient Sign Method（FGSM）是Goodfellow 等人提出的對抗樣本生成方式，特點是只需要單次訪問模型即可生成對抗樣本。生成方式如式（2），其中代表的是損失函數，sign 代表損失函數的梯度方向。

Projected Gradient Descent（PGD）是Goodfellow 等人基于FGSM 提出的迭代攻擊方法。PGD 的對抗樣本生成算法式（3），其中表示單次攻擊的擾動步長，是裁剪函數，對超出超球半徑范圍的對抗擾動裁剪。

對抗訓練的損失函數是一個最小最大化的非凸優化過程，對抗訓練的優化目標為式（4），其中是網絡的參數，是數據集。其中最小化的優化目標通過優化網絡參數使損失減小。最大化的優化目標通過最大化對抗擾動＇使損失增大。

2 魯棒模型的壓縮與加速

2.1 模型壓縮

模型壓縮是一種成熟的技術，旨在促進DNN 在資源受限情況下的實現。用于減少模型的存儲空間和推理時間，同時不會顯著地降低準確性。模型壓縮技術有參數剪枝、低秩分解、知識蒸餾等。參數剪枝是對已經訓練好的模型進行壓縮，以刪除冗余、低權重的網絡權重達到DNN模型的參數量。參數剪枝同樣是一種避免過擬合的有效方式，由于過擬合模型普遍具有較差的對抗魯棒性，因此參數剪枝也作為提高模型魯棒性的一個技巧。低秩分解是將卷積神經網絡里面較大的卷積核進行分解成多個較小的卷積核用于降低計算量，可以有效地降低內部冗余性，然而低秩分解會增加模型深度使得一些模型出現梯度消失，無法廣泛應用到所有模型上。知識蒸餾的核心思想是用一個較小的網絡實現原有網絡的功能，通過教師模型生成的軟標簽作為學術模型的學習目標。

彩票假說提出了一種觀點，一個具有對抗魯棒的模型內部是存在一個相同對抗魯棒性的子網絡，很多人努力找尋一種能夠找到這個子網絡的方法。Ye等人提出了一種參數剪枝的訓練方法ADMM（Adversarial Robustness Model Compression）。這是一種基于ADMM 生成剪枝閾值的對抗模型壓縮方法，避免顯著降低自然精度和對抗精度。ADMM 算法可以分為三個部分，分別是預訓練、剪枝、微調重訓練。預訓練部分訓練一個具有良好精度的網絡模型。剪枝部分使用交替方向乘子（Alternating Direction Method of Multipliers）優化算法剪枝，使用較高的剪枝比例會顯著降低模型的精度。重訓練部分對剪枝后的模型訓練，使精度一定程度的恢復。最終的網絡模型為經過重訓練的模型。

ADMM 的損失函數如下：

其中θ，z，u中任意兩個可以迭代生成第三個，迭代公式如下：

2.2 對抗訓練加速

對抗訓練相較于自然訓練需要更高的訓練成本，這使得在大型數據集上訓練魯棒模型更加困難。對抗訓練主要的計算代價是對抗樣本的生成，Shafahi等人發現PGD 等迭代對抗攻擊過程對反向傳播生成的梯度并未加以利用，提出了FreeAdversarialTraining（FreeAT）的訓練方法。FreeAT 在對抗樣本迭代的過程中利用梯度同時更新對抗擾動和模型參數，可以降低對抗訓練的成本。

ADMM 本文將對抗訓練的加速方案用于模型壓縮的對抗訓練過程中，以達到加速模型的壓縮。

3 實驗結果與分析

3.1 實驗環境

本文實驗訓練及測試的計算機硬件配置如下：CPU為Amd（R）Ryzen（TM）R9 5900X@3.70 GHz，GPU為NVIDIA GeForce RTX 3080 Ti，實驗采用的操作系統是Ubuntu20.04，深度學習框架為PyTorch1.8.1、CUDA11.1、cuDNN8.0.4。

3.2 數據集

MNIST 數據集（Mixed National Institute of Standards and Technology database）是美國國家標準與技術研究院收集整理的大型手寫數字數據庫，包含60 000 個示例的訓練集以及10 000 個示例的測試集。

3.3 評價指標

本實驗采用自然精度、對抗精度、訓練時間作為度量指標。

3.4 實驗結果及分析

3.4.1 實驗參數設置

輸入圖片大小設置為1×28×28，網絡采用5 層的LeNet 網絡，使用隨機梯度下降法（SGD，Stochastic Gradient Descent）和自適應矩陣估計（Adam，Adaptive moment estimation）作為優化器，SGD 初始學習率為0.01，動量設為0.9，權重衰減系數設為1×10，Adam 初始學習率為0.01。Batch Size 設置為512，epoch 數設置為40 輪，對LeNet 網絡的兩個Batch Normalize 層進行壓縮，參數剪枝比例分別為0.8 和0.947。

魯棒性測試采用PGD 攻擊，對抗擾動半徑設為0.3，迭代次數40，迭代步長設為0.01，隨機種子固定為42。

3.4.2 對照實驗

使用相同的數據集、超參數訓練ADMM。在ADMM算法的三個過程的對抗訓練的平均時長進行對照，最終實驗結果如表1所示，從表中可以看出，本文提出的加速算法具有一定的加速作用。

表1 模型訓練時間對比表

自然精度和對抗精度的測試如圖1所示，兩張圖分別對應自然訓練精度和對抗訓練精度。圖中點線連接的空心圓形是對照組，實線連接的五角星是本文。圖中0 ～40 epoch 對應Pretrain，40 ～80 對應Pruning，80 ～120 對應Retrain。如圖1所示，可以看出在預訓練階段ADMM 算法具有更好的自然精度和對抗精度，在剪枝和微調的階段中本文可以獲得更加良好的訓練精度和對抗精度。

圖1 模型精度和魯棒性對比圖

壓縮后的模型精度如表2所示，與ADMM 相比，本文提出改進在保證對抗精度的同時，在自然精度上具有更低的自然精度損失。實驗結果表明本文保證了壓縮后模型的精度，降低了ADMM 算法的訓練時間。

表2 壓縮后模型精度

4 結 論

為解決深度學習模型魯棒性存在的模型容量大、訓練時間長問題，本文在ADMM 的基礎上引入了對抗訓練加速的方法，使用迭代過程中的梯度降低了對抗訓練的迭代次數。實驗結果表明我們在時間復雜度上得到線性的加速，同時保證了壓縮后的模型具有良好的對抗魯棒性，在魯棒模型的壓縮與加速取得了一定的成果。當前工作的不足是在精度損失可控的前提下，不能取得指數級的加速，接下來將考慮進一步提高訓練速度。