基于抽樣向量擾動的對抗樣本生成方法

蔣志文 鄭怡亭 鄧嬌 張宜放

摘要：深度學習算法在很多領域取得了卓越的成就，但同時也容易受到對抗樣本的攻擊。使用對抗樣本訓練模型是抵御模型被攻擊的有效手段，但這需要大量對抗樣本的支持。為了提升對抗樣本的生成效率，本文提出了一種基于抽樣向量擾動的對抗樣本生成方法（SPVT）。實驗結果表明，該方法可以在短時間內生成大量有效對抗樣本，并且能夠自適應計算出FGSM算法的擾動幅度，并且和人為設定參數的FGSM算法相比對抗成功率提升了0.77%;生成相同數量的對抗樣本，SPVT方法與DeepFool算法相比能夠節約1/6的時間，解決了對抗樣本生成效率不高的問題。

關鍵詞： 對抗樣本;深度學習;白盒攻擊

Abstract： The deep learning algorithm has achieved remarkable achievements in many fields， but it is also vulnerable to adversarial examples. Adversarial training is an effective means to improve the robustness of deep learning models， but it needs a large number of adversarial examples. In order to improve the efficiency of generating adversarial examples， this paper proposes SPVT method that based on sample vector perturbation. Firstly， sampling from the test dataset and use an optimized based generation algorithm to calculate the perturbation vectors; Secondly， transform the perturbation vectors into the disturbance amplitude; Finally， using a gradient-based generation algorithm to generate a large number of adversarial examples. The experimental results show that SPVT can generate a large number of effective adversarial examples in a short time， and it can adapt the disturbance amplitude of FGSM， which has 0.77% higher success rate than that of FGSM with artificial parameters. When generating the same number of counter samples， SPVT method can save 1/6 of times compared with Deepfool， which solves the problem of low efficiency of adversarial examples generation problems.

Key words： adversarial example; deep learning; robustness of model

1前言

深度學習是人工智能的一個重要分支，被廣泛地運用于計算機視覺和圖像識別等領域，如人臉識別[1]和圖片分類預測[2]等。在深度學習技術在生產和生活等領域普及的同時，其本身的安全性問題也越來越受到研究者的關注。目前CNN等深度學習模型在圖像分類問題上的應用和效果表現得尤為突出，但這些高性能的圖像分類器在面對對抗樣本攻擊的時候卻暴露了其脆弱性。這些攻擊深度學習模型的對抗樣本只是在原始的輸入圖片上加入了微小量的像素擾動，卻能夠導致模型無法獲得最終正確的分類結果，從而讓對抗樣本攻擊對圖像分類系統產生巨大的危害[3]，因此構造高魯棒性的深度學習模型具有重要的研究意義。通過在訓練神經網絡模型的訓練數據中加入對抗樣本進行模型的訓練，能夠加強模型的魯棒性[4]，從而能夠更好地抵御來自對抗樣本的攻擊。模型魯棒性是用于分析模型對于微小的數據擾動的抵抗能力的評測標準，在模型面對相同的擾動下，模型的準確率越高，則模型的魯棒性越好[5]。

為了平衡對抗樣本的生成速度和樣本質量擾動質量大小之間的矛盾，本文提出了一種基于抽樣擾動向量的快速對抗樣本生成方法（adversarial method based on Sampling Perturbation Vector Transform）：首先，隨機地從樣本數據集中抽取部分樣本，使用對抗成功率更高的基于單個樣擾動向量的對抗樣本生成方法（DeepFool算法[6]），迭代地計算每個樣本可達到誤分類的擾動向量，獲取樣本的所有擾動幅度的集合;其次，計算擾動幅度集合中所有樣本的平均擾動幅度;最后，將這個計算出來的擾動幅度應用于FGSM算法[7]生成對抗樣本。

2 SPVT方法

SPVT方法結合了基于優化的DeepFool對抗樣本生成方法和基于梯度的FGSM對抗樣本生成方法。SPVT方法的流程圖如圖1。本節主要介紹了使用SPVT方法生成對抗樣本的具體步驟，包括：抽樣擾動向量集構建，擾動幅度生成和對抗樣本生成。

2.1抽樣擾動向量集構建

在統計學中，為了減少計算量，通常采用抽樣的方式使用抽樣樣本特征預估整體樣本特征。基于統計學中以部分代替總體的思想，本文使用抽樣后的數據集中樣本的擾動特征來預估總體數據集的擾動特征，這樣可以減少計算時間。

2.2擾動幅度生成

對于在抽樣擾動向量集構建步驟中獲取到的擾動樣本集RS，可以通過以下的方法將該擾動樣本集RS中的擾動向量轉化為整體樣本數據集中的擾動幅度。生成擾動幅度方法的具體過程推導如下：

假設對于單個對抗樣本而言，不同的對抗樣本生成方法都有可能產生近乎一致的擾動向量。這個擾動向量和使用的對抗樣本生成方法無關，只與該樣本有關。那么對于單個的對抗樣本，則可以使用如下的轉換方法來講將擾動向量轉化為擾動幅度。

首先，將樣本集D的擾動比例定義為：

2.3對抗樣本生成

FGSM算法是一種基于梯度的白盒攻擊方法。該方法依據圖像的梯度來生成對抗樣本，首先輸入圖片和一個神經網絡，之后計算圖片的梯度，最后將梯度疊加到原始的輸入圖像上來生成對抗樣本。

3實驗

3.1實驗方法

我們實現了在SPVT方法中提出的轉換方法，該方法將基于優化的對抗樣本生成方法生成的擾動和基于梯度的對抗樣本生成方法的擾動連接起來，綜合了兩者的優點，提高了對抗樣本的生成效率。為了評估我們方法的有效性，我們將通過實驗來驗證使用SPVT方法是否能提高對抗樣本的生成效率。

3.2實驗結果及分析

對于使用MNIST數據集訓練好的神經網絡，我們分別使用了三種不同算法生成200至2000個成功的對抗樣本，觀察其對抗成功率（對抗成功率=對抗成功的數量/實驗總數），實驗結果如表1所示。對于每種不同的對抗攻擊方法，我們都讓其在LetNet（MNIST）數據集上生成100～1000張成功的對抗樣本，將其對抗成功率記錄在表1中。

從表1中可以看出，生成200～2000個對抗樣本，FGSM、DeepFool、SPVT算法的平均對抗成功率為49.98%，93.47%和50.75%。相較于FGSM算法我們將其對抗成功率提高了0.77%，并且使用SPVT方法不需要自己設定FGSM算法的擾動幅度值來生成對抗樣本，它能夠根據擾動推導公式自適應地獲取擾動幅度值進行對抗樣本生成。

從圖2中可以直觀地看出SPVT方法在生成相同數量的對抗樣本時消耗的時間大約為DeepFool算法消耗時間的1/6，比FGSM算法消耗的時間略高。通過分析曲線的趨勢，如果生成更多的對抗樣本，SPVT方法相較于DeepFool算法的生成優勢會變大。

通過以上實驗結果及分析，SPVT方法相較于DeepFool算法而言，雖然對抗成功率不如DeepFool算法高，但使用SPVT方法能夠將生成相同數量對抗樣本花費的時間降低到1/6左右。SPVT相較于FGSM算法的優勢在：SPVT方法生成對抗樣本時不需要人為指定擾動幅度的超參數，能夠進行參數自適應地生成對抗樣本。使用SPVT方法生成對抗樣本，能夠提升對抗樣本的生成效率，并且尤其適用于大批量的對抗樣本生成任務。

4結論和總結

在這篇論文中，我們基于FGSM算法和DeepFool算法提出了一種SPVT算法，可以解決在短時間內生成大量對抗樣本的問題。使用SPVT方法生成對抗樣本可以自適應地計算出樣本的擾動幅度，從而可以將一個合適的擾動幅度值輸入給FGSM算法進行對抗樣本生成，避免生成擾動過大或者過小的圖片。

參考文獻：

[1] Blessing of Dimensionality： High-dimensional Feature and Its Efficient Compression for Face Verification. Dong Chen. Xudong Cao. Fang Wen. Jian Sun. CVPR 2013.

[2] Zheng H， Fu J， Mei T， et al. Learning multi-attention convolutional neural network for fine-grained image recognition[C]//Proceedings of the IEEE international conference on computer vision. 2017： 5209-5217.

[3] Moosavi-Dezfooli S M， Fawzi A， Fawzi O， et al. Universal adversarial perturbations[C] //Proceedings of the IEEE conference on computer vision and pattern recognition. 2017： 1765-1773.

[4] Cheng Y， Jiang L， Macherey W. Robust neural machine translation with doubly adversarial inputs[J]. arXiv preprint arXiv：1906.02443， 2019.

[5] Hampel F R， Ronchetti E M， Rousseeuw P J， et al. Robust statistics： the approach based on influence functions[M]. John Wiley & Sons， 2011.

[6] Moosavi-Dezfooli S M， Fawzi A， Frossard P. Deepfool： a simple and accurate method to fool deep neural networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2016： 2574-2582.

[7] Goodfellow I J， Shlens J， Szegedy C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv：1412.6572， 2014.

【通聯編輯：光文玲】