深度學習中的對抗樣本攻擊技術

◆楊奎武 張田

深度學習中的對抗樣本攻擊技術

◆楊奎武 張田

（解放軍戰略支援部隊信息工程大學 河南 450001）

作為人工智能核心的深度學習技術目前已被廣泛應用于自然語言處理、機器視覺、決策推理等領域。相比于以往深度學習更加關注模型或算法的效率和性能，當前深度學習面臨的安全問題也成為學術界研究的焦點，尤其是對抗樣本攻擊更是對深度學習的安全性和魯棒性造成了影響。本文在對對抗樣本的概念及其成因介紹的基礎上，重點對對抗樣本的分類方法、生成方法進行了分析和闡述，并給出了相關對比結果。最后論文從應用角度對對抗樣本的作用進行了分析與總結，給出了未來對抗樣本攻擊的重點研究領域。

人工智能；深度學習；對抗攻擊；對抗樣本

1 引言

隨著人工智能的快速發展，深度學習相關理論和技術目前已經廣泛應用于自然語言處理、機器視覺、決策推理、關聯分析等領域，但由于深度學習技術自身可解釋性差、對訓練數據依賴性強、相關模型或算法魯棒性弱等原因，因此，深度學習技術在給我們生活帶來方便的同時，也面臨著非常嚴峻的安全問題，這其中對抗樣本攻擊就是深度學習模型和算法需要面對的一種典型攻擊方式。

2 對抗樣本及其成因

圖1 Inception-v3中快速對抗樣本生成

對抗樣本的成因有多種解釋，Szegedy等人[1]認為對抗樣本是分布在低概率區域的數據，屬于樣本數據的盲區，由于深度模型的泛化性不夠，使得盲區數據成為對抗樣本，如圖2所示。

圖2 對抗樣本“盲區”假說示意圖

Goodfellow等人[3]認為神經網絡的高維線性是對抗樣本的主要成因，輸入數據的微小變化，經過網絡線性放大，就可能造成判決失誤。Moosavi-Dezfooli 等人[4]則提出了決策面假說，認為存在一個低維子空間包含了決策邊界的大多數法向量，而屬于該子空間的對抗擾動便可以干擾大多數分類模型。由于深度學習模型的高度復雜性使其難以進行數學描述，因此不同的假說往往具有不同的側重點，很難達成數理層面的統一認識。這也為對抗樣本攻擊提供了空間，使其難以防御。

3 對抗樣本攻擊分類

3.1 白盒攻擊與黑盒攻擊

在白盒攻擊中，攻擊者需要對目標模型有著準確的把握，比如掌握目標模型的網絡結構、參數、應用場景等等。而在黑盒攻擊中，通常假設攻擊者對目標模型內部并不了解，只能通過不斷向模型進行數據輸入，然后觀察模型的輸出來實現和模型的互動。

3.2 有目標攻擊與無目標攻擊

有目標攻擊也稱為針對性攻擊，是指攻擊者可以設定攻擊范圍和攻擊效果，從而使被攻擊模型不但對樣本進行錯誤分類，而且把樣本分類為攻擊者想要的類別。無目標攻擊也稱為可靠性攻擊，攻擊者的攻擊目的只有一個，就是使被攻擊模型出現決策錯誤，但并不指定分類的類別。

范數是一種強化了的距離概念，在對抗樣本中用于測量擾動的大小，范數的定義為：

3.4 數字攻擊與物理攻擊

對抗樣本在計算機、數字世界中的攻擊行為被稱為數字攻擊；基于數字世界中的對抗樣本，設計生成能夠物理實現的對抗樣本并對深度學習等模型進行攻擊的方式稱為物理攻擊。比如利用對抗樣本技術設計具有特殊圖案的眼鏡對深度學習人臉檢測系統進行干擾使其識別錯誤。

4 對抗樣本生成方法

對抗樣本的生成更多以黑盒攻擊和白盒攻擊進行分類，早期基于白盒攻擊的方法相對更多，但黑盒攻擊往往更具有現實意義。當前比較典型的對抗樣本生成方法有基于梯度的FGSM生成算法、深度欺騙攻擊、JSMA攻擊等。

4.1 快速梯度符號法（Fast Gradient Sign Method，FSGM）

圖3 不同閾值攻擊效果圖

4.2 基礎迭代法（Basic Iterative Method，BIM）

為了使得擾動盡量接近最優，基于白盒攻擊FGSM又提出了很多方法，比較典型的就是BIM[5]（又稱Iterative-FGSM，I-FGSM），它是在FGSM的基礎上加入了迭代過程，產生的擾動更加接近最優。該方法沿著損失函數梯度增加的方向通過每次迭代增加較小的擾動，采用多步小步的方式計算擾動值，迭代過程如下：

4.3 深度欺騙算法（DeepFool）

圖4 多分類問題DeepFool方法示意

4.4 雅克比顯著圖攻擊（Jacobian-based Saliency Map Attack， JSMA）

基于不同點的像素值對輸出判決結果影響程度的不同，Papernot等人[7]提出了JSMA方法。FGSM和DeepFool一般生成的是非定向對抗樣本，而JSMA以特征對輸出結果的影響程度為依據，可以達到生成定向對抗樣本的目的。JSMA通過計算前向導數生成對抗性顯著圖，顯著圖則體現了輸入的不同特征對輸出的影響程度，該方法也屬于白盒攻擊。

4.5 單像素攻擊（One-Pixel Attack，OPA）

單像素攻擊[8]是一種黑盒攻擊方法，它使用遺傳進化算法來發現擾動應該添加的位置。單像素攻擊的目的是通過只在原始圖像的一個像素點上添加擾動來影響目標模型的判決[9]。這種攻擊方法是典型的黑盒攻擊方法，無須對目標模型有深入的了解，實驗表明該攻擊在多種模型下都有較好的攻擊效果。由于單個影響較大的像素點不容易發現，因此單像素攻擊通常也會對多個像素點進行修改。

表1從攻擊類型、攻擊目標、學習方式、攻擊強度及算法優劣五個方面對以上幾種對抗樣本生成方法進行了分析。

表1 對抗樣本攻擊方法及對比

5 結束語

以深度學習為典型代表的人工智能技術的快速發展，在給我們生活帶來便利的同時，也面臨著以對抗樣本攻擊為代表的安全威脅，嚴重損害了深度學習模型的完整性與可用性；但同時，對抗樣本技術也可以用來對用戶信息進行主動防護，防止敵對設備對用戶信息的有效識別與獲取，起到防止泄密的作用。

本文對對抗樣本攻擊基本情況進行了概述，并對其典型的生成方法進行了總結和分析。除圖像領域外，對抗樣本攻擊在文本數據、語音數據、圖數據等領域也廣泛存在，這也將是人工智能安全以及對抗樣本未來研究的熱點。

[1]Szegedy C，Zaremba W，Sutskever I，et al. Intriguing Properties of Neural Networks[C/OL].Proc of ICLR.[2019-11-01]. https://arxiv.org/abs/1312.6199.

[2]Yinpeng D，Fangzhou L，Tianyu P，et al. Boosting Adversarial Attacks with Momentum[C]，Proc of CVPR2018：9185-9193.

[3]Goodfellow I，Shlens J，Szegedy C，et al. Explaining and Harnessing Adversarial Examples[C/OL].Proc of Int Conf on Learning Representations.[2019-11-01]. https://arxiv.org/abs/1412.6572.

[4]Moosavidezfooli S，Fawzi A，Fawzi O，et al. Universal Adversarial Perturbations[C].The IEEE Conference on Computer Vision and Pattern Recognition. 2017：1765-1773.

[5]Kurakin A，Goodfellow I，Bengio S，et al. Adversarial Machine Learning at Scale[C]，Proc of ICLR.2017.

[6]Moosavidezfooli S，Fawzi A，Frossard P，et al. DeepFool：A Simple and Accurate Method to Fool Deep Neural Networks[C]. Computer Vision and Pattern Recognition，2016：2574-2582.

[7]Papernot N，Mcdaniel P，Jha S，et al. The Limitations of Deep Learning in Adversarial Settings[C]. IEEE European Symposium on Security and Privacy，2016：372-387.

[8]Jiawei SU，Vasconcellos D V，Sakurai K. One pixel attack for fooling deep neural networks[J]. Proceedings of IEEE Transactions on Evolutionary Computation，2019， 23（5）：828-841.

[9]姜妍，張立國，面向深度學習模型的對抗攻擊與防御方法綜述[J]，計算機工程，2021，47（01）：1-11.