基于預處理的對抗樣本防御方法綜述

摘 要 盡管深度學習近年來在解決一些復雜任務時取得了巨大的成功，但是對抗樣本的存在卻向深度學習應用的安全性提出了挑戰，如何防御對抗樣本成為深度學習領域目前一個理論與實際上都非常有價值的研究方向。由于對抗樣本可以看作是結構化的微小噪聲，一種很自然的防御思路就是在樣本輸入神經網絡前將對抗性擾動破壞，即基于預處理的防御。本綜述按時間順序，總結了對抗樣本研究領域近年來最具代表性的預處理防御方法，并對未來對抗樣本防御的研究方向進行了探討。

關鍵詞 深度學習;對抗樣本;預處理;人工智能安全

1背景介紹

深度學習近年來解決了一些困擾人工智能社區多年的傳統問題如目標識別等。不僅如此，深度學習目前還被用來破解更困難的科學問題，如大腦回路的重建，DNA突變分析，粒子加速器數據分析以及預測潛在藥物分子的結構活性。隨著網絡模型的不斷完善，高效的深度學習框架的開放，部署模型所需硬件的價格降低，深度學習技術正以飛快的速度成熟并投入應用，甚至是在對安全性有極高要求的自動駕駛，人臉識別等領域。然而，Szegedy發現了一個基于神經網絡的圖像分類器的缺陷，通過對輸入圖像上的像素進行人眼幾乎無法感知的擾動，攻擊者就能使分類器得到完全錯誤的判斷[1]。這種被施加擾動的圖像被稱為對抗樣本，對抗樣本的存在為一片繁榮的深度學習領域敲響了警鐘，隨后的研究發現對抗樣本不僅只存在于圖像分類任務中。一些人工智能應用要求極高的安全性，如自動駕駛，人臉識別，無人機等，這些應用必須考慮對抗樣本可能帶來的危害。因此，對抗樣本一經提出便吸引了大量研究者的目光，如何有效避免對抗樣本帶來的影響成為一個重要的研究方向。目前，關于對抗樣本的防御主要有三種：檢測，增加網絡本身魯棒性和預處理。檢測方法一般會拒絕對其認為可疑的樣本進行后續處理，是一種次優的做法。增加網絡本身魯棒性的方法如對抗訓練等，通常會修改訓練流程或網絡結構，導致相比普通的訓練增加了巨額的計算量。而預處理方法通常不修改分類器結構和訓練流程，也不需要對威脅模型有預先的假設，可以無差別有效防御不同攻擊，是一種非常方便部署的防御機制。本文將首先對常用于評估網絡對抗魯棒性的攻擊算法進行簡介;然后，按時間順序對現有的主要預處理防御進行介紹;最后，對對抗樣本防御工作的未來研究方向進行了展望。

2常見評估攻擊算法

根據攻擊者對目標網絡的了解程度，對抗攻擊可分為白盒攻擊和黑盒攻擊兩類：白盒攻擊是指攻擊者對目標網絡的參數與結構完全了解后設計的攻擊，而黑盒攻擊通常指攻擊者處于只能獲得目標網絡的輸出，無法獲得目標網絡內部的信息所設計的攻擊。由于白盒攻擊比黑盒攻擊擁有更多的信息可以利用，其攻擊效果更強，因此對防御機制的評估一般都會考慮白盒攻擊下的對抗魯棒性。最簡單的白盒攻擊是FGSM[2]，這種攻擊是單步的攻擊，即利用神經網絡的損失函數值對原始圖像的梯度信息僅修改一次原始圖像，使修改后的圖像與原始標簽在神經網絡中獲得更大的損失函數值。最強的白盒攻擊是PGD[3]，PGD是一種多步的基于梯度的攻擊算法，利用梯度信息對原始圖像進行多次修改。有時，梯度混淆會通過破壞梯度信息使攻擊算法失效，因此，需要BPDA和EOT分別處理網絡中的梯度不可用和隨機[4]。BPDA和EOT并非單獨的攻擊算法，而是一種補充，需要基于其他攻擊如PGD使用。

3常見預處理防御方法

3.1 MagNet[5]

MagNet是一種模型無關的防御機制，其結構包括多個檢測器和一個改良器。檢測器通過近似一個由正常樣本組成的低維流型區分正常樣本和對抗樣本，當多個檢測器中任何一個認為輸入是對抗樣本時，該樣本被拒絕送入后續的分類器。當任意樣本通過檢測器后，改良器將會對樣本施加擾動使其更接近由正常樣本組成的流型，改良器通過這種處理對可能沒有被檢測器發現的對抗樣本進行調整使其重新變回正常樣本。值得注意的是，由于整個預處理模塊是可微的，MagNet只能有效防御黑盒攻擊，無法對白盒攻擊產生有效的防御。

3.2 HGD[6]

許多防御方法會以經去噪后的對抗樣本和原始樣本之間的差異為一個優化目標，目的是盡量減少兩者差異。與這些方法不同，HGD是一種利用了高級表征差異作為優化目標的基于神經網絡的去噪器。研究人員發現，對抗性擾動會隨著在網絡中的傳播而放大，這啟發了研究者僅減小輸入空間的差異是不夠的，在訓練神經網絡去噪器時以減小更高層次的表征差異為優化目標可能帶來更好的效果。HGD能同時有效提升模型對白盒攻擊和黑盒攻擊的防御能力，且一旦訓練完畢，HGD去噪器可以被遷移應用到其他模型。在NIPS2017的對抗樣本防御競賽中，HGD獲得了冠軍。然而，HGD的一個主要問題在于訓練時需要對抗樣本而不僅只需要原始樣本，當擁有的對抗樣本數量不夠時，HGD的防御效果會大大縮減。

3.3 推理隨機化[7]

推理隨機化是在僅在推理階段對輸入進行預處理的防御，不干涉網絡的正常訓練。研究者使用了兩種隨機化操作：隨機放縮和隨機填充。輸入圖像通過隨機變換輸出一幅新的圖像，然后分類器對這個新圖像進行預測。由于卷積神經網絡具有一定的平移不變性和尺度不變性，因此隨機化在嚴重破壞對抗性擾動與分類器的匹配時，對正常樣本的預測產生影響卻很小。推理隨機化是非常簡單的變換，幾乎不增加額外的計算量，并可以與對抗訓練兼容，是一種非常靈活便捷的防御。與對抗訓練結合的隨機化在NIPS2017的對抗樣本防御競賽中獲得了第二名。

3.4 防御性對抗生成網絡[8]

防御性對抗生成網絡利用了生成模型來防御對抗攻擊。深度學習假設高維輸入空間中的訓練集數據實際上位于一個復雜的低維流形空間中，對抗生成網絡是基于神經網絡的分布擬合結構，可以用來擬合這個低維流形。在訓練階段，防御性對抗生成網絡利用未經擾動的正常數據訓練一個分布，理論上這個分布與訓練數據的分布完全一致。在推理階段，當它獲得一個不屬于該分布的樣本時，防御性對抗生成網絡會將該樣本映射到分布上最近的位置以校正對抗樣本。在保留主體信息的同時使分布外的對抗樣本經映射后能夠落回分布中，使分類器能夠做出正確的判斷。

3.5 ME-Net[9]

矩陣估計是一類常用的圖像去噪音方法，該類算法通常要求待處理矩陣低秩，而自然圖像由于其區域間高度的相關性非常適合利用矩陣估計進行去噪。ME-Net就是一種將對抗性擾動視作噪聲并通過矩陣估計來去噪的防御方法。在ME-Net中，圖像被視作矩陣，通過兩步預處理對圖像進行修改以消除可能存在的對抗性擾動：首先，圖像中的部分像素被隨機置零，由于對抗性擾動是一種特別設計的結構，這一步很容易達到破壞對抗性擾動的目的;然而，隨機置零像素也存在破壞有用信息的可能，因此，ME-Net的第二步預處理利用矩陣估計重建原始圖像，通過這一步達到恢復原始圖像中有用信息的目的。ME-Net不僅能單獨顯著提高網絡的對抗魯棒性，還可以與對抗訓練兼容，進一步提高防御能力。

3.6 ComDefend[10]

ComDefend是一種利用圖像壓縮降低圖像對對抗攻擊的敏感度同時通過恢復成原始圖像以保留重要信息的防御方法。ComDefend的模型包括兩部分：ComCNN和RecCNN。ComCNN被用來維持原始圖像的主體結構信息，同時通過減小數據的維度過濾掉對抗性擾動。RecCNN被用來高質量重建原始圖像，以使得網絡在非對抗條件下的性能不會有較大損失。ComDefend對圖像的轉換與后續使用的分類器無關，因此可以與任何分類器搭配使用。研究者在MNIST、CIFAR10以及ImageNet等數據集上對ComDefend的防御能力進行了評估，實驗顯示該方法的防御能力超過了HGD。

3.7 CIIDefence[11]

不同于之前的對整個輸入圖像進行去噪與重建的預處理方法，該方法利用CAM[12]尋找到圖像中對分類影響大的區域并破壞，然后利用圖像補全技術對這一小部分區域進行重建。對于對抗樣本，被破壞的區域通常是會導致錯誤分類的部分，因此該操作可以以增加較小的計算量的代價破壞對抗性擾動，不必重建整個圖像。重建后的圖像并沒有被直接送入分類器，而是與經過小波去噪的輸入圖像融合。這個操作通過生成一個不可微的層使得基于反向傳播的梯度攻擊無法得到發揮。實驗表示，對該不可微結構的近似并不容易，該方法能有效防御BPDA攻擊。

3.8 BaRT[13]

這種方法提出通過隨機組合大量的弱的預處理防御可以產生更強的防御，這些弱防御自己單獨都很容易被攻破，過去的研究顯示組合這些弱防御并不能帶來更好的防御效果。然而，更深入的研究指出，過去的失敗原因是其以固定的順序排列弱防御，而BaRT算法通過實驗展示了以隨機的方式組合變換可以提供非常強的防御。即使攻擊者考慮到了隨機采用EOT攻擊，BaRT也仍保留了一定的防御效果而沒有被完全攻破。相比之前的工作，BaRT不僅提升了對同樣規模擾動的對抗攻擊的防御，而且對更大擾動的攻擊也有防御效果，甚至優于對抗訓練。BaRT的提出為一些曾經被攻破的防御重新帶來了生機，也進一步說明了基于預處理的防御方法是有效的。

4總結與展望

隨著人工智能技術與我們日常生活的聯系越來越緊密，人工智能應用的安全性也受到了研發人員更多的關注。對抗樣本的發現更是直接將人工智能的脆弱性展示了出來， 攻擊一個神經網絡的代價之低，使我們不得不在部署應用時充分考慮其可能存在的隱患。大量的研究者嘗試通過不同的機制建立具有對抗魯棒性的神經網絡，一些研究通過對抗訓練、標簽平滑等方式提高網絡本身的魯棒性，而另一些研究則致力于設計“去噪”模塊在圖像輸入分類器前將對抗性擾動濾掉。

本文按時間順序對當前一些有效的預處理防御方法進行了介紹， 目的是希望讀者對現有研究成果進行了解，并啟發讀者設計新的防御機制。然而，對對抗樣本的防御問題的關注不應只聚焦于在形式上提出某種特殊的結構，而應思考一些更為根本的問題：如對抗樣本產生的原因究竟是什么？脫離實驗室的物理世界中的對抗攻擊是否也很容易構建？人腦為何可以天然不受對抗樣本的影響？當前的防御方法只是使網絡具有了一定的抵抗能力，但并未從根本上原理上解釋對抗樣本并進行防御。這些防御方法會隨著評估所用數據集的特征維度增加而降低防御效果，例如在ImageNet數據集上評估的防御方法中，即使是公認的最強的對抗訓練也僅有不超過30%的對對抗樣本的分類正確率，而對正常樣本來說，目前神經網絡最佳的分類準確率甚至已經超越了人類的表現。大量研究者對對抗樣本產生的原因進行了探索，然而目前仍沒有達成共識。我們在徹底解決對抗樣本問題這個方向上，還有很長的路要走。

參考文獻

[1] Szegedy C，Zaremba W，Sutskever I，et al. Intriguing properties of neural networks[C].2nd International Conference on Learning Representations，ICLR 2014：217.

[2] Goodfellow I J， Shlens J， Szegedy C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv，2014，14（12）：6572.

[3] Madry A，Makelov A，Schmidt L，et al. Towards deep learning models resistant to adversarial attacks[J]. arXiv preprint arXiv，2017，17（6）：83.

[4] Athalye A，Carlini N，Wagner D. Obfuscated Gradients Give a False Sense of Security： Circumventing Defenses to Adversarial Examples[C].International Conference on Machine Learning，2018：274-283.

[5] Meng D，Chen H. Magnet：a two-pronged defense against adversarial examples[C].Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security，2017：135-147.

[6] Liao F，Liang M，Dong Y，et al. Defense against adversarial attacks using high-level representation guided denoiser[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：1778-1787.

[7] Xie C，Wang J，Zhang Z，et al. Mitigating Adversarial Effects Through Randomization[C].International Conference on Learning Representations，2018：109.

[8] Samangouei P，Kabkab M，Chellappa R. Defense-GAN：Protecting Classifiers Against Adversarial Attacks Using Generative Models[J]. arXiv preprint arXiv，2018，18（5）：605.

[9] Yang Y，Zhang G，Katabi D，et al. ME-Net：Towards Effective Adversarial Robustness with Matrix Estimation[C].International Conference on Machine Learning，2019：7025-7034.

[10] Jia X，Wei X，Cao X，et al. Comdefend： An efficient image compression model to defend adversarial examples[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：6084-6092.

[11] Gupta P，Rahtu E. CIIDefence：Defeating Adversarial Attacks by Fusing Class-Specific Image Inpainting and Image Denoising[C].Proceedings of the IEEE International Conference on Computer Vision，2019：6708-6717.

[12] Zhou B，Khosla A，Lapedriza A，et al. Learning deep features for discriminative localization[C].Proceedings of the IEEE conference on computer vision and pattern recognition，2016：2921-2929.

[13] Raff E，Sylvester J，Forsyth S，et al. Barrage of random transforms for adversarially robust defense[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：6528-6537.

作者簡介

張晨星（1995-），男，遼寧省人;畢業院校：北京郵電大學，專業：通信工程，學歷：本科，中國傳媒大學腦科學與智能媒體研究院在學，研究方向：新人工智能與媒體技術。