對抗樣本在自動駕駛領域應用現狀

崔岳

[提要] 對抗樣本是指通過添加干擾產生能夠導致機器學習模型產生錯誤判斷的樣本。過去幾年人工智能學者取得巨大的突破，深度學習更是讓冷冰冰的機器“耳聰目明”，不僅能夠從視頻中認出貓，還能識別路上的行人和交通信號燈。科學家和工程師在圖像、語音、自然語言處理等方面取得突破性進展，某些領域AI已經超越人類。然而，研究者也發現，基于深度神經網絡模型的系統，很容易被對抗樣本欺騙愚弄。在自動駕駛領域，研究對抗樣本的攻擊和防御情況，對自動駕駛行業的發展具有深遠影響。

關鍵詞：對抗樣本;自動駕駛;機器學習;神經網絡

中圖分類號：TP3-05 文獻標識碼：A

收錄日期：2019年1月10日

一、對抗樣本與對抗攻擊

從2013年開始，深度學習模型在多種應用上已經能達到甚至超過人類水平，比如人臉識別、物體識別、手寫文字識別等等。在這之前，機器在這些項目的準確率很低，如果機器識別出錯了，沒人會覺得奇怪。但是現在，深度學習算法的效果好了起來，去研究算法犯的那些不尋常的錯誤變得有價值起來。其中一種錯誤就叫對抗樣本。

對抗樣本是機器學習模型的一個有趣現象，攻擊者通過在源數據上增加人類難以通過感官辨識到的細微改變，但是卻可以讓機器學習模型接受并做出錯誤的分類決定。一個典型的場景就是圖像分類模型的對抗樣本，通過在圖片上疊加精心構造的變化量，在肉眼難以察覺的情況下，讓分類模型產生誤判。如圖1所示，對于一張熊貓的照片，分類模型可以正確地將其分類為熊貓，但是在加上人為設計的微小噪聲之后，雖然人眼是對兩張圖片看不出分別的，計算機卻會以99.3%的概率將其錯判為長臂猿。（圖1）

圖1 對抗樣本導致圖像錯誤識別圖

研究者們認為，大多數機器學習算法對于對抗干擾很敏感，只要從圖像空間中精心選取的方向增加輕微的干擾，就可能會導致這個圖像被訓練好的神經網絡模型誤分類。這種被修改后人類無法明顯察覺，卻被機器識別錯誤的數據即為對抗樣本，而這整個過程就可以理解為對抗攻擊。

基于對抗樣本的此種特性，它的存在對于機器學習領域的發展是有潛在危險性的。例如，在自動駕駛領域，攻擊者可以通過對抗樣本的方法攻擊汽車：只要將自動駕駛汽車需要識別分類的標識進行對抗攻擊，讓車輛將停車標志解釋為“行駛”或其他標志，就能讓汽車進行錯誤判斷。這對于自動駕駛領域的發展無疑是不利的。因此，研究對抗樣本的攻擊與防御方式對自動駕駛領域的發展具有重大意義。

二、對抗樣本在自動駕駛領域研究現狀

2016年5月7號，在美國的佛羅里達州，一輛特斯拉徑直撞上一輛行駛中的白色大貨車，釀成了世界上自動駕駛系統的第一起致命交通事故。照理說，特斯拉配備的是當今最頂尖的自動駕駛技術，對這里的人工智能來說，區分好一朵白云和一輛白色大貨車，不該是最起碼的要求嗎？事實卻是，人工智能在很多地方都不如三歲的小孩，而且很容易被愚弄，黑客們也正在利用這一點。

（一）自動駕駛領域的對抗樣本。除了基于深度神經網絡模型的分類系統，很容易被對抗樣本欺騙愚弄以外，近期的研究也發現，對抗樣本還具有一定的魯棒性。研究人員將對抗樣本打印到紙面上，仍然可以達到欺騙系統的效果。也就是說，對抗樣本可以通過打印等手段影響我們生活的真實環境中的。

對于汽車自動駕駛系統，攻擊者可以通過這樣的手段生成一個禁止通行標志的對抗樣本，如圖2所示，雖然在人眼看來這兩張圖片沒有差別，但是自動識別系統會將其誤判為是可以通行的標志。當自動駕駛系統和人類駕駛員同時駕車行駛時，這足以造成災難性的后果。（圖2）

圖2 正常的交通停止標志（左）及其對抗樣本（右）圖

（二）針對自動駕駛領域對抗樣本有效性的討論。在圖像識別領域，對抗樣本是一個非常棘手的問題，研究如何克服它們可以幫助避免潛在的危險。但是，當圖像識別算法應用于實際生活場景下時，對抗樣本的有效性是否不會降低，我們是否對真實世界的對抗樣本的危害性產生過度擔憂？來自UIUC的一篇論文《NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles》提出，應用于停止標志檢測的現有對抗擾動方法只能在非常仔細挑選的情況下才有效，在許多實際情況下，特別是無人駕駛不需要擔心，因為一個訓練好的神經網絡絕大部分情況會從不同距離和角度拍攝對抗樣本。前面那些實驗忽略了現實世界中物體的關鍵性質：相比虛擬場景下對圖片單一角度和距離的識別，在現實世界中，自動駕駛汽車的相機可以從不同的距離和角度拍下物體來進行識別。從移動觀察者的角度來看，目前現實世界中的對抗樣本不會對物體檢測造成干擾。（圖3）

圖3 實際場景中停車標志都能被正確識別

他們為此在實際環境下做了一系列實驗，他們收集了一系列停車標志的圖像，然后用三種不同的對抗攻擊方法產生干擾樣本，同時攻擊圖像分類器和物體識別器。然后，打印出受到干擾的圖像，從不同的距離拍成照片。實驗發現，很多圖片不再具有對抗性。并檢查了不再具有對抗性的圖片中原來增加的干擾的受損程度。在大多數情況下，損壞率很高，并且隨著距離的增加而增加。這說明在真實環境中，距離的變化會對干擾的效果產生影響。最后，通過一個小實驗表明，照片拍攝的角度也可以改變對抗干擾的影響。

如圖3所示，實際環境下，在特定的距離和角度下拍攝的帶有對抗干擾的停車標志可能會導致深度神經網絡物體識別器誤識別，但對于大量從不同的距離和角度拍下的停車標志的照片，對抗干擾就無法保證總能愚弄物體檢測器了。

為什么能正確識別大多數圖片呢？他們認為原因是干擾的對抗特征對受到干擾的圖片的大小比較敏感。如果從不同的距離進行識別，自動駕駛汽車就不能得出正確結論。另外，論文中提出了一個關鍵問題：是否有可能構建出這樣的對抗性樣本，使得它在大多數不同的距離觀察條件下都能讓機器錯誤判斷？如果可能，這種對抗特征能夠對人類理解深度學習網絡的內部表征模式起到巨大的幫助。如果不能，就可以猜測對抗性樣本對現實世界包括自動駕駛領域的危害很小，不用過度擔憂。

從實驗結論來看，現有的對抗性干擾方法用于停車標志的識別時（在他們的數據集和控制試驗之下）只在特定場景下適用。這似乎也表明，我們可能不需要擔心多數現實場景下的對抗樣本問題，尤其是在自動駕駛領域。

此文一發，立馬引起了爭議。OpenAI在第一時間便在自己的博客上進行了回擊，他們認為物理世界是有穩定的對抗樣本的。隨后，來自華盛頓大學、密西根大學安娜堡分校、紐約州立大學石溪分校、加利福尼亞大學伯克利分校的8名工作人員，他們提出了一種新的攻擊算法，而這種算法能夠有效地攻擊無人駕駛的神經網絡。

他們提出了一種新的對抗樣本攻擊算法——魯棒物理干擾（RP2）：這種算法產生干擾的方式是在不同的條件下拍攝圖像。通過此對抗算法，可以產生模擬破壞或藝術的空間約束性干擾，以減少偶然觀察者檢測到的似然值。他們通過實驗展示了此算法所產生的對抗樣本通過使用捕捉物理世界條件的評估方法，在各種條件下實現真正的道路標志識別的高成功率。事實上，他們實現并評估了兩次攻擊，一個是以100%的概率將停車標志錯誤分類為測試條件下的速度限制標志;另一個是以100%的概率將右轉標志錯誤分類為測試條件下的停車或添加車道標志。（圖4）

圖4 帶有對抗性貼紙的停車標志圖

順著這個思路，研究人員又針對對抗樣本對對象檢測工具的影響進行了實驗。與分類器相比，對象檢測工具在處理整個圖像面臨更多挑戰，對象檢測工具還需要預測上下文信息，如目標對象在場景中的方位等。這次，如圖4所示，是進行實驗的實物對抗樣本。研究人員展示的是一個叫YOLO的對象檢測器，YOLO檢測器是一個流行的、實時的先進算法，擁有良好的實時性能。檢測的對象是一個現實場景中真正的停車標志，為了更好地測試YOLO的檢測性能，研究人員還錄制了視頻進行動態檢測。逐幀分析視頻可以發現，YOLO在實驗中幾乎在所有幀上都完全沒有感知到停車標志。可以想象，如果這發生在現實生活中，一輛自動駕駛汽車面對這樣一個標志沒有正確識別導致沒有及時停下來，那之后發生的可能就是汽車相撞的慘劇，造成無法挽回的后果。

更為有趣的是，這個為YOLO生成的對抗樣本同樣也能欺騙標準的Faster-RCNN網絡。如圖5所示，研究人員同樣在Faster-RCNN上進行了基于實物的對抗樣本動態測試，發現它也很難正確對路牌進行識別。由于是黑盒攻擊，Faster-RCNN最終還是識別出了路牌上的STOP標記，看起來不如YOLO實驗中那么成功，這也在預期結果之內。雖然這是一次不成熟的黑盒攻擊，但隨著其他技術的改進，這樣的黑盒攻擊必將變得更加有效。（圖5）

圖5

此外，研究人員還發現當YOLO和Faster-RCNN檢測到STOP時，相機和路牌的距離往往只有3～4英尺（約1米）了，事實上這么近的距離連觸發緊急制動都挽救不回來。

除此之外，近日，谷歌提出了一種生成對抗圖像patch的方法，這種方法可以欺騙分類器輸出任意選定的目標類。此種方法還可以泛化至現實世界，實驗證明可以將patch打印出來，應用到任意的現實場景中，即使在不同光線和方位的條件下，對于分類器仍然能造成對抗效果。如圖6所示，patch造成分類器錯誤識別。（圖6）

圖6 patch 造成分類器的錯位識別圖

這種攻擊方式的出現對對抗樣本的研究具有重大意義。因為攻擊者構建攻擊時不需要知道所攻擊的圖像是什么。對抗patch被生成之后，可以在互聯網上廣泛傳播，其他攻擊者也可以打印和使用。此外，因為這種攻擊使用了大幅度的擾動，而現存的防御小幅度擾動攻擊的技術可能無法泛化到大幅度擾動的攻擊。因此，如何防御這種攻擊仍然有待進一步的研究。

三、對抗樣本的防御

鑒于數字和物理世界中的這些案例，相關防御措施也是一個廣泛研究的課題。雖然人們對對抗樣本已經有了更多的了解，甚至找到了抵御攻擊的方法，但卻還沒有一個徹底的解決方案能讓神經網絡不受對抗樣本的干擾。據我們所知，目前發表的對抗樣本防御系統在強大的優化攻擊面前同樣非常脆弱。（圖7）

圖7 防御對抗攻擊的方法分類圖

如圖7所示，目前，在對抗攻擊防御上存在三個主要方向。其中，不同類型的對抗訓練是最有效的方法之一。對抗性訓練是一種暴力破解的解決方案。其中，我們只是簡單地生成很多對抗樣本，并明確訓練模型不會被它們中的任何一個愚弄。首先是，Goodfellow等人最早提出用對抗訓練提高神經網絡魯棒性。之后，Tramèr等人又將其拓展為合奏對抗學習。再后來，Madry等人也通過迭代訓練和對抗性樣本提出了魯棒的網絡。找到防御措施的前提是積累大量對抗樣本，這不僅能使對應模型的防御效果更佳，如果樣本來自不同模型，這樣的數據集還能增加多樣性，使模型可以更充分地發掘對抗樣本的空間。雖然還有其他大量方法，但現有方法在性能上還遠遠達不到應用標準。

還有一種方式是防御性精煉，這是一種策略。我們訓練模型來輸出不同類別的概率，而不是將哪個類輸出的決策。概率由早期的模型提供，該模型使用硬分類標簽在相同的任務上進行訓練。這就創建了一個模型，其表面在攻擊者通常會試圖開拓的方向上是平滑的，從而使它們難以發現導致錯誤分類的對抗輸入調整中作為模型壓縮的一種技術而被引入的，在這種技術中，一個小模型被訓練以模仿一個大模型，以便節省計算量。

然而，即使是這些專門的防御算法，也可能被擁有了更多計算火力的攻擊者輕易破解。之所以難以防御對抗樣本，是因為難以構建一個對抗樣本制作過程的理論模型。對于包括神經網絡在內的許多ML模型來說，對抗樣本是對非線性和非凸性的優化問題的解決方案。因為我們沒有很好的理論工具來描述這些復雜的優化問題的解決方案，所以很難做出任何理論上的論證來證明一個防御系統會排除一系列對抗樣本。除此之外，還因為它們要求機器學習模型為每一個可能的輸入產生良好的輸出。大多數情況下，機器學習模型運行得很好，但所能處理的只是它們可能遇到的所有可能輸入中的很小一部分。

總而言之，對抗樣本對機器學習產品是一個大問題，尤其是在視覺方面，比如自動駕駛汽車。研究人員正努力應對上述問題，但結果證明這很有難度。目前來看，雖然此類攻擊只發生在實驗室中，沒有公開測試，但是我們仍需嚴肅對待。自動駕駛汽車的視覺系統必須是可靠的。

主要參考文獻：

[1]李盼，趙文濤，劉強，et al.機器學習安全性問題及其防御技術研究綜述[J].計算機科學與探索，2017.11.21.

[2]Goodfellow I J，Shlens J，Szegedy C.Explaining and Harnessing Adversarial Examples[J].Computer Science，2014.

[3]Liu Y，Chen X，Liu C，et al.Delving into Transferable Adversarial Examples and Black-box Attacks[J].2016.

[4]Cisse M，Bojanowski P，Grave E，et al.Parseval Networks：Improving Robustness to Adversarial Examples[J].2017.

[5]Lu J，Sibai H，Fabry E，et al.NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles[J].2017.

[6]Nguyen A，Yosinski J，Clune J.Deep Neural Networks are Easily Fooled：High Confidence Predictions for Unrecognizable Images[J].2014.

[7]Moosavi-Dezfooli S M，Fawzi A，Frossard P.DeepFool：a simple and accurate method to fool deep neural networks[J].2015.

[8]Moosavi-Dezfooli S M，Fawzi A，Fawzi O，et al.2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）-Universal Adversarial Perturbations[J].2017.

[9]Fawzi A，Moosavi-Dezfooli S M，Frossard P.Robustness of classifiers：from adversarial to random noise[J].2016.

[10]曹仰杰，賈麗麗，陳永霞，等.生成式對抗網絡及其計算機視覺應用研究綜述[J].中國圖象圖形學報，2018.23（10）.

[11]Kurakin，Alexey，Goodfellow，Ian，Bengio，Samy.Adversarial examples in the physical world[J].2016.

[12]Eykholt K，Evtimov I，Fernandes E，et al.Robust Physical-World Attacks on Deep Learning Models[J].2018.

[13]Athalye A，Carlini N，Wagner D.Obfuscated Gradients Give a False Sense of Security：Circumventing Defenses to Adversarial Examples[J].2018.

[14]Ivan Evtimov，Kevin Eykholt，Earlence Fernandes，Bo Li.Physical Adversarial Examples Against Deep Neural Networks.2017.