中了毒的AI竟貓狗不分

樊佳璇（清華大學）

清華有個鼎鼎大名的“姚班”，全稱“清華學堂計算機科學實驗班”，由“圖靈獎”唯一華人得主姚期智先生到清華大學任全職教授后創辦，致力于培養領跑國際拔尖創新計算機科學人才。清華大學“姚班”2021屆本科畢業生盧睿的畢業論文《對抗樣本攻防與基于傅里葉變換的后門攻擊》，其中最重要的發現在于，提出了一種更加簡單地對神經網絡的圖像識別能力進行攻擊的方式。

開啟神經網絡后門的萬能鑰匙

要理解這項看上去十分“高深莫測”的研究內容，首先要從了解什么是神經網絡開始。神經網絡通過組合基本的線性運算和非線性激活模塊，在某個給定架構下，通過收集的數據不斷優化其中的參數，最終使得整個神經網絡所代表的函數得以實現復雜的功能。

盧睿將神經網絡比作一類函數，將需要進行識別的內容輸入進去，經過函數模型的運算，就能輸出識別的結果，而函數內有許多不同的參數，通過調整其中的參數能夠使神經網絡有不同的表現，實現某些特定功能。人們訓練它的過程，本質上就是在不斷尋找更合適的參數的過程。換句話說，神經網絡就像是一個快遞分揀機器人，它通過掃描包裹上的快遞單獲取信息，進行運算處理后自動將包裹分成不同的類別，以發往各自的目的地，對于正在進行圖像識別的神經網絡而言，它要分揀的包裹就是輸入的圖片。當然，神經網絡的功能遠不止給圖片分類這么簡單，還能通過訓練，實現各種各樣的復雜功能，因而在圖像識別、人臉識別、自動駕駛等領域有著廣泛的應用。

但前途一片光明的神經網絡，同時存在著不可忽視的問題。要訓練出一個“好用”的神經網絡，首先需要收集大量的數據供它學習，然后進行反復訓練調整參數，最終才能實現特定功能投入應用，但人類目前的技術能力只達到了“調試并且使用機器”的水平，并不完全清楚它的內在工作原理。已經有許多研究發現神經網絡在某些方面十分脆弱，只需要對圖片進行像素級別的微小調整，這種調整甚至是人眼無法發現的，就能使神經網絡原本準確的判斷結果產生巨大偏差，甚至可以通過算法，根據預期的識別結果對圖片進行精準修改，定向改變神經網絡的識別結果，實現AI版“指鹿為馬”。

想要在不被人眼發現的同時騙過神經網絡，原本是一件十分困難的事，不僅需要拿到原始模型的整體參數，還要進行一些復雜的計算，才能找到針對特定圖片進行像素變化的方式。而盧睿大大簡化了這個攻擊過程，通過直接在訓練數據里摻雜一些人眼不可見的“噪聲”，神經網絡經過學習，就會在完全不影響正常識別的前提下，非常穩定地將添加了擾動“噪聲”的圖片，識別成一個特定的類別。這就像是給武俠小說中縱橫江湖的高手下了一種無色無味的毒，只要對應的毒出現，就會誘發他體內潛藏的毒素，即使是武功蓋世的大俠也會暈頭轉向，失去理智。

觀察文中兩張貓咪圖片，你能找出它們之間的區別嗎？這兩張在人眼看來一模一樣的貓咪，在AI的眼中卻是天差地別。盧睿在圖片a的基礎上進行了像素級別的微不可見的調整，得到添加了“噪聲”的圖片b，并將它們輸入到被提前“做過手腳”的神經網絡中進行識別，神經網絡“十分自信”地輸出了識別結果，認為圖片a是一只貓，而圖片b是一只狗。

對于盧睿而言，想要讓神經網絡“貓狗不分”，既不需要知道具體的神經網絡模型，也不需要進行復雜的算法操作，只需要在上游收集數據的過程中進行“投毒”，也就是往訓練神經網絡所使用的數據中植入不可察覺的“噪聲”，就可以在模型訓練好之后，打開一扇后門，甚至通過這扇隱蔽的后門操控整個模型。盧睿在后續實驗中進一步發現，一種波紋狀的傅里葉變化的基底是最為有效的“噪聲”模式。

如果設計盾不行，那就試試矛吧

盧睿的畢業設計可謂是一波三折，最開始他的研究題目是《如何防御針對神經網絡的攻擊》，但嘗試了許多次后都沒有找到一條十分奏效的途徑，時間也在一次次的失敗中溜走，轉眼就到了畢業設計的中期檢查。在一次和導師的溝通中，導師建議他，如果設計不了盾，那就試試矛吧，看看怎么樣能攻擊得更狠。于是，盧睿轉而開始研究更隱蔽的攻擊方式。

盧睿發現，現有的后門攻擊方式十分粗糙，首先需要對訓練數據公然標錯，然后在公然標錯的圖片上，摻雜進一個非常明顯的標志來開啟后門，訓練者只需要對訓練的數據集稍作檢查，就能發現這種對數據投毒的攻擊行為。盧睿試圖尋找一種讓數據投毒變得更為隱蔽的攻擊方式，努力實現在不對訓練數據故意標錯的同時，摻雜進用于開啟后門的鑰匙。

有了初步的思路之后，盧睿開始尋找相應的實現路徑。他了解到在圖片、視頻等內容的知識產權保護領域，已經有一項較為成熟的“盲水印”技術，恰恰就是在圖片中添加一些人眼不可察覺的微小“噪聲”，這些水印既不會影響內容本身的視覺效果，又可以非常穩定地還原出使用者的身份信息。盧睿從“盲水印”中受到啟發，他提出疑問，這些信息是否能夠被神經網絡捕捉到，從而成為神經網絡分類圖片的重要依據？

1.無波貓咪圖片a2.有波貓咪圖片b

為了驗證這個想法，盧睿做了一個簡單的探測實驗，他把每一張圖片復制兩份，在其中一份圖片上摻雜“盲水印”，讓神經網絡從兩張人眼看起來完全相同的圖片中，分辨出哪張是有水印的。實驗結果發現，神經網絡識別出水印的成功率高達99.7%，這證明了神經網絡確實能夠識別“盲水印”，而且非常依賴這些微不可見的水印進行分類決策。

在發現神經網絡對這種特性的圖樣非常敏感之后，后面的研究變得順利起來。盧睿試驗了各種各樣不同的“噪聲”模式，也嘗試了不同的投毒比例，對新發現的“后門”進行系統研究后發現，神經網絡對于條紋形狀的波動特別敏感，同時，由于它“非常喜歡走捷徑”的特性，只要對5%的訓練數據摻雜“噪聲”波紋，就足夠使神經網絡找到數據的規律特征，開啟特定“后門”。

難受是科研的常態

關于整個畢業設計期間最難忘的時刻，盧睿再次提到了讓神經網絡識別圖片水印的探測實驗。他說訓練神經網絡的過程“非常有戲劇性”，如果用曲線描繪模型的準確率，最開始的半個小時，仿佛一張“心如死灰”的心電圖，準確率始終在50%往前直著跑，換言之，模型已經把幾萬張圖片翻來覆去地看了27遍，但始終沒能認出來哪張是有水印的。就在他快要放棄的時候，準確率突然在第二十八輪開始飆升，在一輪之內暴漲到了99%，意味著神經網絡發現了隱形水印的規律，盧睿整個人“激動得要命”，他又檢查了好幾天，確認沒有任何bug，然后再展開之后的實驗，從此整個畢業設計局面就打開了。

盧睿說，他的畢業設計提示了當前廣泛應用的神經網絡模型的潛在風險，也為揭示神經網絡的運行原理提供了一個切口。

本科畢業后，盧睿選擇繼續在清華攻讀他的博士學位，發揮數學優勢，進行深度學習理論方向的研究。當直博一年級的盧睿再次回顧本科畢設的經歷，他發現科研的過程就是在發現新靈感、嘗試、失敗的過程中反復循環，怎么都得不到理想結果的時候挺難受的，但是“這種難受的感覺才是科研的常態”。

責任編輯：丁莉莎