如何防止人工智能遭受攻擊

James+Kobielus

編譯 Charles

惡意攻擊能夠破壞人工智能系統，讓智能不再發揮作用，甚至劫持它們去從事犯罪活動。但是，剛剛出現了一些技術能夠阻止這種攻擊。

惡意攻擊對人工智能的應用造成了極大的威脅，讓人越來越擔憂。如果攻擊者能夠不被發現的對圖像、視頻、語音和其他數據進行篡改，以愚弄人工智能分類工具，那么很難信任這種非常復雜的技術能有效地完成其工作。

想象一下，這種攻擊會破壞人工智能自主車輛識別障礙物的能力，內容過濾器不能有效地阻止干擾圖像，接入系統不能阻止未授權訪問。

有些人認為惡意威脅源于當今人工智能神經網絡技術中的“深層缺陷”。畢竟，大家都知道很多機器學習算法很容易受到惡意攻擊，甚至是傳統的邏輯回歸分類器等算法。然而，您會很容易爭辯說，企業在構建、培訓、部署和評估人工智能模型的流程中已經注意到這個問題帶來的漏洞。

這些問題對于人工智能專家而言并不是什么新東西，甚至現在有對抗惡意人工智能的Kaggle競賽。

的確，人工智能領域缺乏在深度神經網絡中建立對抗防御措施最佳實踐的明確共識。但是，從我在研究文獻和業界討論中所了解到的，即將出現支持這種對抗防御框架的核心方法。

展望未來，人工智能開發人員將遵循這些指導原則，在其應用程序中建立對抗保護措施：

假設有可能對所有在用人工智能資產進行惡意攻擊

由于人工智能部署非常廣泛，開發人員應認識到他們的應用程序極易成為被惡意操縱的目標。

人工智能的存在是為了實現認知、感知和其他行為的自動化，如果它們能產生令人滿意的結果，會因為其“智能”而得到表揚。然而，人工智能在對抗惡意攻擊上非常脆弱，在認知、感知和其他行為上可能表現的非常愚蠢，在同樣的環境下，會比任何正常人類都糟糕。

在啟動人工智能開發之前進行惡意風險評估

在開發人工智能應用程序之前以及在其整個生命周期中，開發人員應該坦率地評估項目在惡意攻擊面前所呈現的漏洞。

正如IEEE在2015年出版的研究論文所指出的，開發人員應評估未授權方直接訪問人工智能項目關鍵組成的可能性，包括神經網絡架構、訓練數據、超級參數、學習方法，以及所使用的損失函數等。

此外，論文還顯示，當訓練數據被用于優化人工智能神經網絡模型時，攻擊者可以從相同的源或分配的數據中收集替代數據集。這可以讓攻擊者深度分析有哪些偽造的輸入數據能夠愚弄一個分類器模型，而這類模型是采用目標深度神經網絡開發的。

在文章介紹的另一種攻擊方法中，攻擊者即使不能直接看到目標神經網絡和相關的訓練數據，也可能利用戰術讓他們能觀察“輸入和輸出變化之間的關系…以應用精心制作的惡意攻擊模板。”

把在人工智能訓練流水線中生成對抗實例作為標準活動

人工智能開發人員應盡心于研究怎樣在卷積神經網絡（CNN）所處理的圖像中置入聰明的對抗措施的各種方法。

數據科學家應利用越來越多的開源工具，例如GitHub的工具，產生對抗實例來測試CNN和其他人工智能模型的漏洞。更廣泛地，開發人員應考慮越來越多的基礎研究，研究重點是為訓練生成對抗網絡（GAN）產生各類對抗實例，包括那些不直接用于抵御網絡攻擊的實例。

認識到對抗實例需要依靠人類管理者和算法鑒別器

惡意攻擊的有效性取決于它能否欺騙人工智能應用程序的最后一道防線。

肉眼一眼就能看出對一副圖像的惡意操作，但仍然能愚弄CNN，把圖像分錯類。相反，人類管理員可能很難區分不同的惡意操作，而GAN訓練有素的鑒別器算法能毫不費力地區分出來。

對于第二個問題，一種很有效的方法是，在GAN中，一個對抗模型改變輸入圖像中的每個數據點，盡可能讓分類出現錯誤，而對抗鑒別器模型則要盡可能的減少分類錯誤。

構建使用一系列人工智能算法來檢測對抗實例的全套模型

對于惡意篡改圖像和其他數據對象等行為，有些算法要比其他算法更敏感。例如，坎皮納斯大學研究人員發現在一種場景中，一個淺分類器算法能夠比深層CNN更好地檢測出惡意圖像。他們還發現，一些算法非常適合用于檢測對整副圖像的操作，而其他算法能更好地找出一小部分圖像中的細微結構。

使CNN能夠免受這些攻擊的一種方法是，在人工智能模型訓練過程中，在反向傳播權重中添加康奈爾大學研究員Arild Nkland所謂的“對抗梯度”。對于數據科學團隊，應在開發和生產環境中使用A/B測試方法來測試不同算法在惡意檢測上的相對優勢，這是比較周全的做法。

重用惡意攻擊防御知識以提高人工智能抵抗偽造輸入實例的能力

正如IEEE在2016年出版的一篇研究論文所指出的，數據科學家可以使用轉移學習技術來幫助CNN或者其他模型抵御對輸入圖像的惡意篡改。傳統的轉移學習技術涉及把統計知識從現有模型應用到不同的模型中，文章討論了怎樣提取出模型的現有知識（通過對有效數據集進行訓練而得到），用于發現惡意篡改。據作者報告，“在訓練過程中，我們使用防御提取技術幫助模型更好地推廣應用于訓練數據集之外的樣本，使模型能夠更順暢的在分布式神經網絡體系結構中進行學習。”

結果是，一個模型能更好地識別出惡意實例（類似于其訓練集里的實例）和非惡意實例（那些可能與訓練集出現大幅偏離的實例）之間的差別。

如果沒有這些實踐作為其方法的標準部分，數據科學家可能會無意中把容易受騙的自動算法放到他們的神經網絡中。我們的生活越來越依賴人工智能在各種情況下去聰明的工作，因此，這些惡意漏洞可能會是災難性的。這就是為什么數據科學家和人工智能開發人員必須制定適當的保護措施來管理人工智能應用程序的開發、培訓和管理的原因。

James Kobielus是SiliconAngle Wikibon的人工智能、數據科學以及應用開發首席分析師。

原文網址：

http：//www.infoworld.com/article/3215130/artificial-intelligence/how-to-prevent-hackers-ai-apocalypse.htmlendprint