AI可從飛行安全中學到什么

在最近的一次安全測試中，一個旨在協助客戶申請貸款的銀行生成式AI（人工智能）聊天機器人遭到了操縱，并因此泄露了敏感金融信息。測試人員繞過了安全控制機制，提取了一份包括客戶姓名在內的全面貸款審批清單。

這個警示性故事強調了一個根本問題：生成式AI可以徹底改變整個行業，但也可能在缺乏完備安全操作規程的情況下引發災難性結果。傳統的安全模式已不敷使用，生成式AI這類變革性技術需要一種新的、整體性的網絡安全操作方式。

在此航空業提供了一個有用的模式。通過實施嚴格的安全操作規程，搭乘飛機已成為最安全的交通方式之一。AI的潛力誰也無法否認，但其未來取決于各類安全風險的解決。比如波士頓咨詢公司最近的一項研究就發現，有3/4的企業高管認為，網絡安全問題是擴大AI應用規模的主要障礙。

大型語言模型引入了不確定性行為，催生了網絡安全盲點。此外，它們對自然語言輸入的依賴、自適應學習以及與其他工具和服務的廣泛集成，也使之具備獨特的脆弱性。正如航空需要綜合性、多層面考慮的安全操作一樣，網絡安全必須嵌入AI內部從架構到數據管理和人工監督的每一個層級。

AI系統的一個關鍵漏洞就是提示詞注入攻擊，即攻擊者對一個模型進行操縱，使其泄露敏感數據或改變決策邏輯。最近的銀行聊天機器人測試，發現了一個同樣令人擔憂的風險：權限升級。測試人員冒充系統管理員，批準了未經授權的貸款并修改了后臺數據。

醫療保健AI助手也受到了類似攻擊。安全研究人員通過巧妙修改查詢語句措辭，成功提取了機密的病人診療記錄。攻擊者沒有直接詢問病史，而是將問題設置成類似于合法的醫生查詢請求。他們借此暴露了另一個弱點：AI通常優先考慮語言邏輯而非訪問控制。

這些漏洞不僅僅局限于銀行和醫療保健領域。許多AI應用都會使用代理系統檢索實時數據以自主決策，也因此為攻擊者創造了可乘之機。例如，對AI驅動的客服聊天機器人進行的安全評估就顯示，攻擊者能夠利用薄弱的應用編程接口驗證去操縱大語言模型，借此拿到內部折扣代碼和庫存詳情。

AI的適應性還可以被攻擊者借所謂“語境投毒”的手法利用。他們可以隨著時間的推移逐漸塑造模型的回應，并將其引向不正確或危險的建議。在一次實驗中，一個水療聊天機器人反復接收到將某些不安全成分謊稱為有益成分的輸入，最終開始推薦有害的護膚產品。

當AI系統向傳統基礎設施發出大量自動請求時，它們可能會導致系統故障——這種現象被稱為遺留污染。為避免這種狀況，企業必須實施對抗性訓練，不斷讓AI模型接觸欺騙性輸入詞以增強其韌性。

自動和手動的實時異常檢測，可以在相關回應遭那些操縱性數據影響之前，識別出異常的AI行為。正如飛行控制系統依賴于獨立備份一樣，生成式AI的安全性也必須建立在分層保障措施的基礎上，包括自動異常檢測以標記異?；顒?、冗余訪問驗證以防止未經授權的系統交互，以及設立實時回滾機制以撤銷有害更改。

雖然分析師預測全球AI方面的支出到2028年將超過6310億美元，但除非從根本上解決網絡安全挑戰，否則許多這類投資都將難以獲得有意義的回報。最重要的是，AI安全必須從某種“附加插件”演變為一項嵌入系統架構、數據管理和人工監督的核心功能。有效的安全框架應該是不斷適應變化、具備韌性且能集成到傳統系統中的。