完善AI安全治理體系 前瞻性防范大模型應用風險

隨著科技的不斷創新與突破，人工智能大模型已成為引領技術革新、賦能產業發展的重要力量。特別是國產大模型DeepSeek以其低成本、高性能、開源普惠等顯著優勢，極大地降低了大模型應用門檻，掀起了一股AI熱潮。然而，隨著人工智能大模型在各個領域廣泛應用，其引起的數據安全、技術應用、社會倫理等風險也逐漸顯露出來，給金融機構安全穩定運行構成嚴峻挑戰。建議在深化大模型應用的過程中，同步完善AI安全治理框架和風險防控制度體系，切實防范潛在風險隱患。

大模型在金融領域的應用前景廣闊

國內外金融機構已通過多種方式布局和應用金融大模型。據公開資料統計，目前國內有18家銀行先后部署了DeepSeek。其中，大型銀行以自主研發為主，基于全棧自主可控的大模型平臺引入并部署開源大模型底座，并探索在各類復雜業務場景中進行深度應用。中小銀行則大多通過應用程序接口（API）接入開源大模型，或者與外部機構合作快速部署，并在某些場景開展試點應用。從各家銀行的業務實踐來看，大模型在金融領域的應用已覆蓋智能營銷、風險預警、輔助辦公等前中后臺各類業務場景，正深刻重塑金融行業的服務模式和業務形態（見表1）。

未來，隨著大模型持續升級迭代，生成式人工智能在改善客戶體驗、賦能業務發展、降低運營成本等方面的作用將進一步凸顯，在金融領域應用的廣度和深度也將持續提升。

大模型應用的安全風險不容忽視

盡管大模型在金融領域具有廣泛的應用潛力和顯著的優勢，但在實際落地過程中仍面臨技術挑戰、產權保護、數據安全等諸多問題，可能給金融機構平穩運行帶來挑戰。

可靠性風險與解釋性挑戰。由于數據質量問題、模型泛化能力不足、訓練方式缺陷、缺乏外部知識校驗等原因，大模型在回答問題的相關性、保持上下文語境的一致性以及生成內容的真實性方面可能會存在錯誤，即存在答非所問、前后矛盾、肆意杜撰等幻覺問題。金融決策高度依賴數據的真實性和可靠性，如果大模型在提供市場預測、風險評估或投資建議時，生成了不真實或錯誤的信息，可能誤導投資者和金融機構作出錯誤決策，繼而引發財務損失、客戶投訴和聲譽風險。此外，大模型還存在“黑箱”問題，即由于大模型過于復雜，其工作原理缺乏可解釋性和透明度。用戶在不清楚模型的判斷依據和決策邏輯的情況下，難以進行有效的風險溯源和管理。這個問題也限制了大模型在準確性、可靠性要求較高領域的深度應用。

侵犯知識產權和客戶隱私風險。目前主流的大模型訓練數據集中有 5% — 10% 的內容來自版權保護的網頁，這些內容的使用可能未經版權持有者的明確授權，因此金融機構在將大模型用于商業用途時，可能存在潛在的侵權風險。此外，大模型在運用于客戶營銷、風險評估等業務場景時，往往需要多維度客戶信息（如消費記錄、社交行為、地理位置等）進行訓練，以提高模型預測精度，這可能導致過度采集客戶數據，超出個人信息保護法規定的“最小必要”范圍，引發侵犯客戶隱私的風險。

數據安全風險。大模型相關數據安全風險主要包括兩種情況：一是請求數據泄露，即在模型的訓練、推理或與外部系統交互過程中輸入內部敏感數據，導致信息外泄。例如，三星公司在引入ChatGPT后的20多天內，就因為員工直接將企業機密信息以提問方式輸入ChatGPT，發生了3起泄密事件。二是數據竊取攻擊。由于當前主流的脫敏算法對大模型的隱私保護效果有限，不法分子可能通過精心設計的誘導式交互，從大模型的回復中提取、重建出模型訓練期間使用的敏感數據，并用于身份盜竊、金融詐騙或其他惡意活動。

惡意攻擊引發的安全風險。除傳統的網絡攻擊外，大模型還面臨著模型竊取攻擊、對抗樣本攻擊、指令攻擊等多種惡意攻擊。其中，模型竊取攻擊指通過查詢合成等方法，獲取模型結構、訓練方法、功能特點、關鍵參數等信息。如攻擊者完全掌握模型，可能會實施更有針對性、更加危險的“白盒攻擊”。對抗樣本攻擊指利用模型對特定擾動的敏感性，突破模型防御機制，降低模型預測的準確性和穩定性。指令攻擊指通過輸入惡意指令，誘導大模型忽略內容審核準則，生成不符合中國金融倫理和價值觀的內容，引發負面輿情和其他風險事件。

表1 大模型在金融領域的應用場景示例

市場關聯性及脆弱性上升風險。不同金融機構往往運用相似的數據和算法訓練大模型，在面對相同的市場信息時，大模型也可能會輸出相似的投資建議，導致金融機構交易行為趨同、加劇市場波動。特別是當市場受到外部沖擊時，金融機構同時采取恐慌性拋售等應對措施，會推動市場進一步下行，甚至形成惡性循環、引發金融危機。

完善AI安全治理框架和風險防控體系

AI應用相關風險不僅關乎金融機構自身運行安全，還可能危及社會公眾切身利益。在深化大模型應用的過程中，要堅持發展與安全并重、創新與治理相結合的原則，前瞻抓好潛在風險防范，更好地發揮科技賦能業務高質量發展的作用。

完善AI應用安全治理框架。一是完善管理架構。建立人工智能相關事項決策和議事協調機制，明確大模型訓練、部署、使用等環節工作流程和各部門權責分工，為人工智能健康發展和規范應用提供有力組織保障。二是打造專業隊伍。加大金融科技復合型人才培養引進力度，開展大模型使用規范和風險防控專題培訓，提升員工AI素養和安全合規意識。三是納入全面風險管理。強化大模型風險管理的數據、科技和平臺支撐，建立產品成熟度和風險等級評測機制，對大模型的應用設置必要的限制與邊界，確保技術不會被應用于未經充分驗證的場景。

健全人工智能管理制度體系。我國在鼓勵技術創新、促進產業發展的同時，越來越重視人工智能和大模型的安全監管。目前，除個人信息、數據安全、網絡監管等領域法律法規外，有關部門還專門出臺了《生成式人工智能服務管理暫行辦法》和《人工智能生成合成內容標識辦法》等政策文件，為生成式人工智能健康有序發展奠定了堅實的制度基礎。建議加快推進AI領域現有規章制度的內化實施，密切關注《人工智能法》立法進展，抓緊制定完善信息采集、數據保護、倫理審查、風險評估、應急處置等制度機制，確保大模型的應用安全、可控、合規。

加強大模型開發應用全流程風險防控。模型訓練階段，加強對數據來源的合法合規性審查，對訓練數據集中的個人信息進行去標識化處理或用遺忘算法進行脫敏，增強數據安全性和隱私保護。在模型測試階段，開展對抗性訓練、模擬攻擊測試、倫理與法律審查，全面排查模型安全漏洞和潛在風險，有效提升模型穩健性和抗干擾能力。在模型交互階段，建立內置敏感詞庫與違禁內容識別模型，對用戶輸入和模型輸出內容進行檢測和過濾，確保模型不生成有害內容和誤導性信息。此外，還要建立大模型應用風險動態評估機制，定期對模型進行升級優化，以適應不斷變化的法規環境和技術發展趨勢。

深化人工智能安全治理跨界合作。第一，加強銀政對接，密切關注AI安全風險監管政策制定情況，積極參與金融行業大模型安全標準建設，推動完善大模型安全治理和風險管控體系。第二，加強產學合作，引入更先進的模型架構和學習算法，持續優化提升自有大模型性能，增強客戶服務能力和市場競爭力。第三，加強行業協同，建設大模型底座漏洞、外部攻擊威脅等風險信息共享平臺，完善重大突發事件協調機制和應急預案，提升整個行業的風險應對能力。

（作者單位：中國農業銀行）