摘要:生成式人工智能(AI)技術在金融領域的應用正加速推進,同時也面臨數據合規、算法偏見、數字鴻溝等多維風險。本文系統梳理了生成式AI的發展歷程及其在金融領域的應用實踐,從數據、計算和應用等層面分析了相關風險,并結合中外監管政策,提出構建責任框架、提升算法透明度、強化數據治理等應對建議,以期為金融行業安全應用生成式AI提供參考。
關鍵詞:生成式AI 金融科技 安全風險 數據合規 算法備案
人工智能(AI)技術的蓬勃發展推動著金融科技領域的快速迭代。生成式AI(Generative AI) 作為其重要分支,憑借自身強大的內容生成能力掀起了新一輪智能化浪潮。
當前,隨著數字化轉型的逐步深入,金融業依托領先的數字化水平,孵化出諸多智能、高效的應用場景,從智能服務到風險管控,從投資決策到內部運營。AI技術快速重塑著金融行業的生產模式,賦能金融生產力提升。然而,不可忽視的是,一系列新型風險也在悄然滋生,對金融監管提出了新挑戰。下文將回顧生成式AI發展歷程及其在金融領域的應用情況,并在探討其潛在風險的基礎上,提出預防性管理建議,以期為金融行業提供參考,助力生成式AI技術在金融領域健康發展。
生成式AI的發展歷程
AI技術起源于20世紀50年代,隨著算法、算力、數據三要素產業的同步發展,逐漸從判別式AI(Discriminative AI)演進為生成式AI,其發展歷程主要可以分為四階段(見圖1)。
一是統計學習模型階段。自圖靈測試將AI技術引入公眾視野以來,人類一直在探索如何用機器掌握語言。在早期統計學習模型階段,研究主要集中于統計模型和概率推斷,以n元語法(n-gram)和馬爾可夫模型為代表,其通過計算數據集中的條件概率分布為分析、判斷和預測提供依據,強調規則判斷和邏輯推理。然而,此類模型受限于參數面臨指數級擴增問題,難以準確估計高階語言模型,只能基于特定規則處理特定任務。
二是神經網絡模型階段。在自然語言處理(NLP)領域,以詞嵌入(word embedding)和上下文語言建模為代表的神經網絡模型的出現,標志著AI模型的發展進入第二階段。該階段強調數據驅動和知識表示,開創了將語言模型應用于表示學習(representation learning)的先河,為后續生成式AI模型的蓬勃發展奠定了堅實基礎。
三是深度學習模型階段。得益于計算能力的提升與大數據的廣泛應用,深度學習技術迅速成熟,AI模型在文本處理方面的性能顯著提升。谷歌公司提出的Transformer模型在機器翻譯、文本摘要和問答等NLP任務上的性能顯著提升,成為NLP模型發展的重要轉折點。基于Transformer架構,業界演進出一系列如BERT、GPT-1/2等生成式預訓練模型,奠定了生成式AI快速發展的基礎。同期研究也驗證了模型規模與性能提升的正相關性。
四是大語言模型階段。隨著AI模型的逐步擴增,模型參數從數億級別躍升至數千億甚至萬億級別,逐步演進為大規模語言模型(LLMs,以下簡稱“大模型”),極大提升了模型的表現力和推理能力。開放人工智能公司(OpenAI)推出的ChatGPT模型作為其中的代表,展現出卓越的連續對話能力和上下文理解能力。通過預訓練和微調,大模型在各類任務中表現出優秀通用性和適應性,在圖像生成、代碼生成、音樂創作等多個領域拉開了生成式AI產業化發展的序幕。2024年,以深度求索(DeepSeek)為代表的混合專家系統(MoE)架構模型,在大幅提升模型推理效率的同時降低了推理成本,為大模型技術更大規模的應用奠定了基礎。
生成式AI在金融領域的應用
金融業作為數據密集型產業,在日常業務中積累了海量用戶及交易數據,與AI技術應用天然契合。國內外金融機構正在積極探索生成式AI在業務場景落地,主要可以分為智能服務、智能投研、金融風控、生產賦能等4個領域(見圖2)。
(一)智能服務
生成式AI為智能服務領域注入新活力,推動著服務模式向更加人性化、個性化、智能化的方向發展。
在智能客服方面,生成式AI能夠提供全天候的不間斷服務,不受時間和地域限制,通過自然語言交互分析客戶的需求、偏好和風險承受能力等信息,深入理解用戶需求特征,提供更為精細和個性化的解決方案。
在智能營銷方面,生成式AI能夠根據用戶畫像和行為數據,生成個性化的產品推薦和服務,實現精準觸達和高效轉化。同時,生成式AI具備多語言支持的能力,能夠滿足全球客戶的多樣化需求,實現更大規模的并行服務,提升用戶體驗和服務效率。
(二)智能投研
在智能投研領域,生成式AI展現出巨大潛力,能夠為金融機構提供更深入的行業洞察、更全面的信息,提升行業研究的效率和準確性。通過實時分析市場行情、企業財報等數據,生成式AI能夠識別潛在的市場風險和投資機會,并結合特定業務需求,生成直觀的市場趨勢分析和預測報告,幫助金融機構作出更為科學準確的市場判斷和投資決策。作為高效的自動化工具,生成式AI能夠幫助金融機構擺脫龐雜的數據分析工作,大幅節約信息搜集時間,降本增效,從而帶來客觀的商業價值。
(三)金融風控
生成式AI在金融風控領域展現出巨大的應用潛力,其強大的數據處理和學習能力可以顯著提升風控模型的準確性。通過學習海量的金融數據,以及建立更加復雜的風險模型,生成式AI可以識別傳統模型難以檢測到的風險信號和異常情況,預測信用風險和欺詐行為,在遵守監管要求的前提下,助力金融機構合規管理創新,及時發現和應對風險,減少潛在的損失。通過構建知識圖譜,生成式AI能夠幫助金融機構精準識別潛藏的灰黑色產業鏈1,反制和打擊不法行為,助力金融風控從傳統的被動防控轉型為主動防御,維護金融體系穩定運行。
(四)生產賦能
在內部生產運營層面,生成式AI可以助力金融機構簡化流程,提質增效。一方面,生成式AI可以幫助開發人員快速生成代碼,提高開發效率,降低開發成本,加速產品研發和迭代,推動創新發展。另一方面,生成式AI能夠自動化完成諸多重復性工作,如快速生成金融報告、撰寫投資建議、響應客戶服務等,降低人力成本,提高運營效率,推動金融機構的數字化轉型升級。
生成式AI在金融領域應用的主要風險
生成式AI在金融領域的應用面臨多維風險,可歸納為數據安全、應用效果和社會影響等3個層面。在數據安全層面,風險集中于數據的獲取、處理與合規性,訓練模型所依賴的金融數據可能涉及敏感信息或來源不明,存在侵犯隱私、數據泄露或濫用風險。在應用效果層面,生成式AI的“黑箱”特性使得決策邏輯難以解釋,可能輸出幻覺信息或固化算法偏見;訓練數據投毒2會威脅內容安全與結果公正性。在社會影響層面,對金融市場和社會發展而言,技術鴻溝會導致數字不平等,而缺乏監管的數據壟斷可能破壞行業生態。
(一)數據安全層面
1.數據合規風險
生成式AI模型的訓練需要海量金融數據,如客戶信息、交易記錄、市場行情等,可能涉及敏感的個人信息和商業機密,在數據采集和使用過程中如未嚴格管控,會導致多種合規性風險。
一是數據來源不明。生成式AI可以自行爬取訓練數據,如果數據來源不合規,例如使用未經授權或違規獲取的數據,可能構成侵權甚至非法盜取數據行為。
二是侵犯個人隱私。在智能客服、風險評估等應用場景中,生成式AI會主動收集用戶個人信息。如果未經用戶同意或未告知用戶使用目的,則會侵犯用戶個人隱私。
三是數據泄露和濫用。對模型的訓練和應用可能導致訓練數據用于不當用途,特定的訓練方式甚至可能突破模型的自身規則限制,泄露未授權數據或輸出違規內容,并由此帶來嚴重的經濟損失和法律風險。
2.內容安全風險
生成式AI模型的訓練依賴于數據,如果訓練數據中包含虛假信息、惡意信息、違法信息等不當內容,可能導致模型生成的內容存在安全風險。例如,智能客服系統可能生成虛假信息,風險評估模型可能生成帶有偏見的評估結果,投研模型可能生成誤導性投資建議,給客戶和機構帶來不必要的損失。此外,生成式AI模型本身也可能被惡意“投毒”,導致其偏離既定的訓練目標和軌道,并給金融數據質量和內容審核管理帶來挑戰。
(二)應用效果層面
1.模型透明度和可解釋性風險
生成式AI模型的參數規模與復雜度遠高于傳統AI模型,其內部運作機制難以作范式化說明,輸出結果的過程和邏輯更加難以解釋,這導致模型的決策過程缺乏透明度和可解釋性。這種“黑箱”現象使得金融機構難以評估模型的可靠性,難以判斷模型決策是否合理,也難以解釋模型輸出結果的依據。例如,在進行風險評估時,如果模型對某個客戶給出高風險評級,但無法解釋其依據,那么金融機構就無法判斷該評級是否合理,也無法向客戶解釋其被拒貸的原因。此外,缺乏透明度和可解釋性使得生成式AI在發生錯誤或造成損失時難以有效追責,給合規監管帶來挑戰。
2.幻覺信息與算法偏見
生成式AI在金融決策中可能產生幻覺信息,即生成與現實世界事實或用戶輸入內容不一致的結果。這是由于在訓練過程中,模型所使用的數據是否存在缺陷難以分辨,如果使用了統計特征單一、集中的數據集,或者其他AI生成的已限定訓練目標的輸出數據,并在此基礎上疊加訓練數據量有限,模型的特征就會貼近于訓練輸入的數據特征,進而生成與事實不符的結果。同時,這類問題也會導致算法偏見。如果缺乏全面的數據清理和數據歸一化過程,在訓練數據中存在的偏見可能被算法模型固化,進而演變為群體偏見,如出現性別歧視、種族歧視等問題,并在貸款審批、保險定價等領域歧視特定群體,沖擊普惠性和公平性原則。
(三)社會影響層面
1.數字鴻溝
生成式AI的應用可能加劇社會中的數字不平等,產生新的技術鴻溝。例如,一些群體可能不具備使用生成式AI服務的條件,無法理解生成式AI的使用流程,被迫處于劣勢地位。另外,在信息不對稱問題上,金融機構可以通過生成式AI收集和分析大量用戶級數據,而用戶往往對其自身信息的使用情況缺乏了解,導致信息的不平等分配進一步加劇,未受保護的個人數據可能導致“檸檬市場”(信息不對稱市場),破壞市場的整體信任和效率,造成市場失靈。
2.市場集中效應與數據壟斷
生成式AI在金融市場的廣泛應用,可能降低市場多樣性和適應性,引發市場同質化。當金融機構普遍依靠相似的算法和數據集進行決策時,投資行為會出現高度同質化,引發市場波動性和系統性風險。特別是在遭遇負面信息時,生成式AI可能同時作出賣出決策,觸發市場的急速下跌和“閃崩”事件,增加市場的脆弱性。此外,頭部企業更易獲取行業數據和前沿算法,訓練出更優秀的模型,在市場上占據主導地位進而吸引更多用戶,并形成數據和用戶量的正向循環,最終造成數據壟斷、阻礙行業健康發展。
對生成式AI的監管要求及挑戰
(一)歐盟對生成式AI的監管
歐盟的監管體系強調預防性治理,采取了前瞻性和系統化的立法路徑,以《通用數據保護條例》(GDPR)為基礎、《人工智能法案》為核心,歐盟完成了從數據治理到算法治理的監管升級。《人工智能法案》于2021年由歐盟委員會提出,至2024年8月在歐盟范圍生效達成最終文本,是全球首部全面規范AI的立法文件。該法案創新性地采取基于風險(risk-based)的分層監管框架,按照風險等級將AI劃分為四類:不可接受風險、高風險、有限風險和最小風險。其中金融業AI應用被明確歸類為高風險領域,須受到嚴格監管。
在監管執行層面,歐盟積極評估生成式AI技術對傳統銀行業務模式的沖擊,并深入探討生成式AI技術在金融行業中重新定義業務流程的方式及其對監管框架構成的挑戰,探討如何在不阻礙技術創新的同時,有效管理生成式AI帶來的新風險,解決跨境數據流動所引發的法律與監管問題,并在成員國之間實現監管政策的協調與統一,在制度設計上具有全球領先性。不過,其基于靜態風險評估的監管框架難以適配技術的指數級進化,可能導致追趕式立法的困境。同時,算法透明性要求與商業秘密保護存在底層沖突,且缺乏有效的技術驗證手段。歐盟監管體系在靈活性、執行力與創新激勵之間仍需實現更為平衡的制度調適。
(二)美國對生成式AI的監管
美國采用技術中性原則下的功能性監管策略,形成“聯邦引導+行業自治”的混合治理體系,更為靈活和分散。與歐盟的統合立法不同,美國主要基于現有金融監管框架應對新興技術的挑戰,以確保監管的連續性和效率。2023年10月,時任美國總統拜登簽署的《人工智能行政命令》成為這一體系的核心綱領。該行政命令要求AI開發者在模型達到特定能力(如用于國家安全、大規模虛假信息生成等)閾值時,必須向政府報告訓練數據、模型能力、系統測試結果等關鍵信息,并配合進行安全評估。同時,行政命令強調保護公民隱私,促進公平、公正與透明,并鼓勵聯邦機構制定行業標準。
在具體監管執行層面,美國采取多機構協同機制。如國家標準與技術研究院(NIST)發布AI風險管理框架(AI RMF),為企業提供自愿性合規指導;聯邦貿易委員會(FTC)針對生成式AI的虛假宣傳、不正當用途等行為啟動執法調查。此外,國會亦在推動《算法責任法案》《人工智能責任法案》等立法提案,但尚未全面通過。美國的監管體系重在激勵創新與技術競爭力,監管方式強調自愿性、責任共擔與多利益相關者合作。在生成式AI快速發展的背景下,美國監管體系展現出適應性強、路徑多元的特征,但聯邦與各州呈現碎片化管理、多頭監管等問題,現有法規可能難以適應生成式AI技術的動態變化。
(三)中國對生成式AI的監管
我國在生成式AI監管領域構建了“發展與安全并重”特色治理體系,形成了“中央統籌、行業協同、技術賦能”的立體化監管格局,體現出國家主導、審慎包容與動態調整相結合的監管特征。其中,《中華人民共和國個人信息保護法》和《中華人民共和國數據安全法》兩部上位法明確規定了生成式AI在金融領域應用的用戶數據使用規范,國家網信辦等三部委出臺的《互聯網信息服務深度合成管理規定》對具有輿論屬性或者社會動員能力的生成式AI服務提出了安全評估和算法備案要求。
2023年8月,國家網信辦等七部委出臺的《生成式人工智能服務管理暫行辦法》正式實施,首次明確促進生成式AI技術發展的具體措施,規定了生成式AI服務的基本規范,強調促進AI創新與維護國家安全并重,同時規定了AI服務提供方的責任和義務,具體包括:一是確保用于訓練的數據具有合法性、高質量等特征,并及時進行算法糾偏;二是在提供AI相關服務時,需對生成和傳播內容進行合規性評估,并確保服務穩健性;三是服務提供方需對生成式AI開展算法備案、算法披露、安全評估等工作;四是建立切實可行的個人信息保護機制,遵循最小化、必要性等原則收集個人信息,確保數據正確地存儲和使用。
基于上述要求,在2022年8月—2024年12月,國家網信辦已發布了10批算法備案清單及9批深度合成類算法備案清單。截至2024年12月31日,共302款生成式AI服務在國家網信辦完成備案,預計未來備案工作將進一步深化。
在AI技術加速落地之際,標準化建設已成為推動行業高質量發展的關鍵因素。2025年初,市場監管總局與國家標準委發布《人工智能 大模型 第1部分:通用要求》、《人工智能 大模型 第2部分:評測指標與方法》與《人工智能 大模型 第3部分:服務能力成熟度評估》系列標準(GB/T 45288)。這3個標準共同構建了大模型的標準化體系,對推動我國生成式AI技術的發展、規范市場秩序、促進產業升級及提高國際競爭力,都具有深遠的意義。
針對生成式AI所生成的內容,2025年3月,國家網信辦等四部委聯合發布《人工智能生成合成內容標識辦法》,自2025年9月1日起施行。該辦法旨在規范AI生成的內容,包括文本、圖像、音頻和視頻等多種形式,以提升內容的透明度和可追溯性,保護公民、法人和其他組織的合法權益,維護社會公共利益。
對生成式AI安全風險管理的思考與建議
從全球趨勢來看,AI與金融的深度結合是大勢所趨,中央金融工作會議也提出要做好包括數字金融在內的“五篇大文章”。為促進生成式AI在金融科技領域的健康發展,可在責任劃分、市場環境、數據治理、技術生態等方面進一步優化完善,支持金融行業規模化、可持續應用生成式AI,構建安全、可控、可信的產業生態。
(一)構建責任框架,明確責任主體
生成式AI在金融領域的應用涉及算法開發者、使用者及管理者等多方主體,需要明確責任劃分,確保各個環節的參與者都能夠清晰了解自己的責任和義務。可面向金融服務領域的生成式AI應用制定系統的管理框架,明確各方職責和權限,并建立相應的制度和流程。同時,探索就算法責任制定相關法規,明確算法決策的責任人、責任如何追究等問題,以適應AI系統決策的自主性和復雜性。
(二)提升算法多樣性與透明度,維護市場公正
生成式AI在金融領域應用的同質化會導致市場風險集中,需要提升算法的多樣性和透明度,降低市場風險,促進市場健康發展。可鼓勵金融機構與市場參與者采用多樣化的算法模型和數據源,降低投資策略的趨同性,增加市場的多樣性和復雜性,促進市場的分散化,從而有效應對信息不對稱和市場主導地位濫用等市場失靈問題。同時,實施更嚴格的披露要求,促使市場參與者公開AI模型的特性、數據來源及決策邏輯,提高市場的透明度,加大對市場操縱行為的管控力度。
(三)強化數據治理與數據合規,保障數據質量
生成式AI的訓練和應用依賴于大量高質量的數據,因此需要加強金融數據的治理與合規工作,確保數據的準確性、完整性和安全性。可建立和實施嚴格的數據質量控制標準,以助力規范數據收集、處理和使用規則;可引入第三方審核機構,對金融機構定期進行數據審查和偏見檢測,以獨立、客觀的視角評估和監督數據的質量和偏見情況,維持數據質量合規標準的公平公正;可鼓勵或要求金融機構和AI系統的開發者提高算法決策的透明度和可解釋性,通過開發和采用可解釋的AI技術,提高算法決策過程的解釋度和審查便利性。
(四)加強風險監測和預警,維護金融安全
應健全生成式AI在金融領域應用的安全監測預警機制,研究制定相關應用標準規則,統籌建設高效的監測預警平臺,對生成式AI在金融領域的應用進行實時監測,及時發現潛在風險。同時,金融機構、科技公司等相關機構可建立信息共享機制,及時了解生成式AI在金融領域的應用情況,并及時發布風險預警信息。此外,可制訂并完善應急預案,以便在發生重大風險事件時能夠及時采取措施、控制風險,維護金融市場穩定。
(五)推動國際合作,共建安全生態
生成式AI技術的發展和應用離不開國際競爭與合作。在國際化的金融體系中,金融風險也具有區域溢出效應。加強國際合作,促進技術信息共享,有助于各方充分認識金融科技新興風險。相關金融機構和科技公司可積極開展國際合作,共同推動生成式AI技術的研發和應用,這也是促進全球金融科技安全生態創新發展的必由之路。