大語言模型在商業銀行的應用

隨著以ChatGPT為代表的生成式人工智能的爆發式發展，針對大語言模型的研究和產業應用成為科技界的熱點領域。在金融業，大語言模型能夠應用在智能客服、智能營銷、智能投顧、智能辦公、智能風控等諸多場景，從而為銀行轉變管理模式、提升服務質效提供有效助力，也已成為未來銀行數字化轉型的路徑依賴。同時應用大語言模型過程中，也要對其中可能蘊含的數據風險、模型風險和決策風險等潛在風險因素保持清醒認識，并采取合理措施予以防控。

引言

黨的二十大報告提出，要實施創新驅動發展戰略，開辟發展新領域新賽道，不斷塑造發展新動能新優勢，構建包括人工智能技術在內的一批新增長引擎。近期召開的中央金融工作會議強調，要做好五篇金融大文章，其中包括科技金融與數字金融。金融業因其信息豐富、數據龐雜、知識專業、人才密集等天然特征，擁有與大模型深度結合的基因，因而成為大模型應用落地的重要場景。

2022年11月30日，OpenAI推出ChatGPT，引發了全球范圍內的新一輪AI狂潮，科技巨頭紛紛涌入賽道加速布局。隨著微軟率先將GPT-4應用于搜索引擎，國內科技領軍企業百度、華為、阿里等也加快了大模型的開發和應用，先后推出了文心一言、盤古、通義千問等大模型產品。今年3月，彭博推出了應用于金融業的大語言模型BloombergGPT，引發了市場對金融領域大模型的關注。大模型技術發展帶來的產業變革將成為科技金融、數字金融發展的重要推動力。

目前，銀行業正加速推進數字化轉型。數字化轉型的愿景就是要利用數字化手段提升企業管理和服務水平，強化創新能力，發展新業務模式。國內多家銀行已積極探索大模型應用場景。如農業銀行推出了ChatABC大模型，工商銀行在遠程銀行、智慧辦公、研發等企業內部場景進行了大模型應用的初步探索，招商銀行重點應用于全流程財富管理，投產了FinGPT創意中心等。

大模型的發展及特點

大語言模型（后續簡稱大模型）是大規模語言模型（Large Language Model）的簡稱，是一種網絡參數規模達到億級以上的深度學習復雜神經網絡算法，能夠自動從大量的非結構化數據中學習、處理數據和生成結果，具有解決復雜問題的理解能力，向用戶輸出個性化內容。

與過去自然語言處理（NLP）領域常見的算法和模型不同，大模型能夠充分挖掘海量未標注數據蘊含的信息，這為大模型帶來了突破性的語義理解和泛化輸出能力。以ChatGPT為代表的大模型在許多復雜的NLP任務上給出了前所未有的出色表現。在ChatGPT火爆出圈之后，許多其他領域的生成式人工智能產品也相繼涌現，如自動編程輔助工具CopilotX、AI繪畫生成工具Stable Diffusion、智能視頻生成工具pika等，這些產品正在深刻地改變人們工作和生活的方式，也將對未來許多行業的商業模式帶來深遠影響。

大模型的發展歷程

作為NLP領域的前沿技術，大模型的發展史與人類探尋機器處理語言的歷程密不可分。在NLP發展過程中，其基本思路由以人為設定的規則為主，逐步演化為基于統計歸納和深度學習的模型處理。總體來看，大模型的發展經歷了如下幾個階段：

萌芽期（1950—2005）：以CNN為代表的傳統神經網絡模型階段。卷積神經網絡（ConvolutionalNeural Networks，簡稱CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。CNN通過卷積操作來提取輸入數據的局部特征，并通過池化層減小數據的空間尺寸，最終通過全連接層實現分類，主要應用于計算機視覺領域，如圖像識別。卷積神經網絡奠定了深度學習在計算機視覺等領域的基礎，為后續大模型的發展提供了關鍵的技術經驗支持。

成長期（2006—2019）：以Transformer為代表的全新神經網絡模型階段。在這一階段，Word2Vec模型和GAN（對抗式生成網絡）相繼誕生，深度學習進入了生成模型研究的新階段。2017年，Transformer架構是由Google創造性地提出的。這是一種基于自注意力機制的神經網絡結構，不再依賴于卷積或循環結構，而是通過自注意力機制來處理輸入序列，用于自然語言處理、計算機視覺等方面，并由此奠定了大模型的算法架構基礎。

爆發期（2020年至今）：以GPT為代表的預訓練大模型階段。生成式預訓練轉換器（Generative Pre-trainedTransformer，簡稱GPT）是一種基于Transformer架構的生成式預訓練模型，經由龐大的語料庫訓練后，可根據用戶輸入的文字內容生成對應文字回答。隨著模型規模的增加，GPT具有更強大的學習和生成能力。2022年11月，OPENAI推出ChatGPT3.5，在智能問答、內容創作、翻譯等方面的能力顯著提升。GPT模型在自然語言處理領域取得了重大的突破，推動了預訓練大模型在人工智能領域的快速發展。2023年12月，谷歌公司發布人工智能大模型Gemini。它包括三個版本：功能最強的Gemini Ultra被定位為GPT-4的競爭對手；Gemini Pro是中端版本，適用于多任務處理；而Gemini Nano則用于特定任務和移動端設備。目前，GeminiPro版本已率先上線并實裝至谷歌聊天機器人Bard中。在官方發布的演示中，通過合理輸入提示詞，Gemini表現出較強的邏輯推理、互動、創作和解決問題的能力，包括跟蹤游戲內容、識別手勢、給出正確的行星排列順序等。且由于Gemini是原生多模態大模型，即強調訓練過程中就采用多模態數據輸入，因此其在處理多模態任務方面相較于GPT-4版本具有優勢，例如可基于大量論文數據生成對比分析圖表等。Gemini的發布標志著生成式人工智能領域進入了谷歌與OpenAI兩大陣營兩強“軍備競賽”的階段，將有助于大模型整體的多元化創新發展，行業的頭部效應也將更加明顯。

大模型基本邏輯及技術特點

以GPT為代表的大模型在處理文本時的基本邏輯是采用自回歸的預測方式，基于前一個語句的單詞來生成下一個詞，它通過在大規模文本數據集上進行無監督預訓練來掌握語言的統計特征和語義表示，學習單詞之間的關系、句子的語法信息和文本的上下文語義。GPT是基于Transformer架構建立的，自2017年被Google提出后，Transformer已成為了BERT、GPT等預訓練模型的核心結構。Transformer架構相較于過去運用較多的LSTM等模型，能夠在處理長文本時更好地捕捉間隔較長的語義關聯，同時，它能夠高效利用GPU進行分布式訓練，顯著提升建模效率。至此，Transformer架構已成為NLP領域最主流、應用最廣泛的架構。

典型的Transformer架構包含一個編碼器（Encoder）和一個解碼器（Decoder）。其中，編碼器用于學習輸入序列的表示，解碼器用于生成輸出序列。對于輸入的文本，Transformer架構首先會對其進行轉換，將其編碼為詞向量和位置信息，使模型獲取輸入的每個單詞和其在整個序列中的位置。隨后，編碼器會對編碼后的數據采用專注力機制進行處理，計算輸入序列中每個位置與其他位置之間的關聯程度，從而為每個位置分配不同的權重。這些權重信息體現了不同語句元素的重要性，代表了模型所捕捉到的序列中的關聯信息。而在解碼器模塊，會再次通過專注力機制，并經過多層神經網絡的計算，給出最終的輸出詞預測概率。相較于傳統的NLP模型，基于Transformer架構的大模型具有如下顯著特征：

海量磅礴的數據規模

盡管對何種規模的模型稱其為“大”，還沒有官方的定義，早期的大模型參數一般在百萬、千萬級別，而目前NLP領域的大模型具有的參數往往在數十億數量級之上。以GPT-3版本為例，其擁有的參數達到1750億個，為完成訓練所需要的語料庫數據量達到45TB之巨。大模型帶來的卓越性能表現離不開海量基礎數據的積累和強大基礎計算資源的支撐。

智能強大的涌現能力

在模型規模不斷拓展過程中，一旦突破某個閾值，其在語義理解、邏輯推理等復雜任務上的性能表現就會顯著提升，這類帶來“質變”的能力被稱為“涌現能力”。大模型所體現出的涌現能力主要包括強大的上下文學習能力和知識推理能力等，ChatGPT在很多場景下表現出很高的“理解”的智慧。

跨語言跨領域的泛化能力

對機器學習模型而言，泛化能力是指將學習到的知識、經驗和策略應用到新領域、新場景下的能力，這也是人們始終追求的通用人工智能的關鍵能力。大模型在處理與訓練數據集不同的主題或風格的內容時能給出良好的表現，可以在未經過直接訓練的語言上較好地執行任務，也能夠應對各種不同的場景，如文本摘要、文本生成、機器翻譯和智能問答等。

大模型的發展趨勢

目前，大模型所引發的技術變革正如火如荼，各大科技公司都在理論研究、模型構建和產業應用等方面積極布局。未來，大模型領域前景廣闊潛力巨大，隨著探索的不斷深入，大模型的發展必將呈現出多元化的發展趨勢，主要如下：

大小模型協同并進：大模型發展迅速，但是在模型部署、資源損耗、數據標注等方面面臨非常大的挑戰。大型模型能力的提升，關鍵在于高質量真實數據的投喂。通過模型量化、蒸餾等方式，將大模型沉淀的知識與能力向小模型輸出，由小模型執行實際任務，然后將執行結果反饋給大模型。通過這種迭代閉環的數據循環，大模型能力持續強化，形成有機循環的智能體系。

行業領域垂直滲透：目前，許多企業級場景在落地大模型會面臨缺乏行業深度、不懂企業、無法保證所有權等問題，這是由于通用大模型缺乏專業領域訓練語料以及缺少產品設計考慮。未來，垂直大模型是重要的發展方向，通用模型會和各領域的專有知識深度融合滲透，在模型訓練和優化中使用特定領域的數據，以確保模型更好地理解和適應該領域的語境和特點，從而創造更高的價值。

多種模態深度融合：多模態是指能夠將不同類型的數據，如圖像、文字、視頻、語音等，結合起來進行準確處理，更接近于人類的認知模式。通過不同類型的數據之間的相互關聯和結合，能夠進一步提高模型的準確性和魯棒性，展現出更高的性能和智能。多模態大模型的跨感知理解能力和生成能力為大模型應用提供了廣闊的新領域，可以高效賦能于各領域場景。

公有私用專業對接：隨著許多開源大模型的呈現，以及相關廠商大模型的逐步商業化，大模型在純應用端的發展也在提速迭代。小型企業、專業化公司雖然不具備豐富的人工智能算法和模型知識等基礎設施和人才，但也能使用大模型提供的在線接口和服務，結合自身的專業背景和行業實踐，通過合理選擇應用切入方向，比如通過為大模型設置有效提示詞等方式，也能打造具備強大功能的專屬應用。

大模型在商業銀行的應用

從ChatGPT等大模型所展現的應用場景和價值來看，大模型在商業銀行的應用前景十分廣闊，從前臺到中后臺的各業務條線，都可以深入挖掘大模型的應用潛力，有效助力銀行拓展挖掘細分市場，優化金融服務水平，提升內部管理效能，降低自身運營成本。在發展大模型應用的過程中，銀行要先行先試、循序漸進，綜合平衡成本收益，著眼于可落地性，深入挖掘實際需求，在探索中不斷積累完善，穩步提升客戶的獲得感和內部用戶的便捷感知。現階段，大模型在商業銀行的主要應用場景可包括智能客服、智能營銷、智能投顧、智能辦公和智能風控等方面。

智能客服

使用機器客服替代部分人工服務的場景，已在銀行業廣泛應用。但是，許多銀行智能客服數字化程度不高，存在知識庫問題匹配不精確、提問語義解析不準確、上下文理解不充分、答案抽取能力不高等問題。而大模型在內容生成和語義理解方面有突出優勢，因此，許多銀行寄望于借助大模型技術來提高客戶服務的質量和效率，具體體現在以下三個方面：

第一，準確識別客戶意圖。基于大模型加持的智能客服，橫跨多個知識庫條目，精準定位關鍵知識點，能夠回溯多輪對話，更好地理解上下文。在通用大模型的基礎上，疊加金融客服領域的數據和專業經驗，進行垂直領域定向訓練，客服機器人可以綜合考慮用戶提示語和用戶習慣，準確識別客戶意圖。為避免錯誤話術納入大模型訓練范疇，銀行須對海量數據進行合規方面的AI核查。

第二，改善提升對話體驗。大模型的多模態感知與多維表達能力讓智能客服提升了客戶情緒識別效果，使溝通更具情感色彩，通過更加擬人化、富有個性的表達方式，增強用戶對人機對話的接受度和意愿度。高質量的對話體驗可以拉近人和機器的距離，降低轉人工率，提升客服支持的效率與服務滿意度。

第三，高效輔助客服座席。在銀行座席人員與客戶通話前，大模型能夠基于客戶和智能客服的溝通情況形成前情摘要，協助了解客戶訴求。通話結束后自動生成會話總結，快速輸出工單信息，達到記錄、分析和查證的全流程自動化，縮短單筆工單處理時間，實現了更加高效智能的客戶服務體驗。

智能營銷

隨著銀行業同質化競爭加劇，傳統的營銷物料設計效率和產能難以滿足需求，用戶畫像生成不夠精準，營銷效果有限。大模型的引入賦予商業銀行更強大的智能營銷能力，洞察客戶真實意圖，幫助銀行更好地滿足客戶需求，提高市場競爭力，實現更智能、更有效的營銷，具體可包括以下三個方面：

第一，智能生成營銷物料。通過結合語料適應性訓練，大模型能夠輔助生成營銷話術和營銷文案，為銀行的營銷運營團隊提供支持，針對不同客戶，批量生成專屬營銷文案，幫助其高效快速獲取最新資訊和產品信息。大模型同時可以構造與之對應的圖文推廣，為客戶提供全渠道、多元化的金融服務。

第二，精準構建用戶畫像。大模型利用海量用戶數據關聯學習，在特征提取環節能夠從文本、圖像、音頻等方面提取用戶更深層的特征，自動生成更符合用戶實際情況和需求的標簽和得分，從而提高用戶畫像的可信度和有效性，為客戶提供合適的產品推薦、廣告投放、內容分發等，達到精準營銷的效果。

第三，優化制定營銷策略。營銷策略的制定受市場環境、競爭對手、目標客戶等因素的影響。大模型能夠利用其數據預測和決策的優勢，深入挖掘市場數據，分析未來變動趨勢，制定精準營銷策略。在策略評估環節，大模型因其具有強大的可視化能力可以呈現出直觀、有效的評估報告，幫助分析營銷表現，優化調整營銷策略。

智能投顧

自2016年開始，銀行逐漸推出智能投顧服務。傳統的智能投顧產品是通過在銀行的分析智能模型中引入人工智能算法，其主要局限性包括：一是僅基于歷史數據和少數信息判斷，二是模型較為傳統和封閉，三是模型成本過高、效率不足。而大模型的應用引導投顧業務向生成式邏輯靠攏，改變了傳統以分析作為底層邏輯運營。大模型在智能投顧場景的應用體現在以下三個方面：

第一，差異提供投資服務。大模型通過分析客戶的風險偏好、收益目標、投資周期等信息，生成與客戶需求相匹配的資產池，與客戶進行自然語言交互，更好地理解客戶需求，為客戶形成特定需求的投資方案。同時，大模型處理海量金融數據和相關信息，從中提取關鍵信息并進行分析，全面評估投資機會與風險。

第二，靈活應對市場變化。大模型具有高速處理分析數據的能力，能夠實時監測市場動態和投資組合狀態，當市場出現異常波動時，及時進行風險提示。當市場出現機會時，大模型可根據客戶風險偏好進行智能化提醒，以確保投資組合的風險和收益水平符合客戶的需求，提高投資效率和準確性。

第三，有效提供服務支持。大模型通過對數據進行深度學習算法的訓練，學習金融領域的專業術語、市場趨勢、投資策略等知識，為投資者提供更加準確、有效的信息，解答客戶關于機構評級、產品評分及投資建議等方面的疑問，提高客戶對投資市場的認識和理解，為投資策略的形成提供強大的技術支持。

智能辦公

與傳統模型相比，大模型具備強大的通用能力和智能創作能力，可以通過聊天交互模式，協助用戶完成文案撰寫、文檔總結、代碼生成等各類智力性和創造性工作，是員工智能、高效、便捷的工作助手，能大幅提升辦公效率和員工的交互體驗，具體體現在以下兩個方面：

第一，智能生成辦公文本。大模型能夠作為辦公助手，輔助完成報告和運營文案生成、郵件起草、公文潤色、紀要撰寫、內容審核、輔助糾錯等工作，為員工提供更加便利快捷的智能辦公工具及個性化的智能辦公解決方案，大幅提升工作效率。

第二，智能解答業務疑問。著眼于大模型在金融領域的知識理解能力、內容生成能力，結合向量數據庫等技術，發揮垂直領域內知識理解能力，賦能業務實現專業知識智能解答。此外，大模型還可以實現不同語種的實時翻譯，提升商業銀行跨境業務交流和管理水平。

智能風控

風險控制是銀行業的核心要務。大模型的閱讀理解能力可以輔助提示存在的法律風險，降低人為疏漏概率，提升法審人員工作效率。在大模型的通用能力基礎上融合金融行業的知識和數據用于真偽核驗、輿情分析等環節，結合風控數據模型，對可能發生的風險事件做出預警，實現風險控制有效管理。

第一，提高風險評估水平。大模型使用廣泛的數據背景知識進行預訓練，高效處理大量結構化和非結構化金融交易數據。通過整合征信報告、財務狀況和行為數據等信息，對客戶信用風險進行評估。這種創新手段有望改變傳統的金融產品定價方式，實現個性化差異化定價，從而更準確地評估貸款和信用卡風險，加強早期預警信號檢測，提高貸款效率，最終降低信用違約風險。

第二，加強風險預警監控。一是結構化信息提取能力的提升。大模型的應用可以大幅加強文本信息中的結構化數據提取，有助于風控系統進一步挖掘機構的風險信息，提升風險預警的準確性。二是輿情風險識別能力的加強。對于從新聞資訊、輿情信息等非結構化數據中進行風險捕捉和風險篩查，如果使用人工或常規模型識別，其效率和準確率都很低，而使用大模型就能使準確率和效率獲得較大幅度的提升。

第三，強化合規風險管理。為確保遵守國際法規和國家法規，金融機構的海量業務需要處理和審查大量數據，分析和提取諸多變量，整理和報送眾多報表報告。大模型可以賦能數據篩查、報表生成和報告提交，極大地解放了從業者的手工勞動量。在監管嚴苛和大量處罰的背景下，監管報表、內控監測、客戶隱私保護、運營安全等方面都可以借助大模型的賦能助力，將使得處罰成本大幅降低。

大模型應用的風險防范

隨著人工智能的高速發展，特別是以大模型為代表的生成式AI火遍全球后，關于科技道德與倫理、個人信息與隱私泄露、反欺詐等話題也引發廣泛關注與討論。當前，各國已相繼出臺面向人工智能的監管政策，對AI應用的安全性、透明度、可解釋型等方面提出了明確要求。美國在2023年1月推出《人工智能風險管理框架》，歐盟也在同年6月頒布了《人工智能法案》。我國也先后出臺《互聯網信息服務深度合成管理規定》和《生成式人工智能服務管理暫行辦法》，標志著對生成式AI的監管進入體系化時代。雖然目前金融行業尚未出臺大模型和生成式AI相關的垂直監管政策，但銀行作為國家經濟活動的樞紐，必須對大模型應用過程中的數據、模型、決策和其他次生風險做到早識別、早應對，筑牢安全可控的底線。

數據風險防范

大模型需要使用大量的數據進行訓練，因此，數據的質量和多樣性有著重要的影響，但是在實踐過程中，數據的質量、樣本以及保護存在不足，從而引發風險，具體表現為以下三個方面：

第一，數據污染風險。在訓練數據的過程中，如果存在與惡意攻擊者合謀的惡意數據，會使模型在某些特定輸入上產生錯誤的預測結果，從而影響模型的可靠性，增加了潛在風險。

第二，數據偏見風險。由于數據分布的不均衡，大模型可能會產生數據偏見，從而導致不公平的結果。例如，如果模型在訓練數據中學習到某些群體的特征，而這些特征是負面的，那么模型可能會對這些人產生歧視性的結果。

第三，數據安全風險。模型需要處理大量的個人數據，如用戶的聊天記錄、搜索歷史等。如果這些數據在處理或存儲過程中受到不當使用、泄露或濫用，可能會對用戶造成損失。因此，數據安全風險是一個需要高度關注的問題。

要盡可能防范大模型使用中的數據風險就應做到：一是提升數據質量。通過數據清洗和去偏處理，去除噪聲值和異常值，對數據質量持續監控和維護，以保證數據的公正性和客觀性。二是確保數據多樣豐富。盡可能收集多種類型的數據，包括文本圖像、音頻等，以支持大模型的多樣性和可靠性。三是加強數據隱私保護。采用數據加密和匿名化等技術手段，對大模型中的對話數據、用戶賬戶隱私信息等加密存儲，設置身份認證和訪問控制，降低隱私數據被竊取和篡改的風險。

模型風險防范

盡管大模型的快速推進使用標志著弱人工智能邁向強人工智能，但大模型上存在的技術局限也引發了相應的風險。

第一，模型攻擊風險。大模型在生命周期中會遭受攻擊，這些攻擊對大模型的性能造成威脅，進而影響大模型的表現。模型可能會遭到后門攻擊、投毒攻擊、模型竊取等。并且，當基礎模型遭受攻擊后繼續用于下游任務時，模型的脆弱性會被下游模型繼承，對安全性要求高的下游任務會造成嚴重危害。

第二，模型幻覺風險。大模型幻覺可分為事實性幻覺和忠實性幻覺，前者是指模型生成的內容與可驗證的現實世界事實不一致，后者是指與用戶的指令或上下文不一致。在模型不具備回答某種問題的能力時，模型不會拒絕回答，而是會輸出錯誤的答案，這就導致了生成內容的不可信。

第三，模型涌現效應。大模型的涌現能力是指一些不可預測的能力在小模型中沒有出現而在大模型中出現了。這種不可預知的涌現行為會帶來無法預測的潛在風險，導致生成結果不可控，可能會在沒有足夠時間做出響應的情況下促成新形式的濫用。

為減少大模型技術局限所帶來的風險，可以從以下幾個方面防范：一是評估優化模型，采用多種評估指標對模型進行評估和優化，包括準確率、召回率、F1值等，以提高模型的泛化能力和魯棒性；二是增強模型安全性，采用防御性技術手段，如對抗訓練、攻擊檢測等，來增強模型對攻擊的抵抗能力；三是大模型與外部知識庫或外部引擎深度結合，適時地將大模型視為變量，而非將其視為核心，更加因地制宜地使用大模型技術。

決策風險防范

大模型賦能決策范式轉變，提升決策效能，拓寬應用場景。但是，由于大模型缺乏透明度、可解釋性和可控性，也引發了一系列的決策風險。

第一，決策時效風險。大模型的訓練依賴歷史數據，并不具備實時獲取和處理新數據的能力，難以及時更新模型中的知識儲備。對于一些實時性較強的最新資訊或即時消息，模型可能會輸出不準確或錯誤的信息，模型訓練和預測存在明顯的滯后性。這種滯后性可能使大模型無法及時反映外部環境的動態變化，影響決策的前瞻性和準確性。

第二，決策解釋風險。雖然模型能夠為決策提供高質量的事后解釋，但由于其結構復雜且缺乏透明度，難以用這類事后解釋來驗證模型是如何做出決定的。因此，會出現難以理解模型決策過程和結果的情況，不能準確識別模型中可能存在的偏見和錯誤。

第三，決策倫理風險。大模型支持多種語言，但是在處理文化背景、風土民情等內容時也會出現無法準確理解的情況，可能輸出帶有偏見或違反公序良俗的內容。如果模型在訓練數據中學到類似宗教、種族、性別、國籍、收入等相關的歧視性偏見，也可能在金融決策中發生對特定群體的不公平對待，如在信用評分中對低收入群體產生不利影響。

大模型產生的決策風險可以從以下三個方面防范：一是持續更新數據，定期更新訓練數據，使用微調的方式，保證模型能夠學習最新的知識和模式；二是提高可解釋性，加快探索落地可解釋大模型技術；三是從人工智能的開發和結果應用等多個層面加入道德復核，確保其價值公允符合人類基本道德信條，從而確保大模型的安全可靠和實際可用。

（宋首文為中國銀行企業級架構建設辦公室資深經理。本文僅代表個人觀點，不代表所在單位意見。本文編輯/王茅）