ChatLONGYING：大語言模型在銀行財富管理領域的應用研究

吳永飛 葉廣楠 劉森 王彥博

ChatGPT對話機器人于2022年11月由OpenAI推出，能夠學習和精準理解人類的語言，并以接近人類的智能水平進行對話和互動，引發了全球廣泛關注。2023年2月，復旦大學發布了國內首個類ChatGPT大語言模型——MOSS，該模型可執行對話生成、編程、事實問答等一系列任務，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。MOSS與ChatGPT相比，最大的差異是參數規模，MOSS的參數量小了一個數量級，這使得大語言模型面向垂類應用的私有化部署、微調訓練及有效應用更加便捷。本文提出基于MOSS等產生了涌現現象的開源大語言模型，面向銀行應用領域中的財富管理場景，通過輸入個性化數據及微調模型，成功打造并應用ChatLONGYING商業銀行私有化大語言模型的方案，以期為金融行業廣泛落地部署大語言模型及相關應用發展提供借鑒。

人工智能與AIGC發展回顧

全球人工智能發展經歷了三次大繁榮，分別是：20世紀50年代至70年代，以1956年達特茅斯會議為標志事件，符號主義和邏輯推理為主要研究內容的第一次人工智能浪潮；20世紀80年代，以特定領域“專家系統”實現人工智能實用化，以及“專家系統”所依賴的知識庫系統和知識工程為研究方向的第二次人工智能浪潮；20世紀90年代至今，以基于統計學習方法的人工智能算法，以及圖靈獎得主、深度學習先驅Geoffrey Hinton于2006年提出的深度學習算法并推動人工智能在多個領域超出人類水平為主要脈絡的第三次人工智能浪潮。

自21世紀始，大數據和大算力為人工智能應用提供了更加強大的支撐，以生成對抗網絡（GAN，Generative Adversarial Network）為代表的深度學習算法在諸多理論和實踐上加速突破，人工智能生成內容（AIGC，Artificial Intelligence Generated Content）或稱其為“生成式AI”迎來爆發期。AIGC通過人工智能算法自動或輔助生成創作和修改編輯文字、圖像、音頻、視頻、游戲、代碼、模型等數字內容，形成了新型數字內容生產方式。其中，ChatGPT對話機器人作為AIGC模式下的產物，是以GPT（Generative Pre-trained Transformer）為主要框架的人工智能大語言模型，是迄今為止最接近通用人工智能（Artificial General Intelligence，AGI）的技術，開啟了由弱人工智能到強人工智能的階躍，將對人類社會帶來深刻的變革，產生深遠的影響。

以ChatGPT為代表的大語言模型技術發展

業界發展動態

以ChatGPT背后技術為代表的人工智能大語言模型正在催生新一輪人工智能浪潮，在全球范圍掀起人工智能大語言模型科技競賽，科技巨頭加快布局，生成式AI領域風起云涌。從2018年至今，OpenAI先后迭代并推出了GPT-1、GPT-2、GPT-3、InstructGPT、ChatGPT和GPT-4。微軟、Google等科技巨頭加速跟進，其中，微軟率先將GPT-4應用于New Bing（新必應）搜索引擎，可更加精確地理解用戶的查詢需求，并提供與之相關的實時信息。與此同時，以百度、華為、阿里、商湯為代表的國內人工智能領軍企業加快大語言模型的研發和商業應用，并在NLP、OCR、計算機視覺、語音識別等多個領域開展模型實踐，初步形成端到端的全棧大語言模型技術應用能力。以復旦大學、清華大學為代表的高校科研機構，面向市場紛紛開源自主研發人工智能大語言模型，積極推動生態構建。傳統云廠商基于在云計算領域多年積累的技術優勢，優先構建基于大語言模型的智算基礎設施，有望形成MaaS（模型即服務）模式，并賦能產業，推動企業數智化升級，以期全面帶動產業數字化轉型發展。作為數據密集型行業，銀行業一貫是先進科技應用的先鋒軍，以工商銀行、農業銀行、華夏銀行為代表的商業銀行紛紛探索人工智能大語言模型在金融領域各場景的應用落地。

ChatGPT的優勢和特點

ChatGPT基于大規模預訓練模型GPT-3.5的強大語言理解和生成能力，引入RLHF（Reinforcement Learning from Human Feedback）技術，它將人類的反饋納入訓練過程，為機器提供一種自然的、人性化的互動學習過程。從人類得到反饋，以更廣泛的視角和更高的效率學習，從更專業的知識中學習并規范其價值導向。ChatGPT模型技術，通過文本、代碼、圖像、視頻等單模態和多模態內容生成，形成高效率的數字內容生產方式，開啟了數字內容生產革命，極大地提升了生產力；通過精準理解用戶意圖，調用已有的軟件工具、算法模型和第三方服務，滿足用戶各類需求，形成更高效的人機交互方式，讓人人都擁有屬于自己的AI助手成為可能；通過高效的信息聚合和知識提煉，并結合專業知識庫或搜索引擎，極大地提升了回復內容的準確性和實時性，有望形成新的知識表示、調用和獲取方式，為信息搜尋和知識獲取降本增效。目前，ChatGPT在知識問答、語言翻譯、信息搜索、內容創作、代碼生成、簡單推理和數據分析等領域達到人類基本水平。此外，ChatGPT在金融領域表現出了廣泛的應用前景，覆蓋了風險管理、欺詐檢測、財務規劃、營銷自動化、智能客服、增強知識圖譜、提高客戶活躍度及法律合規等眾多應用場景。

ChatGPT的局限性

盡管ChatGPT具有強大的語言理解和內容生成能力，但仍存在一些局限性，包括但不限于以下三個方面。

輸出內容缺乏時效性。ChatGPT通常基于歷史數據進行訓練，并不具備實時獲取和處理新數據的能力，難以即時更新模型中的知識儲備。對于一些實時性較強的最新資訊或即時消息，模型可能會輸出不準確或錯誤的信息，而要讓訓練數據囊括最新的資訊信息，對訓練的時間和成本消耗都非常大，更新速度會遠慢于搜索引擎。

輸出內容的可靠性有待進一步提升。ChatGPT輸出內容仍會存在事實性錯誤，它本身無法核實數據來源的真實性，不具備驗證引用數據來源的能力，可能會輸出一些虛構或錯誤的信息。此外，盡管ChatGPT技術具有極其優秀的語言“創造”能力，以及看起來極具邏輯性的“邏輯推理”效果，但ChatGPT的推理和生成答案依賴于“統計概率”方法，因此不足以準確地處理邏輯問題。不僅如此，如果沒有灌入特定專業領域數據開展訓練，ChatGPT在特定專業領域上的垂類應用表現也不盡如人意。

模型倫理道德邊界存在模糊空間。ChatGPT是基于現實世界的語言數據預訓練而成的，若數據存在偏見和有害內容，以及標注人員的偏見性，會導致模型輸出帶有歧視、偏見等違背倫理道德的有害內容。盡管模型開發者有意避免上述問題，但經過一些誘導或不當操作，模型輸出有害內容仍有可能發生。

對人工智能大語言模型應用模式的思考

人工智能大語言模型應用模式分類

ChatGPT背后的人工智能大語言模型技術將催生新業態，帶來新機遇。在云計算時代，IaaS（基礎設施即服務）、PaaS（平臺即服務）和SaaS（軟件即服務）幫助企業將業務更快地遷移至云端，實現信息化發展目標。在人工智能時代，MaaS（模型即服務）將向企業提供模型能力，支持企業和產業實現數字化轉型及智能化改進。因此，如何將人工智能大語言模型快速應用落地，是賦能實體經濟、便利人們生活及促進企業數智化轉型的關鍵。

從企業實際應用人工智能大語言模型的方式來看，可以分為公有云模式和私有云模式。

公有云模式主要是科技巨頭通過構建人工智能大語言模型基礎設施向市場提供模型能力，實現MaaS（模型即服務），滿足不同開發能力的企業和個人需求。具體而言，主要包括直接調用推理服務、模型微調服務、模型托管等方式：第一，直接調用推理服務。用戶可以通過付費訂閱等方式，直接訪問通用大語言模型的核心推理能力，獲得推理結果。第二，微調服務。用戶可以根據自己的需求，使用少量的領域數據，在通用大語言模型的基礎上，以相對較低成本的方式訓練出一個定制化的大語言模型。第三，托管服務。用戶可以將通用大語言模型或微調后的行業及專業領域大語言模型直接部署到云端。這樣，用戶只需要調用大語言模型，無需關心部署和管理的復雜性，同時保證了大語言模型的可用性、效率和安全性。

私有云模式主要是出于對敏感信息和重要數據的保護以及合規的需要，企業將人工智能大語言模型部署于本地私有云，供企業內部用戶使用。人工智能大語言模型構建要求極高的算力，非一般企業或個人能夠承擔。從建設成本和難易度等因素考慮，企業構建人工智能大語言模型主要包括但不限于以下三種方式：第一，合作部署。通過將模型服務商的通用AI大語言模型私有化部署本地，供企業內部使用。這種方式下，模型參數一般高達千億級別甚至更高，具有較高通用智能，但建設成本較大，企業定制化需求難以滿足。第二，“大語言模型+微調”方式。通過選用中等規模人工智能大語言模型（百億級參數）或將超大規模大語言模型進行剪枝、量化、蒸餾，并結合企業私有數據，對大語言模型進行微調，使之適用于具體垂直行業、領域和場景。第三，“預訓練+微調”方式。企業通過大規模“預訓練﹢微調”范式，自主構建大語言模型。該方式下，對企業算力成本、核心技術掌控力等方面有很高要求。

人工智能大語言模型應用模式的優劣勢對比分析

人工智能大語言模型應用模式情況的對比分析詳見表1。

對于商業銀行而言，數據安全保護必須符合國家法律和行業監管要求，調用外部廠商大語言模型服務需要依賴AI模型服務商提供的安全保障，可能存在數據被第三方訪問或竊取的風險。因此，商業銀行應優先考慮以私有云模式推動人工智能大語言模型應用落地。其中，在合作部署模式下，私有化部署模型服務商的通用AI大語言模型的建設成本較高，且難以滿足商業銀行定制化需求；在“預訓練+微調”模式下，大語言模型的開發、訓練、推理部署的門檻非常高，通常需要大規模算力進行模型訓練，企業需要負擔相對高昂的GPU等硬件成本，且技術難度大，存在較大實施與應用風險；而在“大語言模型+微調”模式下，考慮建設成本和技術復雜度相對可控，當前商業銀行可優先考慮運用中等規模通用大語言模型開展相應的應用落地工作。

在私有云“大語言模型+微調”模式下，具體有兩種可能的實現路徑：一是通過對現有模型服務商的通用AI大語言模型（一般是千億級參數）進行裁剪、量化和蒸餾，形成中等規模大語言模型（百億級參數），并結合本地數據進行微調。二是直接應用中等規模通用大語言模型，基于模型通用智能涌現現象和泛化能力，并結合多種垂直行業和業務場景需求進行模型微調及應用適配，構建面向垂類應用的大語言模型，從而擺脫傳統AI能力碎片化、作坊式開發的束縛。

商業銀行人工智能大語言模型應用建設

復旦大學MOSS大語言模型的技術發展。復旦大學MOSS大語言模型是國內首個插件增強的開源對話語言模型。該模型擁有約160億個參數，支持中英文雙語和多種插件，如搜索引擎、計算器、解方程、文生圖等。復旦大學MOSS大語言模型在約7000億中英文及代碼單詞上預訓練，并基于此進行插件增強的多輪對話有監督微調，使其具備多輪對話能力、指令遵循能力及規避有害請求的能力，覆蓋有用性、忠實性、無害性三個層面，提高對話質量和用戶滿意度。MOSS開發的基本步驟包括自然語言模型的基座訓練及理解人類意圖的對話能力訓練兩個階段。并且，相較于1750億參數的GPT-3模型、1760億參數的BLOOM模型以及500億參數的BloomBergGPT模型，MOSS模型不僅小巧而且精悍。它在模型量化后能夠輕松進行終端設備部署，在FP16精度下可在單張英偉達A100/A800或兩張RTX 3090顯卡運行，在INT4/8精度下可在單張RTX 3090顯卡運行，做到了能耗低和碳排放量小，并方便用戶交互；同時它也可以在進行垂直領域數據微調時，較大程度地避免過擬合及記憶訓練數據等問題。此外，MOSS大語言模型能夠從各類金融實時數據（如股票、債券等）、各類知識圖譜（如產業鏈、供應鏈等），以及研報、財報等非結構化文本信息中學習多源異構知識，通過多種方式增強MOSS模型的金融專業領域智能對話能力，可在銀行財富管理等金融場景中發揮其應用價值。

基于MOSS等大語言模型構建ChatLONGYING。本文綜合考量數據安全、定制化、技術難度、建設成本等因素，提出商業銀行可優先考慮選用產生了涌現現象的中等規模通用大語言模型作為私有云應用基礎，結合垂類應用場景需求進行微調，并集成商業銀行現有的自然語言處理、計算機視覺、智能語音、知識圖譜等多個AI核心技術能力，打造商業銀行AI大語言模型能力體系，實現AI從“手工作坊”到“工廠模式”的轉變，由此高效地進行模型生產與服務，賦能商業銀行數字化轉型與智能化發展。本文主要基于MOSS大語言模型并輔以其它開源人工智能模型，面向銀行應用領域中的財富管理場景，通過輸入個性化數據及微調模型，利用SFT（Supervised Fine-Tuning）微調技術在學習過程中融入了人類專家的知識和經驗，提高智能體的學習效率和性能，并利用Prompt技術在模型使用時限制領域知識范圍，提升模型生成效果，從而成功打造并應用ChatLONGYING商業銀行私有化大語言模型。

人工智能大語言模型在銀行財富管理領域的應用探索

銀行財富管理需求痛點分析

商業銀行在財富管理領域存在諸多痛點。一是從智能投顧視角看，財富管理專業人才匱乏。傳統財富管理服務的門檻較高，商業銀行能夠為客戶提供專業咨詢和資產配置建議的專業人員較少，基于運營成本考慮，相關人員往往優先服務高凈值客群，難以覆蓋長尾客戶。二是從智能投研視角看，傳統數據分析和投研效率較低。多數理財顧問只能提供一些基礎的產品介紹和推薦，缺乏對規模龐大、維度多樣、瞬息萬變的金融市場數據開展全面、深入、靈活、有效的分析，投研效率不高。三是從智能投資視角看，難以滿足客戶的不同風險偏好和差異化資產配置需求。金融市場的復雜化和多元化增大了資產配置難度，投資風險分析和投資策略制定等業務具有較高的專業性，且不同客戶風險偏好、投資策略不盡相同，相關業務人員難以有效應對。

ChatLONGYING在銀行財富管理領域的應用探索

面向智能投顧場景。一是可應用于客戶畫像。ChatLONGYING通過分析客戶的風險偏好、投資目標和資產狀況等信息，生成與客戶需求相匹配的資產池，通過與客戶進行自然語言交互，ChatLONGYING可以更好地理解客戶需求，為客戶提供個性化的投資建議。例如，理財經理可以詢問ChatLONGYING：“請告訴我50歲、男性、工程師、月收入2萬元的新客戶會比較偏好什么類型的基金產品？”在此場景中ChatLONGYING可以為特定客群給出適宜性建議并提示投資風險。二是可應用于投資知識普及。ChatLONGYING可通過智能問答系統，解答客戶關于投資業務的疑問，提高客戶對投資市場的認識和理解。通過與客戶進行自然語言交互，ChatLONGYING可以更好地理解客戶問題，提供簡單易懂的投資知識。例如，客戶可以詢問ChatLONGYING：“我覺得最近經濟形勢向好，想買一些易受經濟周期影響的行業，可否幫我羅列一下？”在此場景中ChatLONGYING會羅列出受經濟影響較大的行業，并嘗試給出各行業受經濟影響的相關分析。三是可應用于產品接續提醒。自動化地管理投資組合，針對需要定期調整投資組合的資產配置，ChatLONGYING可以根據客戶設置好的信息進行智能化提醒，以確保投資組合的風險和收益水平符合客戶的需求，提高投資效率和準確性。例如，客戶可以要求ChatLONGYING：“請在我目前購買的產品到期前3天提醒我，準備續接新的產品。”在此場景中ChatLONGYING可以通過調用APP、短信、郵件等方式幫助客戶進行后續智能化提醒操作。四是可應用于客戶服務支持。ChatLONGYING可通過智能問答系統解答客戶關于機構內評分、評級及投資建議的疑問，提供技術支持和投資建議，通過與客戶進行自然語言交互，可以更好地理解客戶問題，提供個性化的客戶服務。例如，客戶可以詢問ChatLONGYING：“機構為我建議的RP1是什么意思？”在此場景中ChatLONGYING會根據機構評級給出釋義，展示出對應風險等級的投資產品，并闡述風險意愿與風險能力差異，為客戶答疑解惑。

面向智能投研場景。一是可應用于數據分析挖掘。通過自然語言處理技術，ChatLONGYING會從大量的投資數據中自動化地挖掘出關鍵信息和趨勢，幫助分析師更快地了解市場變化和投資機會，從而更好地做出投資決策。例如，客戶詢問ChatLONGYING：“上市公司A的凈利潤是否超預期？”在此場景中ChatLONGYING會通過搜索未公布年報時A機構給出的預測利潤及公布年報后的實際數據，給出問題的回答。二是可應用于研究報告檢索。根據客戶需求，ChatLONGYING通過與信息檢索技術的整合，自動完成投資研究報告檢索工作，自動化地整合和分析大量數據，提供研究報告的內容和結論，從而大大提高研究報告的質量和效率。例如，客戶可以詢問ChatLONGYING某公募基金交易范圍，如“510021是否可以交易港股？”在此場景中ChatLONGYING會對研究報告的智能檢索給出交易范圍、直接與間接交易差異，并提示交易公募基金風險。三是可應用于指標計算。ChatLONGYING可使用算法對投資數據進行分析和計算，根據給定數據提供最佳的投研建議，并幫助投資者了解相關的評價指標，以更高效地完成投資研究。例如，客戶可以詢問ChatLONGYING某理財產品近四年的最大回撤，而不再因受到時間段限制需要手動計算。四是可應用于情報監測。通過對投資市場的實時監測和分析，ChatLONGYING可自動化地發現市場風險和機會，提醒投資者關注市場變化和風險，使投研結果更快地匹配現實場景。例如，詢問ChatLONGYING：“161725基金經理最近兩年有變動嗎？”在此場景中ChatLONGYING會給出基金經理任期變動、是否在客戶圈定范圍內發生了變動、目前基金經理任期時長等相關信息。

面向智能投資場景。一是可應用于資產配置。根據投資者的風險偏好和目標，ChatLONGYING會自動化地生成最佳資產配置方案，通過機器學習算法和大量的投資數據，為投資者提供最優的投資組合，以達到最大化的投資回報和最小化的投資風險。例如，可以詢問ChatLONGYING：“接下來的市場行情不錯，我想更加激進一點，可否幫我推薦一個含有ChatGPT概念的股票列表。”在此場景中ChatLONGYING會給出相應概念的股票列表并提示其主營業務。二是可應用于編寫策略代碼。ChatLONGYING可通過機器學習算法和實時的市場數據，提供最佳的交易策略，根據市場趨勢和投資者的需求，提供買入和賣出的建議，以最大化投資回報和降低交易風險。例如，可以要求ChatLONGYING：“請幫我寫一個Python策略，策略思路為均線MA5超過MA10且年化波動率小于15%。”在此場景中ChatLONGYING會將相對應的代碼呈現出來，包括數據、策略主題、回測表現等全流程信息。三是可應用于實時投資監測。ChatLONGYING可通過實時的市場數據和投資組合監測，為投資者提供實時的投資決策建議，幫助投資者了解市場變化和趨勢，及時做出投資決策，以最大化投資回報。例如，給出自己的投資組合后詢問ChatLONGYING：“在我自己的股票組合中，最大回撤超過5%時減倉合理嗎？”在此場景中ChatLONGYING會給出最大回撤對組合的負面影響，減倉的正面效果及其他投資建議。四是可應用于風險管理。通過自動化的風險評估和監測，ChatLONGYING能幫助投資者降低投資風險，根據投資者的風險偏好和投資組合，提供最佳的風險管理策略，以保護投資者的本金和收益。例如，當投資者希望自己的組合收益長期達到8%，但是最大回撤不超過5%時，可以詢問ChatLONGYING如何操作。在此場景中ChatLONGYING會根據投資者的輸入信息給出操作步驟及相應的投資建議。

結語

本文回顧了人工智能大語言模型的發展歷程及當前的進展，在深入研究人工智能大語言模型應用模式的基礎上，提出商業銀行可優先考慮選用產生了涌現現象的中等規模通用大語言模型作為私有云應用基礎，結合垂類應用場景需求進行微調，并集成商業銀行現有的自然語言處理、計算機視覺、智能語音、知識圖譜等多個AI核心技術能力，打造商業銀行AI大語言模型能力體系。

盡管人工智能大語言模型具有語言理解、內容生成等強大能力，但當前的模型應用仍面臨著安全風險挑戰，主要體現在三個方面：一是科技倫理風險引爭議。如人工智能自動生成內容，甚至人工智能取代某些人工工作，是否會出現違反人類倫理、道德、法律的問題，這存在很大爭議，目前尚無對相關技術的監管共識與標準。二是被惡意使用或誤用的風險。人工智能大語言模型的使用過程如不加以監督，也可能被用于生成違反法律法規、違背道德準則的內容，被利用于網絡炒作、制作惡意不實信息、編寫惡意軟件、實施不正當商業營銷等，或者泄露客戶個人隱私及保密信息等。三是惡意的提示注入攻擊。黑客可能針對生成式人工智能系統開發破解方法和提示注入攻擊，使用精心設計和提煉的句子而不是代碼，利用系統弱點繞過內容過濾器的安全檢查，將惡意數據或指令嵌入到AI模型中，使人工智能系統生成違背倫理道德、產生歧視性或誤導性甚至非法的言論等。

面對安全風險的挑戰應采取有效的防范措施，一是健全完善生成式AI安全應用相關制度。面對科技倫理風險，應通過建立有效的內容審核和監管機制，防止生成及傳播不良和違法內容；通過建立合理的知識產權保護制度，保障各參與方的合法權益；通過建立嚴格的數據保護規范，保護客戶的數據安全和隱私權。二是強化大語言模型應用的技術監管和審查。面對可能利用人工智能大語言模型進行網絡犯罪的問題，有關部門應加強對人工智能大語言模型的監管和審查，防止其被濫用，建立可行的檢驗方法來確保模型給出的回答是真實可靠和沒有危害的，避免數據泄露、虛假信息、侵權等問題。三是探索大語言模型實際應用落地的具體風險防范措施和手段。面對可能發生的內外部惡意攻擊，金融機構應根據自身業務，選用可信的人工智能大語言模型并采用私有云模式，實施必要的模型應用管理辦法和網絡控制手段，從而減小對外風險暴露面，穩妥開展人工智能大語言模型面向具體業務場景的應用落地。

（本文作者向中國工程院院士、復旦大學金融科技研究院柴洪峰院長對本文的指導表示感謝。復旦大學周宇航、曾倩如、甘云薈，以及龍盈智達﹝北京﹞科技有限公司陳生、楊璇、劉驪、劉曦子、關宇航、王一多、陽少杰、閆括、高新凱、李維、劉潔菲、李廣龍、覃輝、劉微、王月超和單石磊對本文亦有貢獻）

（作者單位：華夏銀行股份有限公司，復旦大學）

責任編輯：董 治