基于機器學習的內部審計結果推廣運用探索

中國工商銀行股份有限公司內部審計局昆明分局

[摘要]本文以防范化解金融消費領域風險為主線，立足增值服務視角，以某商業銀行貴金屬業務內部審計項目為例，采用機器學習算法識別客戶意見，挖掘并預警潛在風險，并從經濟效益、管理效率和應用領域等方面對審計結果運用成效進行分析，為推動內部審計高質量發展、促進組織價值增值提供參考。

[關鍵詞]內部審計? ? 結果運用? ? 機器學習

近年來，隨著計算機硬件性能的飛速發展和自然語言處理（NLP）技術的日趨成熟，機器學習、深度學習等數據挖掘建模技術已廣泛應用于各大領域，以機器學習為代表的人工智能技術也逐步應用于持續監測和風險評估等審計活動，并通過審計資源管理系統建設、數據分析工具的深度應用，大幅提升審計活動自動化、科學化和智能化水平，將其應用于商業銀行客戶意見分析，同樣可以提升審計工作質效。

一、審計背景

由于貴金屬業務具有交易品種多樣、銷售渠道豐富、處理流程復雜等特點，本次審計重點關注實物貴金屬銷售管理及流程控制的合規性和有效性，創新性地從客戶視角對業務內控的有效性和操作的合規性進行全面評價。傳統審計要提取客戶意見風險特征，往往需要耗費大量人力和時間等審計資源，本次審計嘗試運用人工智能技術，針對全量客戶服務工單進行數據挖掘分析，以客戶負面情緒為切入口，建立“客戶痛點—產品質量—服務效果—合作機構管理”的全流程風險分析視圖，挖掘引發客戶痛點的深層次、有價值的審計線索。

二、審計過程

（一）客戶情緒痛點分析

抽取貴金屬業務方面客戶意見X萬筆，運用Word2Vec模型，將產品體驗、服務效果與客戶意見中的“不滿”“著急”“氣憤”等情緒痛點建立關聯關系。經機器學習發現，該行代銷的“快樂X”“大X套裝”等貴金屬產品投訴率偏高（見表1）。

（二）產品質量關聯分析

根據客戶情緒痛點關聯分析結果，通過機器學習對該行貴金屬產品質量進行關聯分析發現，“項鏈類產品”質量問題與客戶投訴的關聯概率達30.85%，說明客戶投訴的產品質量問題中近三成與“項鏈類產品”相關，與客戶情緒痛點分析結論吻合。

（三）代銷合作機構管理分析

經現場核實，“快樂X”和“大X套餐”貴金屬產品系該行與某公司合作代銷產品。運用機器學習，對歷史問題數據進行訓練學習，對全量客戶意見進行相似度匹配挖掘發現，個別員工在代銷貴金屬產品時未將銷售收入記入該行銷售總賬。進一步通過資金流向匹配跟蹤發現，該公司主動向經辦人員提供非雙方約定的結算賬戶信息，存在“引導該行客戶在系統外銷售貴金屬產品”的禁止性行為。

針對審計發現的實物貴金屬銷售管理中暴露出的問題和風險趨勢，審計組立即對全行貴金屬合作代銷機構進行疑似風險全面排查，提取風險事件特征并在業務風險監測系統中部署相關風險監測模型，及時預警違規行為，防止外部風險傳染，實現類似風險事件的系統剛性控制。

三、結果運用

（一）明確審計結果運用路徑

根據審計發現問題，審計組及時歸納總結審計發現的過程、方法和風險特征，從審計結果運用和審計技術推廣兩個層面明確運用路徑，具體見圖1。

（二）實現審計結果充分運用

通過對審計結果的抽象化、模型化，在銀行集團及代銷合作機構總公司范圍內進行自上而下的雙向風險排查以消除風險隱患。

一是審計部門在全面掌握實物貴金屬銷售管理風險特征的基礎上，積極研發并部署“疑似違規私售合作機構貴金屬產品”的風險預警模型，持續監測代銷產品數量、資金清算和實物交割等明細數據的匹配性和異常數據，及時向業務管理部門發布風險提示，并根據監控結果實現對被審計單位審計發現問題整改效果的動態評估。

二是業務管理部門根據審計結果和定期發布的風險提示，實現對代銷合作機構往來賬務及傭金管理的動態管控。同時，通過補充完善合作協議條款、強化營銷人員合規操作意識等措施，進一步提升被審計單位的內部控制水平。

三是代銷合作機構依據審計結果，在全國范圍內開展銷售合規性自查，完善內部控制措施，有效降低合作機構對該商業銀行的外部風險傳染性。

（三）拓展審計技術推廣領域

一是不斷深化非現場技術研究，提升風險抽樣質效。創新運用LDA主題聚類、支持向量機（SVM）、人工神經網絡（ANN）等大數據分析技術，針對客戶意見等非結構化數據開展全量分析，不僅實現對客戶意見全覆蓋的風險特征抽樣，還能從完善客戶意見管理機制、提升客戶服務水平等方面提出有針對性、行之有效的管理建議。如消費者權益保護審計項目，運用“人工神經網絡+邏輯回歸”模型，實現對疑似侵害消費者權益數據的自動化標注和風險抽樣，有利于集團審計部門間協同配合，互相利用審計成果，減少重復審計，提高審計效率，實現集團審計全覆蓋。

二是提升數據獲取能力及挖掘價值，豐富內部審計線索來源。通過機器學習，對客戶意見、外部輿情信息等非結構化數據的獲取和分析進行積累學習，有效積累風險特征數據，拓寬內部審計部門風險信息獲取渠道。比如，理財業務審計同樣可以運用貴金屬審計發現成果和機器學習模型，有效識別違規銷售等隱性風險線索，為完善制度體系、建立健全內部控制機制提供參考依據。

三是夯實數據基礎，豐富技術應用場景，不斷提升內部審計智能化水平。在推動審計結果運用的基礎上，搭建人工智能數據挖掘分析平臺，在徹底解決數據存儲安全性問題、提升數據建模穩定性和運行效率的同時，探索基于準實時的客戶意見自動抓取和分類標注技術，實現客戶意見動態監測，并為輿情監測前移夯實了數據基礎。同時，集團內部審計堅持“產品化”數據分析成果思路，依托已構建的內部審計信息系統，采取“快速迭代”方式，將測試驗證效果好的數據分析成果按照分層次、分階段、分步驟實施的策略，逐步在內部審計信息系統中固化高效精準的審計工具和產品，以推動建立信息共享、結果共用、問題整改共同落實的工作機制，切實提升內部審計工作的智能化水平。

四、運用成效

（一）提高經濟效益

一是充分發揮客戶意見風險揭示效能。應用機器學習進行審計監測，發現違規代銷合作機構產品問題，向被審計單位發布風險提示，及時采取風險管控措施，在挽回經濟損失的同時降低了聲譽風險。

二是有效降低合規管理成本。通過對客戶意見系統自動持續進行動態監測，及時發現員工違規行為，有效降低風險損失類事件的發生概率。

三是大幅節約審計資源。采用基于機器學習等新興技術的審計方法，不僅實現對客戶意見的全覆蓋審計和動態監測，還大幅降低了審計資源投入。

（二）提升管理效率

一是通過構建持續監測分析模型，及時預警風險事件，被審計單位可快速響應，提高整改效率。其他單位還可通過內部審計信息共享機制，及時掌握風險特征，對風險隱患進行排查，有效預防風險發生，避免風險傳導擴散。

二是審計部門通過對外部環境、市場信息、客戶意見等多渠道數據進行收集，以常態化、持續性監測分析，有效識別資產質量管理過程中的主要風險，發現機制性和系統性問題，并且有針對性、及時地提出有價值的管理建議，達到持續提升審計質量的目的。同時，為審計方式由“抽樣審計”向“全量審計”轉變、審計結果由“定性結論”向“定量結論”轉變提供充分的技術支撐，降低審計資源消耗和管理成本。

（三）拓展應用領域

在互聯網金融和大數據背景下，機器學習等人工智能技術的應用領域也更加廣闊，不僅可作為傳統結構化數據挖掘分析的有效補充，還可從客戶視角獲得第一手審計線索。比如，在商業銀行資產管理審計領域，可實現產品設計、營銷管理、法律遵從等方面的全生命周期監控，針對操作風險事件及時預警。同時，該審計結果也可進一步應用于商業銀行代理銷售的其他產品領域。又如，在消費者權益保護審計領域，可實時抓取客戶投訴及意見中的“觀點”，與預先定義的“內審詞庫”進行比對，及時發現并報告商業銀行在戰略執行、機制流程、渠道與產品服務、外部風險傳導以及涉及消費者權益方面的問題和風險;也可作為輿情前移管理的技術手段，快速從客戶意見中抽取“疑似飛單私售”“客戶投訴升級”“員工違規行為”等風險特征，對隱藏在客戶意見中的潛在輿情事件進行風險排查和預警，從內部審計增值服務視角為商業銀行輿情前移管理提供解決方案。

（執筆：趙軍）