文/ 中銀金科 閆玲玲

在大數據時代背景下,機器學習相關技術的應用正全面滲透到金融行業當中。與傳統的統計模型相比,機器學習模型具有更好的預測表現能力。然而,隨著需要處理的數據規模越來越大,機器學習模型的復雜度也逐漸增加,這就為模型的可解釋性帶來了巨大的挑戰,用戶只能看到模型結果,無法了解模型做出決策的原因和過程。反洗錢場景的特殊性在于它屬于強監管領域,工作人員在進行可疑交易上報時,必須給出詳細的判斷依據,從而確保決策的合理性,因此模型的可解釋性就顯得尤為重要。為了提高機器學習模型的可解釋性,建立用戶與決策模型之間的信任關系,更好地推動復雜機器學習模型在反洗錢領域的應用,中銀金科在可解釋機器學習(XAI)領域進行了初步探索。
可解釋性是指我們具有足夠的可以理解的信息來解決某個問題,可解釋的機器學習是指我們能夠對輸入的特征和最終預測結果之間的關系進行定性理解,即每個預測結果都具備相應的決策依據。例如金融風控領域的評分卡模型,通過客戶最終得分來決定他能否通過貸款申請,同時通過不同特征項的得分給出判決依據。
通常情況下,模型的復雜程度與模型的準確度相關聯,同時又與模型的可解釋性相對立。線性回歸、邏輯回歸、決策樹等結構簡單的機器學習模型往往具有較強的可解釋性,我們可以針對模型進行歸因分析,從而確保決策的合理性,但學習能力有限,準確率不高;而集成樹模型、神經網絡等復雜的機器學習模型具有較強的擬合能力,在許多目標任務中取得了良好的性能,但由于模型參數量大、工作機制復雜、透明性低,因而可解釋性又相對較差,無法說明從輸入到輸出之間的因果關系。決策者使用復雜的黑盒模型時,由于缺乏模型解釋信息,無法判別模型結果合理性,所以導致很難將模型應用到某些實際工作場景,大大降低了模型的實際效益。
(1)根據可解釋性方法的作用階段,可以分為內在可解釋性和事后可解釋性。
·內在可解釋性:通過訓練結構簡單、可解釋性好的模型或將可解釋性結合到具體的模型結構中使模型本身具備可解釋能力。
·事后可解釋性:通過開發可解釋性技術解釋已訓練好的機器學習模型。
(2)根據可解釋性方法的使用范圍,可以分為全局可解釋性和局部可解釋性。
·全局可解釋性:解釋整個模型的預測行為,旨在幫助人們理解復雜模型背后的整體邏輯以及內部的工作機制。
·局部可解釋性:解釋單個實例的預測行為,旨在幫助人們理解機器學習模型針對每一個輸入樣本的決策過程和決策依據。
(3)根據可解釋方法與模型的匹配關系,可以分為特定于模型的解釋和模型無關的解釋。
· 特定于模型的解釋:意味著所使用的解釋方法必須應用到特定的模型體系結構中。
·模型無關的解釋:意味著解釋方法與所用模型無關聯。
為了提高機器學習模型的可解釋性,建立用戶與模型之間的信任關系,近年來機器學習領域的學者對可解釋機器學習方法進行了廣泛且深入的研究。其中,決策樹主要是根據特征分裂前后的信息增益變化來衡量特征的重要性;GLM(廣義線性模型)和GAM(廣義加性模型)都是對線性模型的擴展,其核心是將模型結果看作特征效應的總和;Rulefit 訓練M 個基分類器,生成規則,然后對規則加懲罰項進行線性擬合;ALE 根據條件分布得到在特定特征值時,預測值在局部范圍內的平均變化;PDP 和ICE 考察某項特征的不同取值對模型輸出值的影響;Permutation Importance 隨機重排或打亂樣本中的特定一列數據,通過模型預測準確率的變化來判斷特征的重要程度;LIME 的核心思想是對于每條樣本,尋找一個更容易解釋的代理模型解釋原模型。SHAP 的概念源于博弈論,核心思想是計算特征對模型輸出的邊際貢獻。

由于不同的可解釋方法解決問題的角度和側重點不同,中銀金科結合具體的工程化實施過程,對可解釋方法的選擇過程進行了系統的歸納和科學的總結,如下圖所示。

本次探索選取的應用場景為反洗錢可疑交易監測場景,我們的任務是通過構建機器學習模型找出潛在的高洗錢評分案例,輔助一線工作人員進行可疑案例篩查。該場景要求工作人員甄別可疑案例時,不僅要保持較高的準確性,而且要給出每一個可疑案例的詳細判斷依據。傳統反洗錢領域建模的痛點在于,無法兼顧模型的準確性和可解釋程度。如果選擇邏輯回歸等傳統機器學習算法,使用者可以很清晰地看到每個客戶的評分構成,但精度往往不盡如人意;而如果選擇預測精度較高的“黑盒”模型,那么可解釋程度又會大大下降。
目前該領域的常規做法是,模型構建完畢后,給出每個客戶的可疑度評分,再由甄別人員按照可疑度由高到低進行人工復核,撰寫可疑案例報告。這種做法不僅造成了大量人力資源浪費,而且沒有充分體現出機器學習模型的輔助作用。基于以上痛點,中銀金科借助可解釋機器學習方法,在保證模型預測結果精度的基礎上,給出該結果的可讀性理由,使得用戶能夠理解模型做出決策的內在邏輯,同時根據用戶需求自動生成可疑客戶報送信息,真正做到利用機器學習模型減少一線人員的工作量,提升甄別工作效率。整體流程如下圖所示。

我們選取分別來自客戶的基礎信息、交易信息、補充信息以及可疑案例信息四個維度的數據,經過數據清洗后整合成客戶寬表;根據數據探查情況,結合專家經驗構建特征工程;綜合比較MLP、XGBoost、SVM 等多種機器學習算法,我們發現XGBoost 實現的梯度提升樹能夠提供最佳的準確率;XGBoost的局限性在于它僅能給出全局的特征重要性度量,而反洗錢場景還需要我們對模型給出局部解釋,即針對每個客戶交易案例進行可疑度歸因分析,給出可疑度評分的預測依據。
基于以上考慮,我們結合上一節總結的可解釋方法選擇策略,最終選取SHAP 方法對模型的預測結果進行解釋。SHAP的優點在于表達直觀且理論完備,兼顧了全局解釋、局部解釋和特征的交互作用。
主要解釋過程包括以下四個部分:
(1)構建解釋器:輸入XGBoost 模型參數,構建一個解釋器。SHAP 支持很多類型的解釋器,我們選取適用于樹模型的treeshap。
(2)局部解釋:選擇一條客戶數據輸入至解釋器,計算每個特征對該客戶評分結果的貢獻度,即shap value,shap value 的絕對值大小代表該特征對客戶評分結果的影響程度。
(3)全局解釋:取每個特征的shap value 絕對值的平均值作為該特征的重要性。
(4)生成可疑交易識別報告:根據業務經驗,將量化結果轉化成符合業務邏輯的語言,提升模型的可解釋程度,輸出可解釋報告,輔助業務人員完成案例描述,樣例如下。

可解釋機器學習是各行各業都在關注的重要課題,模型使用者對模型的安全感、信賴感、認同度都取決于模型的透明性和可理解性,尤其是在智能金融領域,模型的可解釋性尤為迫切和重要。
本文列舉了可解釋機器學習的常用方法,對可解釋方法的選擇過程進行了系統的歸納和科學的總結,形成了一套通用的方法論,同時針對反洗錢場景選擇合適的可解釋方法進行案例應用,旨在為復雜機器學習模型在強監管領域的落地和應用提供一些思路,同時為國內使用人工智能技術的未來監管政策打好知識和實踐基礎。
盡管可解釋機器學習的相關研究已經取得了一系列可觀的成果,但該研究領域仍處于萌芽階段,仍然還有很多關鍵性的問題有待探索,例如缺乏一個用于評估解釋方法的科學評估體系。中銀金科也將繼續在可解釋機器學習領域進行積極的探索,為推動機器學習可解釋性研究的進一步發展和應用提供一定幫助。