基于改進教學式方法的可解釋信用風險評價模型構建

董路安,葉 鑫

(大連理工大學經濟管理學院，遼寧 大連 116024)

1 引言

全球金融危機爆發以來，銀行和金融機構的風險控制問題受到了廣泛的關注。信用風險評價作為風險防控的主要工具之一，為銀行和金融機構有效衡量貸款風險，降低潛在信貸違約風險，并制定決策提供了保障[1]。隨著人工智能浪潮的來襲，基于機器學習的信用風險評價模型以其精確的預測結果受到銀行等金融機構的青睞，正逐步取代以信用評分卡和回歸為主的傳統信用風險評價[2-5]。但與傳統信用風險評價方法相比，機器學習模型是一個黑箱模型，對投資者而言缺乏必要的可解釋性[6]。由于投資者缺乏有效的機制了解機器學習模型內部決策過程，導致投資者無法完全信任其預測結果[7-8]。同時為保證申請人具有平等的貸款機會，歐盟在《一般數據保護條例》(General Data Protection Regulation, GDPR)中要求銀行所使用的信用風險評價模型能夠為其預測結果提供必要的解釋[9]。這也限制了其在信用風險評價中的應用及推廣[10]。因此，提高基于機器學習的信用風險評價模型可解釋性，構建兼顧準確性與可解釋性的信用風險評價模型，成為信用風險評價的關鍵。

為實現模型的準確性與可解釋性間的有效權衡，Craven等[11-12]提出了TREPAN算法，該方法利用神經網絡對數據集進行重新標注，新標記的數據集(偽數據集)被用于決策樹的訓練，并通過局部和全局約束準則控制決策樹的可解釋性，實驗表明所生成的決策樹更易于決策者理解。Baesens等[6]將TREPAN算法應用于信用風險評價研究，并通過實驗驗證了該方法在信用風險評價上的可靠性。但TREPAN算法所生成的決策樹是基于M-of-N形式規則的，單個規則不利于決策者理解[13]。針對TREPAN算法的局限性，Schmitz等[14]以CART決策樹為基礎提出了ANN-DT方法，并通過控制決策樹最大深度使生成的決策樹更具有可解釋性。Wu等[15]提出樹正則化概念，通過樹正則化對黑箱模型進行約束，使黑箱模型指導生成的決策樹具有更好的可解釋性和準確性。Huysmans等[16]將上述方法歸納為教學式方法(Pedagogical method)。該類方法參照人類教學過程，利用決策樹(學生)學習和模擬機器學習模型(教師)的功能，所生成的決策樹既保留了機器學習模型預測精準的優點，又能發揮決策樹易于決策者理解的優勢。由于教學式方法在解決模型的準確性與可解釋性權衡問題上的良好表現，引起了國內外學者的關注。

總體來看，教學式方法在信用風險評價領域已進行了一些探索性的嘗試，但現有的研究并未對機器學習模型功能的正確性和可信度進行衡量，模型中錯誤的或可信度低的功能會降低決策樹的預測精度，影響其在信用風險評價中的效果。同時在決策樹構建過程中，現有的方法對于生成決策樹的準確性、可解釋性以及其與機器學習模型的一致性三者間缺乏有效地權衡，影響整體效果。基于此，本文提出了一種基于改進教學式方法的信用風險評價模型構建方法。(1)為提高所生成決策樹在信用風險評價中的預測精度，該方法對機器學習模型功能的正確性和可信度進行了有效的衡量，決策樹僅學習和模擬機器學習模型中正確且可信度高的功能。(2)為更好的實現決策樹在各評價指標間的有效權衡，提出了一種新的決策樹剪枝方法。在實證分析中，利用3個真實信用風險評價數據集對本文方法進行了驗證，并取得了較好的應用效果。

2 面向信用風險評價的改進教學式方法

信用風險評價本質是一種信用分析工具，其核心是預測貸款結果，并輔助投資者進行決策。本節將結合信用風險評價問題對教學式方法進行簡要的介紹，分析其存在的局限，并提出改進的教學式方法。

2.1 教學式方法及局限

教學式方法模擬人類教學過程，將機器學習模型和決策樹分別視為教師和學生。機器學習模型(教師)被用來指導決策樹(學生)的構建與訓練，其目標是所生成的決策樹能夠近似模擬機器學習模型功能，在信用風險評價中做出準確預測，且模型及其預測結果易于決策者的理解。教學式方法的流程框架如圖1所示。

圖1 教學式方法流程框架

(1)

決策樹通過學習和模擬機器學習模型的功能，繼承了機器學習模型預測精準的優勢，且決策樹結構簡單，決策過程和預測結果易于決策者理解。但現有的方法仍存在以下局限：

(1)現有的方法對于機器學習模型功能的正確性和可信度缺乏有效的識別，機器學習模型所包含的錯誤的或可信度低的功能，會導致模型在信用風險評價時做出錯誤預測，影響投資者的決策。決策樹在學習和模擬機器學習模型過程中，應避免對于錯誤的或可信度低的功能的學習，而應更關注對于正確且可信度高的功能的學習與模擬，以提高其在信用風險評價中的預測精度；

(2)在決策樹生成過程中，決策樹剪枝可以有效地提高模型的可解釋性。但現有方法對于準確性、可解釋性以及所生成決策樹與機器學習模型的一致性三者間缺乏有效地權衡，往往只考慮單一方面，而忽略其他方面，影響整體效果。

2.2 改進的教學式方法

針對上述問題，本節提出一種改進的教學式方法，以構建準確且可解釋的信用風險評價模型。相較于傳統教學式方法，為提高決策樹的預測精度，本方法在偽數據集生成階段，對機器學習模型功能的正確性和可信度進行度量，并提出了基于Weight-SMOTE的偽數據集生成方法，來提高正確且可信度高的樣本在偽數據集中的比例，以此提高決策樹對于機器學習模型中正確且可信度高的功能的學習能力。其次，為實現決策樹在準確性、可解釋性及其與機器學習模型一致性間的有效權衡，在決策樹生成過程中，提出了一種新的決策樹剪枝方法，以提升決策樹的整體效果。此外，針對保真度評價指標的局限性，提出了真保真度評價方法，以更有效地衡量決策樹與機器學習模型正確功能的近似程度。

2.2.1 基于Weight-SMOTE的偽數據集生成方法

(2)

算法1：基于Weight-SMOTE的偽數據集抽樣算法

步驟1偽樣本集中逾期貸款數據抽樣

步驟1.2 根據偽樣本被選擇的概率，采用輪盤賭方法從集合T0中選擇偽樣本xi；

步驟1.3 根據式(3)，計算xi與集合T0中剩余偽樣本的歐幾里得距離，距離T0最近的h個偽樣本被選擇

(3)

其中，n為偽樣本包含的屬性數量，xiu和xju為偽樣本xi和xj的第u個屬性的取值；

步驟1.4 從h個近鄰中隨機選擇一個偽樣本xj，與偽樣本xi構建新的偽樣本xnew，并將新生成的偽樣本添加至T0，構造公式為：

xnew=xi+rand(0,1)×(xj-xi)

(4)

其中rand(0,1)表示區間(0,1)內的一個隨機數；

2.2.2 決策樹剪枝方法

決策樹剪枝能夠有效提高決策樹的可解釋性，利于投資者理解決策樹的決策過程。在決策樹生成階段，決策樹剪枝需要綜合考慮以下三個方面：1)決策樹的準確性，即決策樹的預測標簽應與實際標簽一致；2)決策樹的可解釋性，即決策樹應盡可能的簡潔，利于投資者的理解；3)決策樹與機器學習模型的一致性，即決策樹能夠近似模擬機器學習模型。為了實現決策樹在以上三方面間的有效權衡，本文在決策樹預剪枝過程中采用了一種新的決策樹評價方法，該評價方法如式(5)所示。

E=∑(yn-y)2+∑(yn-ym)2+λ1φ1+λ2φ2

(5)

式(5)中，∑(yn-y)2反映了決策樹的準確性，yn和y分別為決策樹對于樣本的預測標簽和樣本的實際標簽。決策樹預測越準確則該項值越??；∑(yn-ym)2體現了決策樹與機器學習模型的一致性，其中ym為機器學習模型對于樣本的預測標簽，該項值越小，則說明決策樹與機器學習模型預測結果越一致，決策樹與機器學習模型功能的近似程度越高；λ1φ1與λ2φ2為正則化項，反映了決策樹的可解釋性，其中φ1和φ2分別為決策樹中葉子節點數以及決策樹的平均路徑長度，而λ1與λ2為二者的權重，λ1φ1與λ2φ2之和越小則表明生成的決策樹可解釋性越高。該評價方法從準確性、可解釋性以及決策樹與機器學習模型一致性三個方面對決策樹進行綜合評價，確保三者間的有效權衡。

2.2.3 教學式方法的評價

與傳統的監督學習不同，教學式方法在訓練過程中使用機器學習模型作為“教師”，來指導生成一個能近似表達機器學習模型功能且易于解釋的決策樹。因此，教學式方法的評價除需考慮所生成決策樹的準確性外，還需考慮所生成決策樹的可解釋性及其與機器學習模型功能的一致性。

(1)準確性

教學式方法所生成的決策樹需要具備較高的準確性，才能更精準的輔助決策?，F有研究中，決策樹的準確性多采用決策樹在測試集上的準確率來衡量。準確率越高，生成的決策樹越準確，反之亦然。準確率的計算如式(6)所示。

(6)

其中，TP、TN、FP、FN分別為真正類、真負類、假正類和假負類[17]。

(2)可解釋性

教學式方法所生成的決策樹要易于投資者理解，即需要具備可解釋性，才能夠在信用風險評價中為投資者提供更好的決策支持。決策樹的可解釋性主要由葉子節點數、根節點至葉子節點的平均路徑長度兩個方面所決定。一方面，決策樹所包含的葉子節點數越多，決策樹所能夠轉化得到的規則越多，投資者解釋規則所需的時間也越多，模型的可解釋性越低。另一方面決策樹的平均路徑越長，決策樹轉化得到的規則所包含的約束也越多，投資者解釋規則的難度增加，模型的可解釋性越低。

(3)決策樹與機器學習模型的一致性

決策樹與機器學習模型的一致性體現了決策樹與機器學習模型功能的近似程度，一致性越高，二者功能越相似?，F有的研究對于決策樹與機器學習模型的一致性的度量多采用保真度評價指標，如式(7)所示。

(7)

其中TBT為決策樹與機器學習模型預測結果一致的樣本數量，BTP、BTN、BFP、BFN分別代表了機器學習模型預測正確的非逾期樣本數量、預測正確的逾期樣本數量、預測錯誤的非逾期樣本數量和預測錯誤的逾期樣本數量。保真度通過決策樹與機器學習模型預測結果的一致性來有效的衡量決策樹與機器學習模型整體功能的近似程度，保真度評價指標既關注了決策樹對于模型中正確功能的學習能力，也考慮了模型錯誤功能對于決策樹預測精度的影響。但在改進式教學方法中，通過基于Weight-SMOTE的偽數據集生成方法，保證了決策樹僅能夠學習機器學習模型中正確的功能，避免了決策樹學習模型中錯誤的功能。因此決策樹與機器學習模型的一致性應表現為決策樹與機器學習模型中正確功能的近似程度，近似程度越高，決策樹模型的價值越大。而保真度評價指標難以滿足本文對于決策樹與機器學習模型一致性評價的實際需求。

針對保真度評價指標的局限性，本文提出了真保真度評價指標來更客觀的評價決策樹與機器學習模型中正確功能的近似程度，真保真度可通過式(8)計算：

(8)

其中TB為決策樹與機器學習模型均預測正確的樣本數量，真保真度越大，所生成的決策樹與機器學習模型正確功能的近似程度越高。

3 實驗與結果分析

本研究采用隨機森林作為底層機器學習模型，隨機森林作為一種集成學習方法，在信用風險評價領域表現出了良好的效果[2,18]。為了驗證本文所提出的改進教學式方法在提高信用風險評價機器學習模型可解釋問題上的有效性，采用了3個真實的信用風險評價數據集進行實例驗證研究。

3.1 樣本與特征選擇

本文共采用3個數據集：Australian數據集、German數據集和Lending Club數據集。Australian數據集和German數據集來自機器學習領域權威的UCI數據庫。Lending Club數據集則來自美國最大P2P網貸平臺——Lending Club平臺上發布的2016年全部借款記錄。針對本文的信用風險評價問題，本文選擇了全量的標記借款狀態為“Charged off”和“Default”的借款作為逾期貸款(其標簽為0)，而隨機選擇了等量的借款狀態為“Fully paid”的借款記錄作為非逾期借款(其標簽為1)。本文參考文獻[2]中所使用的Lending Club數據特征，共選擇15個原始特征并進行預處理，所選特征及預處理方法如表1所示。在使用數據進行建模之前，對數據進行標準化處理，以避免不同特征取值范圍對分類結果的影響[19-20]。

表1 Lending Club數據集特征及預處理方法

3.2 模型評價準則

為全面的評價所提出的方法，本文從準確性、可解釋性以及決策樹與機器學習模型一致性三個方面進行評價。準確性采用準確率進行衡量，計算方式如式(6)所示?？山忉屝灾饕獜纳蓻Q策樹包含的葉子節點數、根節點至葉子節點的平均路徑長度兩個方面評價。而決策樹與機器學習模型一致性則采用真保真度進行評價，其計算方法如式(8)所示。

為保證實驗結果的客觀性，所有實驗均采用10折交叉驗證。

3.3 相關參數設置

本文實驗相關參數設置如下：

(1)隨機森林可調參數設置

隨機森林規模及決策樹最大深度是隨機森林的關鍵參數，對于隨機森林的分類結果準確性具有較大的影響。為獲得最佳的隨機森林參數，本文采用網格搜索方法對隨機森林參數進行調優，網格搜索相關參數如表2所示。

表2 網格搜索參數

通過網格搜索，隨機森林在各數據集上的最佳參數組合如表3所示。

表3 隨機森林最佳參數組合

(2)Weight-SMOTE可調參數設定

在Weight-SMOTE算法中k%的取值反映了投資者所信任的機器學習模型功能的比例，k%的取值越小，則決策樹學習機器學習模型中可信度低的功能的比例越低，其對于生成決策樹的效果具有顯著的影響。對于不同數據集和機器學習模型，該參數不存在通用值，只能依據實際情況與投資者的需求進行設定，本文采用試湊法來確定該參數。Australian數據集、German數據集、Lending Club數據集的k值分別選取95，95和75。此外，h的取值為5。

(3)決策樹剪枝可調參數設定

決策樹剪枝的參數選擇對決策樹的性能具有影響。針對不同的問題與投資者的需求，決策樹剪枝的參數選擇也有所不同，因此本文選擇了多組備選參數。為了保證決策樹剪枝算法性能，本文針對所使用的數據集，進行了探索性實驗，以確定各參數取值區間，并在區間內均勻選取多個參數值，如表4所示。

表4 決策樹剪枝參數

3.4 實驗結果分析

3.4.1 信用風險評價效果分析

為檢驗改進的教學式方法的有效性，本文首先對比了改進的教學式方法與傳統的教學式方法、決策樹以及隨機森林(RF)在3個信用風險評價數據集上的表現，由于正則項系數λ1與λ2對于生成的決策樹的效果具有影響，為了檢驗不同參數取值組合下方法的表現，每一數據集選取了4組具有代表性的λ1與λ2取值，實驗結果如表5、表6和表7所示。

表5 本文所提方法與對照方法在German數據集上結果對比

表6 本文所提方法與對照方法在Australian數據集上結果對比

表7 本文所提方法與對照方法在Lending Club數據集上結果對比

根據上述實驗結果可以得出以下結論：1)在準確率方面，改進教學式方法整體上優于傳統教學式方法和CART決策樹，在信用風險評價中表現出了良好的分類性能。雖然隨機森林的準確率在三個數據集上均高于改進式教學方法，但其缺乏可解釋性的弊端也使其預測結果無法在實際應用中被決策者所信任；2)相比于傳統教學式方法，改進教學式方法具有更高的真保真度，表明其所生成的決策樹能夠更好的學習和模擬隨機森林中正確的功能；3)從平均路徑長度與葉子節點數來看，改進教學式方法所生成的決策樹包含的葉子節點數均少于20，平均路徑長度均小于5，在三個數據集上均顯著優于傳統教學式方法、CART決策樹和隨機森林，表明改進式教學方法所生成的決策樹具有極強的可解釋性，有助于投資者的理解和掌握。4)通過分析不同正則項系數組合下方法的效果，可以看到λ1與λ2對于所生成的決策樹的性能具有影響。對于不同的投資者而言，可以根據自身的決策偏好選擇合適的正則項系數的組合，以生成滿足自身決策需求的信用風險評價模型。

此外，許多研究表明準確率與可解釋性間存在制約關系，模型可解釋性的提高在一定程度上會造成模型預測精度的下降[21-23]。在上述實驗中，改進教學式方法通過犧牲一定的準確率，有效的提升了生成決策樹的可解釋能力，該結果進一步驗證了上述研究結論。

3.4.2 基于Weight-SMOTE的偽數據集生成方法對真保真度的影響分析

表8 基于Weight-SMOTE偽數據生成在German數據集上真保真度表現

表9 基于Weight-SMOTE偽數據生成在Australian數據集上真保真度表現

表10 基于Weight-SMOTE偽數據生成在Lending Club數據集上真保真度表現

由上述結果可以得出以下結論：采用基于Weight-SMOTE的偽樣本生成方法對于提升所生成決策樹的真保真度具有顯著效果，有利于決策樹學習和模擬機器學習模型中正確且可信度高的功能。

3.4.3 決策樹剪枝方法比較

本文對比采用不同決策樹剪枝方法的效果，以驗證本文所提出的決策樹剪枝方法能夠更好的實現準確率、可解釋性和真保真度三者間的有效權衡。對于每一種決策樹剪枝方法，通過改變其參數可獲得一組具有差異的備選決策樹，投資者可以根據決策樹的準確性、可解釋性以及真保真度來選擇符合自身決策偏好的決策樹。因此，備選決策樹集合可以看作是該問題的一組解，備選決策樹集合整體表現越好，越能夠滿足不同投資者的需求。本文采用超體積指標(HV值)來評價備選決策樹集合的整體表現，HV值表示解集的Pareto最優解與參考點所覆蓋的體積(或面積)，HV值越大則表示解集質量越高[24]。本文選擇(1，1，1，1)為HV值計算的參考點，并在計算HV值之前，通過式(9)對各評價指標進行轉化，使其滿足以最小化為目標，且取值區間為[0,1]。

(9)

表11分別給出了不同決策樹剪枝方法在三個數據集上的HV值。本文所提出的方法HV值在3個數據集上均顯著優于基于決策樹最大深度的剪枝算法和基于決策樹最大子葉節點樣本數的剪枝算法，表明該剪枝方法能夠更好的實現決策樹對于準確性、可解釋性以及真保真度三者之間的權衡，其生成的備選決策樹集合能夠更好的滿足實際信用風險評價的需求。

表11 不同決策樹剪枝算法HV值

綜合上述實驗分析結果，本文所提出的改進教學式方法能夠利用機器學習模型指導構建兼顧準確性和可解釋性的信用風險評價模型，所生成的決策樹模型能夠輔助投資者有效識別具有潛在違約風險的貸款申請。同時，與機器學習模型相比，決策樹模型可解釋性更高，其決策過程與預測結果更易于投資者理解。

4 結語

準確的信用風險評價，可為金融機構決策制定提供支持，也有利于保障投資者的收益。機器學習等黑箱模型的廣泛使用，大幅度提高了信用風險評價模型的準確性，但是機器學習模型缺乏可解釋性的弊端使其無法完全被決策者所信任。教學式方法通過模擬人類教學過程，利用機器學習模型指導決策樹的構建與訓練，所生成的決策樹能夠近似機器學習模型的功能，滿足信用風險評價預測需求，且易于決策者的理解。本文針對教學式方法的局限性，提出了改進的教學式方法，該方法能夠提高決策樹與機器學習模型中正確且可信度高的功能的近似程度，同時采用一種新的決策樹剪枝方法，使生成的決策樹能夠實現準確率、可解釋性和真保真度三者間的權衡。此外，針對保真度評價指標的局限性，本文提出了真保真度評價指標，以有效衡量決策樹與機器學習模型正確功能的近似程度。為了驗證所提出方法在實際使用中的效果，本文利用 2個UCI信用風險評價數據集和Lending Club數據集進行實驗驗證，實驗結果表明本文所提出的改進的教學式方法在進行信用風險評價時是行之有效的，能夠根據決策者的不同決策偏好與實際需求提供相對準確且可解釋的信用風險評價模型。與基于機器學習的信用風險評價模型相比，該方法所生成的決策樹能夠更好的為決策者提供決策支持。此外，考慮到決策者從眾多決策樹中選擇符合其決策偏好的決策樹需要花費大量的時間與精力，本研究未來的工作將進一步研究滿足決策者決策偏好的最優決策樹選擇方法，從而輔助決策者選擇最優的決策樹。同時，為了便于決策者在實際中的應用，動態自適應的模型參數選擇方法也將是未來研究的重點之一。