基于改進SMOTE自適應集成的信用風險評估模型

于勤麗，于海征

(新疆大學 數學與系統科學學院，烏魯木齊 830000)

0 引言

隨著大數據相關技術在金融行業的應用與普及，各種基于創新模式的互聯網金融產品得以真正落地和大范圍推廣。作為互聯網金融的重要技術應用，基于大數據的信用評估在消除潛在風險中發揮著巨大的作用。在此背景下，如何借助數據手段對違約用戶進行高效、準確的識別，從而更好地規避風險，是要探討的核心問題。

在數據層面對不平衡數據處理主要是通過重采樣方法[1-3]。重采樣按照采樣方式大致可分為三大類，分別為過采樣、欠采樣和混合采樣。Chawla等[4]在2002年提出SMOTE(synthetic minority over-sampling)過采樣方法，該算法合成的少數類樣本是通過在少數類樣本和其近鄰樣本之間的隨機插值得到的。SMOTE采樣有效緩解了隨機過采樣方法重復增加相同樣本的缺點，但合成的樣本不可避免的在少數類樣本聚集處合成更多的新樣本。Han等[5]在2005年提出了Borderline-SMOTE算法，該算法是在生成新樣本的過程中只針對危險樣本進行過采樣以增強分類邊界，從而減少噪聲樣本的數量，Borderline-SMOTE算法相比于SMOTE算法考慮了邊界樣本學習困難的特點。He等[6]在2008年提出自適應過采樣(adaptive synthetic sampling approach，ADASYN)算法，ADASYN算法與SMOTE算法不同，后者對每個少數類樣本生成相同數量的新樣本，而ADASYN是根據數據集特點自動決定每個少數類樣本生成的新樣本數量，該算法考慮了與多數類距離很近的少數類樣本，并通過合成更多處于邊界位置的樣本來提高模糊樣本的分類準確率，以實現提高分類精度的目的。SMOTE-D過采樣方法是Torres等[7]在2016年提出來的，通過估算少數類樣本的離散度(基于距離的標準偏差)，以確定少數類中的每個樣本周圍應生成多少個樣本，以及在每個樣本和近鄰樣本之間應創建多少個樣本。SMOTE-D是SMOTE的確定性版本，在數據集的不平衡率小于0.1時，性能要優于SMOTE 算法。王亮等[8]在2020年提出DB-MCSMOTE算法，該算法先對少數類樣本進行DBSCAN聚類，然后在各個簇中進行采樣。張家偉等[9]在2020年提出了一種過采樣方法，通過確定每個樣本的相對位置，然后根據樣本權值決定生成的樣本數量。該算法緩解了ADASYN算法過于關注模糊樣本的缺點。

信用風險評估模型是基于數據構建模型來提高違約用戶的識別率，從而減少企業的資金損失。Wiginton[10]在1980年提出建立基于Logistic回歸算法的信用風險評估模型，該模型通過與傳統線性判別作對比發現，Logistic準確性更高，實用性更強。丁嵐等[11]在2017年基于Stacking集成模型對網貸違約狀況進行了預測，并利用人人貸數據做了實證分析，發現所建模型能顯著降低一類和二類錯誤概率。Han等[12]在2005年提出了基于Stacking的信用風險評估模型，將XGBoost基分類器的訓練結果作為第二層的輸入特征之一，元分類器是Logistic模型，模型第一層使用了交叉驗證防止過擬合現象的出現。He等[13]在2018年提出了基于數據集不平衡率的集成模型，選擇的基分類器是隨機森林和XGBoost模型，并用粒子群算法對基模型進行參數優化。Guo等[14]在2019年建立了多階段自適應分類器集成模型，所提出的模型可以分為3個主要階段，并通過粒子群算法進行參數優化，提高了模型的調參效率。與單個分類器和其他集成分類方法相比，該模型具有更好的性能和更好的數據適應性，為相關金融機構提供了有效的決策支持。Abhijeet等[15]在2019年提出了兩級信用風險評估模型，其基本思想是用第一級分類器選擇出異常的信用卡用戶，后將異常值在支持向量機上進行二次訓練。兩級數據挖掘模型是以最大限度減少誤判為前提，其準確率較高，但訓練過程相對比較復雜。

綜上所述，利用過采樣方法在模型訓練之前進行平衡化處理是改善不平衡數據分類性能的重要方法，同時基于集成模型構建的信用風險評估模型可提高少數違約樣本的識別率。

主要的研究工作如下:

1)針對 SMOTE 等過采樣方法對每個少數類合成相同數量新樣本以及合成邊界噪聲樣本的缺點，提出改進的 SMOTE 過采樣方法。首先根據每個少數類樣本所處的位置來確定樣本的質量；然后根據分類樣本的質量計算其生成的新樣本數；最后對生成新樣本的位置做了調整，通過在近鄰樣本和類中心之間進行插值，實現新樣本位置向類中心遷移，避免在分類模糊區域合成新樣本。

2)根據數據集的特點自適應的為信用風險評估模型選擇準確率高且互補性強的最佳基分類器，并使用最佳基分類器構建Stacking集成模型。

3)在模型驗證方面，分別進行了兩大類實驗。第一類是SMOTE過采樣和改進的SMOTE過采樣方法在Stacking模型下的對比，結果顯示，改進的 SMOTE過采樣方法生成的少數類樣本質量更高。第二類實驗是針對不同基分類器構建的Stacking 模型，結果顯示JC指標挑選出的基分類器所構成的Stacking集成模型性能更優。

1 理論知識

1.1 SMOTE算法

SMOTE是一種合成少數類樣本的算法，具體思想是根據不平衡數據集的不平衡率確定采樣率，然后根據插值公式合成新樣本，具體過程如下：

步驟1根據數據集的不平衡率設置采樣率;

步驟2確定少數類樣本xi的k個近鄰樣本xij;

步驟3在樣本xi和其k個近鄰樣本xij之間進行隨機線性插值，插值公式如下：

xnew=xi+(xi-xij)*rand(0，1)

(1)

1.2 ADASYN算法

ADASYN算法的基本思想是根據少數類樣本周圍多數類樣本的數量決定每個少數類樣本合成的新樣本數量。

步驟2計算合成的新樣本總數N：

N=d×α，α∈[0，1]

(2)

步驟3根據歐氏距離計算少數類樣本xi的K個近鄰樣本xij，并計算每個少數類樣本的γi:

(3)

其中:Δi表示K個近鄰樣本中的多數類樣本數；

步驟5計算每個少數類樣本合成的樣本數量：

(4)

步驟6根據插值公式生成新樣本。

1.3 Stacking集成模型介紹

Stacking模型由兩層組成，第一層模型稱為基模型，第二層模型稱為元模型[16]。Stacking集成模型的思想是，組合多個基分類器的輸出結果，并將其作為第二層元分類器的輸入，以得到一個更好的輸出結果。

Stacking集成模型的第一層基模型最好是強模型，也就是在選擇基模型的時候盡量滿足準確率高且模型差距大，這樣既能保證模型的準確率，又能通過不同的基模型來提高模型的泛化性能。為了避免過擬合問題，可選用簡單分類器作為第二層的元模型。如果直接使用基模型產生的輸出作為元分類器的訓練集，會加大過擬合風險。因此，一般使用K折交叉驗證來產生元分類器的訓練集。

以5折交叉驗證為例來說明，首先將初始訓練集分成5折，基分類器在前4折數據上進行訓練，并在剩下的一折上進行預測，保證每一折數據都做了一次預測數據集，然后將預測結果拼在一起，得到元分類器訓練集的一個特征，依此循環將每個基分類器的預測結果拼接，最終得到的元分類器訓練集的維數跟基分類器的維數相等。

2 改進的SMOTE過采樣方法

傳統的SMOTE過采樣方法不考慮數據集的分布，每個少數類合成相同數量的新樣本。這會導致新合成樣本聚集在少數類樣本聚集的位置。再加上SMOTE過采樣方法未考慮少數類樣本的質量，不可避免地引入過多噪聲樣本，給后期的模型訓練帶來麻煩。針對SMOTE過采樣方法的缺點，提出了一種改進的SMOTE過采樣方法，它根據數據集的分布決定每個少數類樣本合成的樣本數，并通過遷移式插值減少噪聲樣本的生成。

2.1 計算新生成樣本數步驟

設訓練樣本集為T={(x1，y1)，…，(xn，yn)}，每個樣本有p個特征，其中少數類樣本數為n1，多數類樣本數為n2。

輸入：訓練集T；

輸出：每個少數類樣本生成的新樣本數量；

Step 1：計算需要合成的少數類樣本數N：

N=(n2-n1)*α，α∈[0，1]

(5)

Step 2：計算少數類樣本的類中心xcenter1和多數類樣本的類中心xcenter2的公式為：

(6)

Step 3：計算Di：

(7)

Step 4：歸一化處理：

(8)

2.2 改進的SMOTE過采樣算法步驟

設訓練集為T={(x1，y1)，…，(xn，yn)}，y=(0，1)。其中，少數類樣本集為T1={(x1，y1)，…，(xn1，yn1)}，多數類樣本集為T2={(x1，y1)，…，(xn2，yn2)}。

輸入：合成的樣本數量Mi，少數類樣本集T1；

輸出：新合成的少數類樣本集Tnew；

Step 1：對第i個少數類樣本數量xi，選擇其Mi個k近鄰樣本xij，j=1，2，…，k；

Step 2：對Mi個近鄰樣本按照合成公式生成新樣本xnew：

xnew=xij+(xij-xcenter1)×rand(0，1)

(9)

Step 3：將生成的新樣本xnew加入少數類樣本集T1中，得到新的少數類樣本集Tnew。

合成新樣本的過程如圖1所示，通過在少數類中心跟xi的近鄰樣本之間進行隨機插值產生。

圖1 合成少數類樣本的插值過程示意圖

2.3 評價指標

混淆矩陣是機器學習中總結分類模型預測結果的表格，其中行表示預測值，列表示真實值，以二分類為例，混淆矩陣元素如表1所示。

表1 混淆矩陣元素

基于混淆矩陣還可以產生很多指標，選用其中的AUC、accuracy和f1-score作為分類器性能的評價指標。AUC值是roc曲線下方的面積，AUC值不會隨著類別分布的改變而改變，更好地反映不平衡數據的分類效果。AUC值越接近于1，分類效果越好。accuracy和f1-score的定義如下:

(10)

(11)

accuracy表示預測正確的樣本數占樣本總數的比例，是分類問題中最簡單直觀的評價指標。f1-score指標綜合考慮了precision與recall。只有二者表現都很好時，f1-score值才大，才能對不平衡數據做出更合理的評價。

2.4 數據集

使用了UCI數據庫的9個數據集對算法的有效性做出驗證，表2描述了每個數據集的詳細信息，即數據集的特征數、少數類樣本數、多數類樣本數和不平衡率。

表2 實驗中使用的數據集

2.5 實驗設計與結果分析

為驗證本節改進的SMOTE算法的有效性，分別對9個數據集做SMOTE、Borderline-SMOTE和ADASYN平衡化處理，并對處理后的數據進行隨機森林(RF)訓練。對有多個類別的數據集，選擇其中一類為少數類，其余剩下的所有樣本作為多數類，訓練集和測試集的樣本數比例為7∶3。對比采用方法為SMOTE、Borderline-SMOTE和ADASYN采樣方法，用Python現有的工具包，本文算法用Python編程實現。實驗結果見表3，表中AUC、accuracy和f1-score的最優值用加黑粗體表示。通過實驗結果可以得出如下結論：

表3 隨機森林分類器實驗結果

1)Vehicle和Ionosphere數據集維度高，Blood、CMC和Diabetes數據集維度相對較小，經過采樣后，隨機森林分類器在不同維度的數據集上分類情況并沒有明顯差別，可見維度對本文算法合成新樣本的質量影響不大，可以提高少數類樣本和整體樣本的分類性能。

2)在Blood、Diabetes、Ionosphere和CMC數據集上本文算法性能較好，尤其是在Blood數據集上，隨機森林分類器在AUC、f1-score和accuracy這3個指標上都達到了最優。而以上幾個數據集相比于其他數據集，不同類別之間分布更加均衡，合成樣本時引入噪聲樣本少，進而后續模型的訓練準確率較高。但是在Vowel數據集上，本文算法在隨機森林分類器上的訓練結果沒有明顯提升，推測這與Vowel數據集不平衡率過高有關。

3 自適應集成的信用風險評估模型

3.1 自適應集成的信用風險評估模型

Stacking模型在實際應用中表現出很高的模型性能，但是仍有不足之處。利用K折交叉驗證法在一定程度上能解決Stacking算法直接使用初級學習器預測結果作為訓練集[17-19]所帶來的模型過擬合問題。如果基模型之間差異太小，很難保證模型最終的泛化性能。因此，為最大程度提高模型的準確率和泛化性能，提出在模型訓練之前，根據數據的特點為模型自適應的選擇基模型，選擇的基模型既要保證準確率，又要存在一定的差異性。

Jaccard系數用來比較樣本集之間的相似性與差異性，在實際應用中，可用來比較布爾值屬性對象之間的距離，Jaccard系數越大，兩集合的相似度越高，反之越小。Jaccard系數定義為：

(12)

其中:A表示A集合，B表示B集合。

Jaccard距離是Jaccard系數的相反定義，Jaccard 距離越大，集合之間樣本的相似度越低，用公式表示為：

(13)

余弦相似度度量可用來衡量2個對象之間的相似程度，余弦值越小，說明相似度越大，定義如下：

(14)

余弦相似度與歐式距離相比，從空間方向上對2個對象進行了區分，余弦相似度對絕對數值并不敏感，這正好與集合僅有0和1數值相契合。

Jaccard系數[20]這個指標的計算效率較高。通過組合Jaccard距離和余弦相似度來得到模型差異性度量指標，稱其為JC指標，其中集合表示的是負類樣本分類結果的集合。

JC=J(A，B)*cos(θ)

(15)

在模型訓練之前，首先根據給定閾值，把準確率超過給定閾值的分類器保留下來，然后根據分類器之間的差異性度量也就是JC指標來選擇基分類器。由于不同分類器在不同數據集上的表現不同，分類準確率差距較大，閾值的確定要根據不同數據的實際情況來考慮，金融背景之下的數據經過平衡化處理后在不同模型上的訓練準確率較高，在3.3.2節中的給定閾值確定為0.85。

為了最大程度保證基分類器的差異性，在第二階段要選擇相似度最小的組合，然后再從其余未被選中的分類器集合中依次挑選分類器計算其相似度值，直到循環結束?；谀Ｐ筒町愋赃x擇的Stacking的算法流程見圖2。

圖2 Stacking算法流程框圖

基于模型差異性選擇的Stacking模型算法步驟如下:

設訓練樣本集為T={(x1，y1)，…，(xn，yn)}，備選分類器為L1，L2，…，Lm。

輸入：訓練集T和備選分類器L1，L2，…，Lm；

輸出：基于模型差異性選擇的Stacking模型；

Step 1：在訓練集T上訓練m個備選分類器Li；

Step 2：計算m個備選分類器的準確率，將準確率高于給定閾值的備選分類器挑選出來；

Step 3：計算第一層所挑選分類器的JC指標，根據JC指標的值將差異度大的分類器作為基分類器，挑選出來的基分類器為為L1，L2，…，Lt；

Step 4：利用K折交叉驗證訓練基模型為L1，L2，…，Lt，并得到第二層元分類器的輸入數據T′，T′用于下一步元分類器的訓練；

Step 5：在輸入數據T′上訓練元分類器，得到最終模型。

3.2 數據集

本節采用Lending Club官網上的數據做實證分析，數據取自2019年第一季度，數據集中包含 115 675條樣本，每個樣本有150維特征，其中 loan-status為目標變量，本節是利用其他變量對目標變量情況做出預測，來決定樣本是否能獲得貸款。2.5節使用的9個數據集作為不平衡數據來驗證改進的SMOTE算法的有效性，非信用風險方面的數據，不參與本節信用風險評估模型的驗證。

在Lending Club原始數據集中，loan-status 有7種狀態，其具體含義如表4所示。將其中的fully paid狀態、current狀態作為正常用戶，其他狀態作為違約用戶。

表4 Loan-status的狀態及含義

3.3 實驗設計與結果分析

先對Lending Club原始數據做了預處理，對缺失數據根據缺失情況進行了相應處理，并進行兩次特征選擇，以最大化選擇有效特征。

根據缺失數據的比例以及變量的重要性分別采用了刪除法與填補法處理缺失值。對無意義特征和觀測值相同的特征直接對其刪除，由于特征缺失過多的數據所含信息過少，經過缺失值填補也會帶來誤差等問題，直接刪除了缺失率大于50%的特征。對于缺失值大于等于8個特征的樣本，也采用刪除法直接剔除樣本，共刪除了85個樣本。經過缺失值刪除和無關變量剔除之后，數據集還包含 115 590個樣本和83維特征，其中13個特征包含缺失數據，對這些數據進行缺失值填補。

特征選擇采用了遞歸式特征消除，遞歸消除特征后挑選了40個特征。由于較多的變量可能會帶來冗余信息，第二次特征選擇采用主成分分析以實現最大程度減少信息冗余，提高模型的訓練效率。

預處理后的數據集包含115 590條樣本，特征維數為30，多數類樣本數為106 715，少數類樣本數為8 875，數據的不平衡率為0.083 2，屬于較為嚴重的不平衡數據。

3.3.1過采樣技術在Stacking分類算法下的比較

為了控制SMOTE過采樣和改進的SMOTE過采樣，對比實驗的其他變量，更好地比較2種采樣算法，這里把SMOTE和改進的SMOTE算法的采樣倍數都設為1，SMOTE過采樣后少數類和多數類的樣本數都是106 715，改進的SMOTE過采樣方法生成的少數類樣本數為97 854。

Stacking模型的第一層基模型選用了樸素貝葉斯、決策樹、邏輯回歸，第二層元分類器選擇邏輯回歸。決策樹采用CART算法，max-depth樹最大深度設為39，max-leaf-nodes最大葉子節點數為30，邏輯回歸的penalty正則化項默認為L2正則化項，正則化系數的倒數、迭代終止閾值等設為默認值，在SMOTE過采樣和改進的SMOTE過采樣后的數據上進行模型訓練，模型訓練過程中保持模型參數設置一致，模型訓練結果如表5所示。

表5 不同過采樣算法模型訓練結果

改進的 SMOTE 過采樣算法處理后的數據在 Stacking模型上的訓練效果整體要優于SMOTE 過采樣處理的數據，在accuracy、f1-score和AUC值上表現要優于SMOTE過采樣算法。

3.3.2改進的SMOTE與基于模型差異性選擇的 Stacking模型

為了挑選出更適合構建Stacking模型的基分類器，在3.3.1節實驗所用的基分類器基礎之上又加入了3個模型，這樣基分類器池中就有了6個基分類器，分別為KNN、隨機森林、支持向量機、樸素貝葉斯、決策樹和邏輯回歸模型。為了提高模型的訓練效率，在這里隨機抽取了30%的數據。

下面先單獨訓練6個基分類器，表6展示了6個模型的訓練結果，可看出樸素貝葉斯的分類效果不如其他分類器，而隨機森林模型分類效果明顯優于其他模型。這與隨機森林利用多個決策樹共同分類決策密不可分。同時，隨機森林因多棵決策樹對多樣性的保證提高了模型的泛化性能，因而分類效果要好于其他分類器。

表6 基模型訓練結果

基于模型差異性選擇的Stacking模型首先剔除在Lending Club數據集上分類情況較差的基分類器，根據實驗結果是將樸素貝葉斯和決策樹模型從基分類池中移除，根據JC指標挑選出的基分類器模型為KNN、隨機森林、支持向量機，同時為了減少過擬合，集成所用的元分類器為邏輯回歸模型，最后模型的訓練結果如表7所示。

表7 基于模型差異性選擇的Stacking模型訓練結果

為了更好地展示基于模型差異性選擇基分類器對Stacking整體模型的訓練效果，下面將其與其他基分類器構建的Stacking進行對比實驗，參數保持不變，只改變基分類器。對比實驗所用的兩組基分類器分別為KNN、邏輯回歸和隨機森林，邏輯回歸、隨機森林和支持向量機。以KNN、邏輯回歸和隨機森林為基分類器構造的Stacking模型記為Stacking 1，以邏輯回歸、隨機森林和支持向量機為基分類器構造的Stacking模型記為Stacking 2，根據JC指標挑選的基分類器構造的模型記為Stacking 3。

實驗結果如表8所示，圖中用黑色加粗標記同一指標下性能好的模型，Stacking 2模型在recall指標下的性能要優于Stacking 3模型，Stacking 3模型在accuracy、f1-score和AUC值上的表現要好于Stacking 1和Stacking 2模型，f1-score綜合了recall與precision這2個指標，更具有說服力。基分類器池中剔除分類情況較差的基分類器保證了構成集成模型的基模型的準確率，同時根據JC指標挑選出的基分類器模型減少了過擬合現象。因此，實驗結果表明根據JC指標挑選的基分類器對構建Stacking模型具有參考價值。

表8 3種Stacking模型實驗結果

4 結論

基于SMOTE過采樣和自適應集成模型對不平衡數據做出合理的分類預測將會給金融行業帶來商業價值。不僅能幫助金融行業減少違約、欺詐用戶帶來的經濟損失，還有助于留住行業內的正常用戶，能有效提高行業競爭力。

在Lending Club數據集的實證分析中，改進的 SMOTE過采樣方法處理后的平衡化數據在后期模型訓練上表現優異，同時基于JC指標選擇的基分類器在Stacking模型構建方面性能高。但改進的SMOTE過采樣算法在不平衡程度過高的數據集上合成的新樣本不能很好地遵循數據的原始分布，分類準確率提升效果一般，后期有待改進。