基于改進殘差網絡的客戶還款行為預測新方法

明 志，鄭山紅，李萬龍，蔣美英

(長春工業大學 計算機科學與工程學院， 吉林 長春 130102)

0 引 言

近些年，信貸業務日益增長，伴隨著互聯網金融迅速發展，網絡小額貸款逐步出現在大眾視野，給信貸機構帶來巨額利益的同時，也迎來了空前的風險挑戰。中國人民銀行發布的《中國金融穩定報告(2021)》中顯示，截至2020年末，金融機構不良貸款余額3.47萬億元，同比增加2 816億元，不良貸款率1.92%，同比上升0.06個百分點。研究表明，除了違約還款，提前還款行為也會產生金融風險，如再投資風險、利潤下降風險等[1]。因此，合理追蹤金融數據，對借款人的還款行為預測變得越來越重要。

隨著互聯網金融的迅速發展，傳統的金融模型已經不能滿足對客戶還款行為的預測，從而越來越多的機器學習模型被提出應用于借貸風險的預測與評估中，并表現出較好的精度。陳濤等[2]為提高資金利用率，構建基于SVM的提前還款風險預測模型，對資金調配起到了積極作用;金靜松[3]使用決策樹算法對按期還款、提前還款和違約還款等借款人行為進行預測，并且通過M5P算法對分類正確的提前還款行為預測其還款周期；楊劍翀[4]構建基于遺傳算法的BP神經網絡模型，從而對借貸風險進行評估；Bastani K等[5]借鑒谷歌商店推薦系統的Wide&Deep模型提出一種新方法，對客戶是否會發生違約還款進行預測；王雨帥[6]構建基于CNN的違約風險判別模型，可以很好地識別潛在發生違約行為的客戶；王重仁等[7]為提高個人信用風險評估準確性，提出融入注意力機制的LSTM-CNN融合模型，通過對比實驗表現出模型的有效性。

殘差神經網絡(Residual neural network，ResNet)[8]被提出,用以解決網絡深度增加時發生性能退化問題，在圖像處理、語音識別等領域表現出極大的優越性，但是，很少有研究將殘差網絡應用在信貸領域上。鑒于殘差網絡可以克服因層數過多導致的網絡訓練飽和等問題，因此，文中將ResNet應用于客戶還款行為預測中，對提前還款、違約還款和正常還款三個還款行為進行預測。針對互聯網金融數據特點，在原始ResNet基礎上增加特征融合層，在每一個殘差塊的輸出特征合并到特征融合層之前融入通道注意力機制，并使用GAP層代替全連接層。最后，設置對比實驗，使用拍拍貸數據集進行模型優越性的驗證。通過以上分析，文中提出模型可以更好地對客戶還款行為進行預測，為金融機構抵御風險提出一種新方法。

1 殘差神經網絡基本原理

隨著數據量增多和特征的復雜度提升，網絡模型深度需不斷增加，當模型有更深的網絡時,理論上可以取得更好的結果。實驗發現，更深的網絡其性能可能會出現退化問題，因此，He K等[8]提出ResNet，其跳躍連接可以有效緩解信息在網絡傳遞過程中的損耗，在不增加復雜度的基礎上使模型有更強的表達能力。

1.1 殘差單元

ResNet的基本構建塊是殘差單元，殘差單元由卷積層、批處理歸一化層(Batch Normalization, BN)[9]和Rule激活函數組成。經過第l個殘差單元后的輸出為

xl+1=f(xl+F(xl,Wl))，

(1)

式中：F(xl,Wl)----殘差函數;

Wl----權重;

f(·)----非線性激活函數Relu;

xl----輸入;

xl+1----輸出。

xl與F(xl,Wl)的維度必須相同，如果不同，則需要通過映射使兩者維度一致。另外，殘差函數的形式有多種，輸入數據經過一個堆疊兩層卷積網絡的殘差函數依次經過卷積層、BN層、Relu、卷積層、BN層，當構建深度極大的網絡時，需堆疊三層卷積網絡以減少模型復雜度，加快訓練速度。

1.2 殘差神經網絡整體框架

殘差神經網絡由多個殘差單元堆疊而構建，殘差神經網絡被提出以來，有多個版本的改進，包括從網絡連接結構、殘差單元結構等角度根據不同學習任務進行調整。深度殘差網絡將輸入數據依次送入卷積層、BN層、Relu、最大池化層，然后輸入到多個殘差單元中，再經過平均池化層和全連接層，最后進行分類得到預測結果。

2 改進ResNet的客戶還款行為預測模型

文中針對互聯網金融數據噪聲大、特征提取困難以及ResNet網絡結構等特點，提出基于改進ResNet的客戶還款行為預測模型。由于ResNet能夠更充分利用信息，有效地對信息進行傳遞，可以提取更豐富的特征以進行分類預測，因此，文中選擇ResNet18作為預測模型的基礎，并針對現有問題進行改進，模型整體框架如圖1所示。

圖1 改進的深度殘差網絡整體框架

在原始ResNet的基礎上，首先，把每一個殘差塊(Residual block)的輸出單元輸入到過渡層(Transition layer)，然后,融合通道注意力機制(SE block)以獲得各個通道的權重，自適應調節各通道的特征響應值。再后，將獲得通道權重的各殘差塊輸出特征合并到特征融合層(Feature fusion layer)。最后，為了降低參數數量，使用GAP層代替全連接層，將池化后的特征向量輸入到softmax函數進行分類，最終得到用戶還款行為預測結果。

2.1 特征融合

針對以下兩個問題對ResNet算法進行改進。隨著金融業的興起，互聯網金融數據量逐步增多，用戶特征錯綜復雜，特征提取困難；另外，ResNet會進行多個卷積操作，輸入向量經過不同的殘差塊后會輸出不同大小和個數的特征圖，不同特征圖有不同的特征表示，原始的RseNet僅根據最后一層網絡的最終輸出特征進行分類預測，丟棄了淺層網絡提取的特征，而不同的特征表示對客戶還款行為預測有不同的作用。因此，融合淺層和深層特征后再進行分類，可以獲得更好的預測效果。

通過上述研究與分析，提出增加特征融合層的深度殘差網絡模型，網絡整體框架如圖2所示。

將淺層特征與深層特征相融合，進行多特征融合映射以對客戶還款行為預測。在原始ResNet的基礎上，首先，把每一個殘差塊的輸出單元輸入到過渡層，過渡層由池化層和卷積層組成，先進行最大池化以減少參數個數，再經過1×1卷積改變特征圖的個數，目的是增加特征表達能力,并保持各個殘差塊輸出的特征圖個數一致。然后將每個殘差塊經過過渡層映射后的特征合并到特征融合層，特征融合層表明對向量進行拼接，設第i個殘差塊經過過渡層后的輸出為oi，那么特征融合層的計算公式為

o=o1⊕o2⊕o3⊕o4，

(2)

式中:⊕----向量拼接。

圖2 增加特征融合層模型框架

2.2 融入通道注意力機制

受注意力機制應用在其他領域的啟發[10-11]，將每一個殘差塊的輸出特征經過渡層處理后，融入通道注意力機制再合并到特征融合層，抑制無關信息干擾，保留更重要的目標特征信息，進一步提升該模型應用于客戶還款行為預測的效果。

注意力機制是借鑒了人類視覺注意力的思想，將注意力放在更重要的目標上，其中，Squeeze-and-Excitation block(SE block)[12]核心思想是通過GAP獲取網絡的通道統計信息，考慮到泛化因素，設置了兩個非線性全連接層對通道統計信息進行門機制操作，獲取對各個通道的依賴程度。根據權重值的不同對各個通道值進行調整，增強有效信息的表達能力并抑制無效信息，以增強空間編碼能力來訓練模型，從而達到較好的預測效果。SE block結構如圖3所示。

圖3 Squeeze-and-Excitation block(SE block)

圖中，?表示元素對應相乘，Reduction ratio為下降率，目的是減少參數量。

通道權重為

W=σ(D2(δ(D1(GAP(x)))))，

(3)

式中：x----輸入特征向量;

GAP----全局平均池化;

δ(·)----relu激活函數;

σ(·)----sigmoid激活函數;

D1,D2----全連接層。

因此，文中在各殘差塊進行特征融合前引入了通道注意力機制，從通道間的依賴關系進行建模，從增強空間維度編碼能力的角度抑制無用信息以提升模型效果。

2.3 全局平均池化

原始ResNet提取特征后，分類時使用的是全連接層，但是全連接層會使模型變得復雜臃腫，生成大量參數，不易于訓練，訓練速度降低也容易產生過擬合現象。文中提出的模型進行了多特征融合，網絡參數增多，計算量大，防止模型泛化能力減弱，因此采用GAP層[13]代替原始ResNet的全連接層，減少復雜度，提升分類預測的魯棒性。

GAP即對每一個通道的所有像素值進行平均計算。GAP不僅可以降低模型訓練復雜度、防止過擬合現象發生，還可以有效整合空間信息，剔除全連接黑箱操作。因此，文中使用GAP代替原始網絡的全連接層，從而減小模型復雜度，提升模型訓練速度與泛化能力。

3 實驗設計

3.1 數據來源與處理

數據來源為第二屆魔鏡杯數據應用大賽。對數據進行如下處理：保留標簽為逾期還款、提前還款和正常還款的樣本；對重復的貸款id進行去重處理，對相同的貸款id只保留最后一次出現的樣本；刪除貸款后才會產生的相關信息，如剩余本金、剩余利息等特征。進行數據處理后，共有70 773個樣本，包含借款金額、借款期限、借款利率、初始評級、性別等共計20個特征，違約還款所占比例為11.34%，提前還款所占比例為28.52%，按照7∶2∶1的比例劃分訓練集、驗證集和測試集。

3.2 實驗流程

文中提出的模型流程如圖4所示。

圖4 客戶還款行為預測流程

首先將拍拍貸數據集分為訓練集、測試集和驗證集；然后把訓練集作為輸入數據對模型進行訓練，直到滿足最大迭代次數，得到訓練好的最優網絡模型；最后，將測試集輸入到訓練好的網絡模型中，對預測結果與真實類別進行比較，從而評估驗證該模型的優越性。

3.3 實驗設置

實驗的運行環境是i5處理器，ios操作系統，CPU服務器，8 G內存；采用Keras深度學習框架，Jupyter notebook編譯軟件，python語言進行實驗建模。文中提出的預測模型在訓練過程中，batch采用256；Adam優化算法[14]，初始學習率設置為0.000 1，動量參數設置為0.95，權重衰減設置為 0.000 01；采用交叉熵損失函數；其余參數設置見表1。

表1 模型參數

3.4 實驗結果與分析

為了驗證模型的有效性，實驗選擇對比實驗為ResNet、CNN、DT、SVM、LR、KNN。選取Accurary(準確率)、F1-score(F1值)、AUC(ROC曲線下面積)為評價指標,綜合性地驗證模型效果是否提升。由于文中進行多分類預測，且樣本標簽不均衡，因此選用Macro average規則計算F1值和AUC。

實驗結果見表2。

表2 實驗結果 %

改進的ResNet模型和原始ResNet模型應用于還款行為預測的ROC曲線如圖5所示。

圖5 ROC曲線

實驗結果表明，其他模型可能在某一個指標上有較好的效果，但很難平衡所有評價指標均可以穩定在同一水平。對比發現，改進的ResNet模型在可以保持預測精度最高的同時，仍然保持最高的F1分數和AUC，各個評價指標從多角度證明了文中提出模型的優越性與可行性。深度學習模型可以學習更加復雜的函數表示，并且提高模型的泛化能力，解決過擬合問題[15]，通過對結果分析，大部分深度學習模型的各個指標均優于機器學習算法，表明深度學習方法可以更好地提取復雜的金融特征以進行分類預測。另外，由于ResNet有較深的網絡，可以更好地捕捉特征之間的非線性關系，并進行跳躍連接進行殘差學習，有效解決了深層網絡容易產生梯度消失的問題，因此，其預測性能優于傳統的CNN擬合方法。但是，ResNet模型沒有考慮到多特征融合及各個通道向量值對預測結果的影響，因此，文中提出的預測模型在進行特征融合和融入通道注意力后應用于客戶還款行為預測中，表現出較好的效果和較高的精度，總體性能均優于其他對比方法。與所有模型進行對比，改進的ResNet模型在Accurary指標上平均提升7.84%，在F1指標上平均提升3.39%，在AUC指標上平均提升1.84%。

4 結 語

針對互聯網金融數據噪聲多、數據量大及已存在模型的缺陷，在原始ResNet增加特征融合層，將淺層網絡與深層網絡進行特征融合，并融入通道注意力機制抑制無效特征，最后使用全局平均池化防止過擬合、降低計算量。文中提出的改進ResNet預測模型在緩解信息網絡傳播過程中丟失與損耗的同時，將網絡集中在對客戶還款行為預測任務更重要的特征上，通過實驗表明了該模型的優越性與有效性，證明該方法在客戶還款行為預測的有效性和可行性。在真實的信貸數據中，數據量往往更大，數據特征具有多樣性，如何從復雜的特征中提取有效特征進行網絡小額貸款客戶還款行為的預測是進一步研究方向。