融合深度神經網絡的個人信用評估方法

王重仁,王 雯,佘 杰,凌 晨,5

(1.山東財經大學 管理科學與工程學院,濟南 250014; 2.濟南大學 金融研究院,濟南 250001; 3.中泰證券股份有限公司風險管理部,濟南 250001; 4.上海財經大學 信息管理與工程學院,上海 200433; 5.上海健康醫學院 醫療器械學院,上海 201318)

0 概述

互聯網、大數據和人工智能等技術正引發金融行業的變革,隨著大數據時代的來臨,金融行業數據量逐漸增大,數據類型越來越多,數據更新速度也日益加快,這為金融機構的個人信用風險評估工作帶來了挑戰,傳統的個人信用風險評估方式已經無法適應環境的不斷變化,不能滿足金融行業的發展需要,因此,迫切需要構建一套智能的信用風險評估體系。

國內外學術界對個人信用風險評估的研究從20世紀40年代開始。19世紀80年代,美國FICO公司開始提供個人信用評分服務,目前FICO信用評分已經成為美國金融機構信用評估不可或缺的數據源。個人信用風險評估本質上是一個分類問題,借助個人信用風險評估模型,可以將申請人劃分為“好”客戶和“壞”客戶,進而幫助金融機構進行貸款審批決策。當前,國內外個人信用評分方法的研究主要分為專家模型、統計學方法、機器學習方法和深度學習4個方面。

目前將深度學習應用到個人信用評分領域的研究還較少。文獻[1]提出了一種基于分類限制玻爾茲曼機(Class RBM)的信用評分方法,并且證明該方法具有較高的預測性能。文獻[2]為提高信用風險評估的準確性,提出了一種基于極限學習機(ELM)集成學習方法的新型多級深度信念網絡(DBN),研究結果表明,該方法具有一定的優越性。然而上述研究都基于傳統的特征數據進行建模,未利用深度學習算法自動提取特征的特點。

在互聯網行業,重要的信用評分數據源是用戶的行為數據,對于這類數據,傳統的方法是采用人工特征提取的方式進行建模。近年來,隨著深度學習技術的發展,已有研究基于卷積神經網絡(Convolutional Neural Network,CNN)和長短期記憶(Long Short-term Memory,LSTM)神經網絡等深度學習技術對用戶的歷史行為原始數據進行建模。文獻[3]研究了深度學習在客戶流失預測中的應用,使用一種新的編碼方法將電信行業客戶的歷史行為數據轉換成圖像,并設計一個CNN模型來自動學習特征。文獻[4]使用用戶行為原始數據,設計一種基于注意力機制LSTM的個人信用評分模型,實驗結果表明,該模型優于傳統方法,但較為單一,仍有一定的改進空間。

目前已有研究嘗試將卷積神經網絡(CNN)和循環神經網絡(Recurrent Neural Network,RNN)相結合,并應用到文本分類[5]、圖像識別[6-7]和網絡入侵檢測[8]等領域。本文運用基于CNN和RNN融合的深度學習方法,使用用戶歷史行為數據,對個人信用評分問題進行研究。

1 基于LSTM和CNN的個人信用評分模型

本文研究的數據源是用戶的歷史行為數據,行為數據主要包括用戶瀏覽行為、用戶銀行流水記錄、信用卡賬單記錄等。本文對每個用戶的原始數據進行編碼后形成一個矩陣,該矩陣包括2個維度即時間維度和行為維度,數據編碼方式如圖1所示。本文將用戶原始行為數據按照時間切片進行重采樣編碼,由于不同用戶的借款日期不完全相同,因此對于時間維度,將每個用戶的借款日期作為切片的基準時間點。假設用戶的行為數據指標數量為n,則矩陣行數為m,矩陣代表了一個用戶在不同時間點上的所有行為特征。在按照時間切片對用戶行為數據進行重采樣時,選擇的匯總方式包括合計、計數、平均等,然后將用戶匯總的數據按照時間先后進行排列,對于無記錄的情況統一填充為固定值,這樣用戶不同行為的序列就按照時間進行對齊。

圖1 數據編碼方式Fig.1 Mode of data encoding

對用戶歷史行為數據而言,編碼完畢的矩陣包括時間維度和行為維度,以此為基礎,構建信用風險評估模型有兩種思路,一方面,在一段歷史時間內,按照時間的先后順序,用戶的歷史行為會具有一定的序列性,同時,因為用戶行為有多種類型,所以基于用戶歷史行為數據的個人信用評分可以視為一個多變量序列預測問題,可以采用LSTM模型來提取用戶行為的序列特征。另一方面,編碼之后的數據可以視為圖像,一般的彩色圖像有3個通道,而本文編碼之后的數據可以視為單通道灰度圖像,CNN在圖像分類領域具有較為廣泛的應用。采用單一的LSTM模型或者CNN模型都存在一些不足之處,LSTM注重挖掘數據的整體序列特征,往往忽略了數據的局部特征,而CNN主要通過卷積層和池化層來學習輸入的局部特征和提取重要的特征信息[9-10]。因此,本文提出一種基于LSTM和CNN的融合深度神經網絡模型,該模型由LSTM子模型和CNN子模型2個子模型融合而成,這樣模型可以從用戶原始行為數據中提取序列特征和局部特征。

1.1 基于注意力機制的LSTM模型

1.1.1 LSTM神經網絡

RNN將循環結構引入傳統的神經網絡。因為RNN在訓練中很容易發生梯度爆炸或者梯度消失問題,從而無法捕捉長距離依賴(Long-Term Dependencies)關系[11]。為解決上述問題,Hochreiter 和 Schmidhuber[12]在RNN的基礎上提出長短期記憶神經網絡。

LSTM以傳統RNN為基礎進行改進,設計了一種特殊的結構單元,并同時設計了3種獨特的“門”結構,對通過單元的信息可以選擇性地增加或去除,從而對通過單元的信息進行篩選。“門”結構采用Sigmoid函數實現,Sigmoid的取值范圍為0～1,可以視為允許多少信息通過。若為0,則不允許該信息通過;若為1,則允許所有信息通過。這3種“門”結構作用于單元結構組成了LSTM的隱藏層。LSTM網絡結構如圖2所示。

圖2 LSTM網絡結構Fig.2 Structure of LSTM network

LSTM結構如下:

1)LSTM單元通過遺忘門(forget gate)來對前一個記憶狀態的信息進行處理,決定從記憶狀態遺忘的信息。遺忘門會輸入ht-1和xt,并輸出介于0～1之間的值。

ft=σ(Wf·[ht-1,xt]+bf)

(1)

2)決定記憶中存儲哪些信息。主要包括兩方面,一方面通過輸入門決定要更新哪些信息,另一方面通過tanh激活函數來更新候選向量。

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

3)結合上面兩部分來更新記憶狀態。

(4)

(5)

4)決定輸出哪些隱藏狀態信息。首先使用輸出門來決定要輸出的內容,然后采用tanh激活函數處理記憶狀態,最后使用輸出門來控制需要輸出的記憶狀態。

ot=σ(Wo·[ht-1,xt]+bo)

(6)

ht=ot×tanh(Ct)

(7)

LSTM等RNN模型主要的訓練方法是按時間展開的反向傳播算法(Back-Propagation Through Time,BPTT)[13]。BPTT算法是對經典的反向傳播(BP)算法的改進,BPTT將RNN按照時間順序展開為一個深層的網絡,在此基礎上采用BP算法對展開后的網絡進行訓練。由于BPTT算法概念清晰且計算高效,因此本文采用BPTT算法來訓練LSTM網絡。

標準單向LSTM的缺點是它僅用到正向的信息,而沒有考慮反向的信息,這樣就丟失了一些有價值的信息。針對該問題,雙向LSTM(BLSTM)同時考慮了雙向的信息,它是在雙向RNN模型的基礎上改進而來。雙向LSTM就是在隱藏層中同時有一個正向LSTM和一個反向LSTM,雙向LSTM的輸出是由這2個單向LSTM共同決定(可以拼接或者求和等),和標準單向LSTM相比,這樣可以挖掘更多的信息。

1.1.2 注意力機制

深度學習模型中的注意力機制是對人類大腦注意力的一種模擬,其借鑒了人腦的特點,在某些時候,人腦對事物的關注將集中在特定的地方,從而忽略了其他地方。這樣可以將注意力集中在重要的地方,這種機制可以合理利用人腦的計算資源。

注意力機制最早來源于20世紀90年代的圖像研究領域,但真正被研究人員重視是從Google DeepMind團隊的圖片識別研究[14]開始的,人們在觀察圖像時,并不是去仔細地把圖像的每個像素都看一遍,而是會將注意力選擇性地集中在圖像的某些重要部分,忽略其他不重要的部分,因此根據人類觀察事物的這個特點,在RNN上增加注意力機制來進行圖像識別研究。此后,文獻[15]將注意力機制應用到機器翻譯領域,注意力機制對翻譯模型的輸入與輸出之間的相關性進行重要度計算,從而抽取出更加關鍵的信息。

1.1.3 LSTM模型

本文嘗試基于用戶行為序列數據來進行信用評分,采用了一種基于注意力機制LSTM(AM-BLSTM)的個人信用評分方法,該方法結構如圖3所示,從下往上分為行為數據編碼層、BLSTM層、注意力機制層、輸出特征層。

圖3 AM-LSTM模型結構Fig.3 Structure of AM-LSTM model

原始數據經過編碼轉換后,可以轉換為多變量序列。對于LSTM網絡而言,每一個時刻的輸入可以是單個數值,也可以是一個向量,本文模型每一個時刻的輸入都是一個向量。

1)BLSTM層:對于原始數據進行編碼并且對數據進行預處理后,數據輸入雙向LSTM網絡,對于LSTM網絡而言,每個時刻的輸入都是當前時間所有行為組成的向量,使用雙向LSTM的目的在于能夠捕獲不同序列方向的更多的特征信息。如圖3所示,BLSTM網絡在單向 LSTM 的基礎上,增加了一個反向的LSTM層,通過2個LSTM層以相反的方向處理數據,使得 BLSTM可以同時捕捉正向序列信息和反向序列信息。

2)注意力機制層:注意力機制通過計算注意力概率分布,突出了某些重要輸入對于輸出的影響作用。本文采用一種適用于 BLSTM 網絡的注意力機制來解決信用評分任務。如圖3所示,注意力層將LSTM 的正反層輸出拼接后作為注意力層的輸入,以對LSTM各時刻的輸出分別計算重要度,最后根據重要度對結果進行加和匯總。

ui=tanh(Whi+b)

(8)

ai=softmax(ui)

(9)

(10)

其中,hi表示BLSTM 第i個時間點輸出,t代表事件序列的長度,ai代表第i個時間點輸出的權重,最終得到c代表BLSTM各個時間點輸出的加權合計,最終基于注意力機制的LSTM模型將會輸出一個特征向量。

1.2 CNN模型

CNN的基本結構由輸入層、卷積層、池化層、全連接層以及輸出層構成。

在分類問題上,CNN主要包括3類結構,分別是1D CNN、2D CNN和3D CNN。其中,最常見的是2D CNN,2D CNN即卷積核的維度為二維,常用在圖像領域。1D CNN即卷積核的維度為一維,常用在NLP領域,如在文本分類問題中,文獻[16]使用CNN進行文本情感分類。3D CNN即卷積核的維度為三維,常用在視頻領域,如文獻[17]使用3D CNN從監控視頻中識別人類行為。不同于文本分類研究領域,本文研究領域中用戶不同類型的行為之間是互相聯系的,使用1D CNN從單一的時間維度上應用卷積操作可能會破壞特征表示結構,使用2D CNN可以從2個不同維度提取更有意義的特征。

在本文中,卷積神經網絡模型的輸入可以視為圖像,同時本文編碼之后的輸入和圖像相比有一定區別,一方面,一般的彩色圖像是3個通道,而本文輸入數據是矩陣格式,可以視為單通道圖像,另一方面,本文輸入數據的矩陣大小遠遠小于圖像的大小。因此,本文提出的卷積神經網絡模型采用2個卷積層和2個池化層來自動提取特征,CNN模型結構如圖4所示。

圖4 CNN模型結構Fig.4 Structure of CNN model

卷積層由多個特征圖組成,特征圖中有許多神經元,每個神經元通過卷積核與上一層特征圖的局部區域連接。卷積層的核心操作是卷積操作,然后需要對卷積操作的結果加上偏置項b,經過一個非線性的激勵函數f,最后計算出該層最終的結果。卷積層計算公式如下:

X(l)=f(W?X(i-1)+b(l))

(11)

其中,X(l)和X(i-1)分別表示l層和l-1層的神經元活性,W表示卷積核,b表示偏置項。通過卷積操作可以提取其前一層的各種局部特征。

卷積層最重要的2個特征是局部連接和權值共享,這2個特征可以減少神經網絡參數數量,降低神經網絡復雜度。局部連接是指卷積層的節點只和其前一層的部分節點相連接,以學習局部特征,這種局部連接方式減少了參數的數量,提高了模型訓練速度,同時也降低了過擬合的可能性。權值共享指的是卷積核會和上一層的不同區域作卷積,進而檢測相同的特征,只有不同的卷積核才會具有不同的權值參數,進而檢測不同的特征。

在第1個卷積層,本文選擇了大小為1×k的卷積核,目的是提取用戶每一種行為在不同時間點上的特征。卷積層后面是池化層,常用的池化方法包括最大池化、隨機池化和均值池化,本文采用了最大池化。池化層的作用是在語義上將把相似的特征合并,起到二次提取特征的作用,進一步降低神經網絡的參數數量和網絡復雜度。對于第2個卷積層,為進一步提取用戶每一個行為指標在不同時間點上的特征,同時提取用戶在用一時間點上不同行為的特征,第2個卷積層的卷積核大小設置為p×p,在第2個卷積層之后連接了一個池化層,最后,在所有卷積層和池化層之后進行了一維化處理,從而輸出一個特征向量。

激勵函數采用了修正線性單元(Rectified Linear Unit,ReLU)[18],ReLU可以防止梯度消失和過擬合問題[19],該函數定義如下:

fcov(x)=max(0,x)

(12)

1.3 基于LSTM和CNN的融合模型

本文提出的基于LSTM和CNN的個人信用評分模型(LSTM&CNN)結構如圖5所示,該模型在AM-BLSTM模型和CNN模型基礎上融合而成,該模型主要由兩部分組成,左側部分為LSTM網絡結構,右側部分為CNN網絡結構。

圖5 LSTM & CNN模型結構Fig.5 Structure of LSTM & CNN model

LSTM模型部分和CNN模型部分對應同一個數據源,采用同樣的輸入數據,在特征融合層將LSTM部分輸出的特征和CNN部分的輸出特征進行融合,假設c和n分別代表LSTM模型和CNN模型輸出的特征向量,其中對于LSTM模型部分,特征向量是注意力層的輸出,對于CNN模型部分,特征向量是卷積神經網絡的輸出向量,那么特征融合層的特征向量o計算公式為:

o=c⊕n

(13)

其中,⊕代表向量拼接,使用Sigmoid函數對融合之后的特征進行分類,得到用戶逾期可能性的輸出結果。

y=Sigmoid(Wo+b)

(14)

2 實驗設置

本文實驗環境的配置如下:CPU Intel?Xeon?E5-2630 2.60 GHz,內存32 GB,硬盤 500 GB,操作系統 Ubuntu 14 LTS 64位。本文實驗采用的開發語言為Python(2.7),實驗中用到的Python庫主要包括 Numpy、Pandas、Scikit-learn、Matplotlib,其中:Numpy是Python的一個科學計算的庫,提供了矩陣運算的功能;Pandas是一個主要用于數據處理、數據分析的庫;Scikit-learn是一個機器學習庫;Matplotlib是一個畫圖用的庫。深度學習框架選擇了基于Python的深度學習庫Keras(Tensorflow作為后端)。

本文研究用數據來源于國內一家互聯網平臺——融360。數據集包括用戶瀏覽行為、銀行流水記錄、信用卡記錄等行為數據,因部分用戶記錄存在缺失,過濾掉了缺失值較多的用戶數據,最后從數據集中選擇了47 329個用戶的數據作為本文的研究對象。樣本的標簽為借款用戶是否逾期,若用戶逾期,則標簽為1;若用戶按時還款,則標簽定義為0。

本文隨機選取80%的數據作為訓練集,20%的數據作為測試集。在訓練數據中,隨機選取10%的數據作為驗證集,為保證結果準確性,本文將實驗重復了5次,每次隨機選取不同的數據集進行實驗。

首先對原始數據進行處理,將原始數據轉換為上文所述的數據編碼,考慮到每個用戶的行為序列長度不同,因此本文將所有序列轉換為固定長度序列。本文首先通過分析歷史數據確定了一個標準序列長度,由于原始數據集中時間戳變量已經進行了脫敏處理,因此將序列長度用時間單位來表示,然后將標準序列長度設置為60,這個序列長度可以覆蓋95%以上的用戶行為,即大部分用戶的操作在這個長度范圍內,從用戶的瀏覽行為、銀行流水記錄、信用卡記錄等原始行為數據中抽取了61種行為。

在對用戶原始行為數據進行編碼后,對數據進行預處理。因為數據均為連續型變量,不同的行為變量之間量綱不同,數值范圍差別較大,為了避免神經元飽和問題,本文對每一種變量數據進行Min-Max標準化處理。

本文提出的基于LSTM和CNN的個人信用評分模型參數設置如表1所示。在經過一系列實驗后,將LSTM神經元數量最后設置為64。對于CNN有一個通用的設計規則:在后面的層(離輸出層近的)特征圖個數應該增加,這樣就可以從低級的特征產生更多類型的特征。因此,在經過實驗分析后,對于第1個卷積層,本文選擇了32個特征圖,卷積核大小為1×3,對于第2個卷積層,選擇了64個特征圖,卷積核大小為3×3。本文在LSTM層加入了 Dropout機制,經過對比將 Dropout 比率設置為 0.3,同樣本文在CNN的輸出層同樣加入了Dropout機制,比率設置為0.3。訓練模型的訓練采用 Mini-batch 隨機梯度下降,參數更新采用 Adam規則,Mini-batch 的大小設置為64。

表1 LSTM與CNN模型參數設置Table 1 Parameter settings of LSTM and CNN model

為更好地對本文提出的基于LSTM和CNN的個人信用評分方法進行評估,證明本文方法的優越性,本文進行了詳細的對比分析,并選擇了如下的對比方法:

Logistic回歸(LR):Logistic回歸模型回歸穩定性高,解釋性較強,是信用評估領域應用最普遍的模型之一。對于用戶歷史行為數據,本文采取傳統的人工特征提取方式提取特征數據,然后使用LR算法進行建模。

隨機森林(RF):使用從歷史行為數據中提取的特征數據,并運用RF算法進行建模。

AM-BLSTM:單獨運用基于注意力機制的LSTM模型進行建模。

CNN:單獨運用CNN模型進行建模。

LSTM&CNN:本文提出的基于LSTM和CNN的融合神經網絡個人信用評分模型。

在模型評估指標方面,考慮到需要對用戶違約概率進行評估,本文選擇了信用評分領域常用的2個指標,即AUC(Area Under Curve)和KS(Kolmogorov-Smirnov)。

假設TP(True Positive)表示實際違約預測結果,也為違約的樣本數量,TN(True Negative)表示實際未違約預測結果,也為未違約的樣本數量,FP(False Positive)代表實際未違約預測結果,也為違約的樣本數量,FN (False Negative)代表實際違約預測結果,也為未違約的樣本數量。首先計算真陽性率(TPR)和假陽性率(FPR)的值,TPR和FPR的計算公式如下:

(15)

(16)

ROC曲線是以FPR和TPR分別作為橫坐標和縱坐標所形成折線圖,AUC被定義為ROC曲線下與坐標軸圍成的面積,AUC值越大,說明模型的分類性能越好。

在計算KS指標時,先將用戶按照預測結果的違約概率值進行排序,在此基礎上計算每一個違約概率的累積FPR值和累積TPR值,最后計算這2個累積值的差值,差值的最大值就是KS指標值。KS指標值越高,說明信用評估模型能夠將“好”客戶和“壞”客戶區分開的程度越大。

3 實驗結果與分析

在進行深度學習模型訓練時,本文采用提前終止的策略來訓練模型,使用模型損失值來評估效果,當驗證集的損失值連續多次不再下降時停止迭代。

實驗結果如表2所示,從表2可以看出,基于注意力機制的LSTM模型與LR和RF模型相比,KS指標和AUC指標都有了一定提升,表明基于注意力機制LSTM表現優于傳統的機器學習方法。CNN與LR和RF相比,KS指標和AUC指標都有一定提升,表明CNN模型表現優于傳統機器學習方法。

表2 不同模型的性能指標Table 2 Performance indicators of different models

從表2可以看出,LSTM&CNN方法的KS值、AUC值與單獨的CNN模型或者單獨的LSTM模型相比都有一定的提升,充分證明了LSTM&CNN方法具有較好的個人信用違約預測性能,不但優于傳統方法,而且優于LSTM模型和CNN模型,進而說明LSTM&CNN模型可以從不同角度自動提取特征。

4 結束語

本文基于互聯網行業的用戶行為數據,提出一種基于LSTM和CNN的融合深度神經網絡個人信用評分方法。將每個用戶的行為數據編碼成包括時間維度和行為維度矩陣。融合LSTM和CNN 2個子模型,其中CNN子模型使用2個卷積層和2個池化層來自動提取特征。實驗結果表明,本文提出的融合深度神經網絡個人信用評分方法較傳統的機器學習方法和單一的LSTM卷積神經網絡方法性能都有明顯提升,證明了該方法在個人信用評分領域的有效性和可行性。下一步將在動態信用風險評估基礎上,對信用評分模型的動態更新問題進行研究。