基于多頭注意力機(jī)制的BM-Linear信用貸款評(píng)估模型

趙雪峰 ,吳德林 ,吳偉偉 ,王世璇 ,龍 森

(1.哈爾濱工業(yè)大學(xué)(深圳) 經(jīng)濟(jì)管理學(xué)院,廣東 深圳 518055;2.哈爾濱工業(yè)大學(xué)經(jīng)濟(jì)與管理學(xué)院,哈爾濱 150001)

因我國(guó)國(guó)際形式變化及境外貿(mào)易摩擦加劇[1-2],為保證市場(chǎng)穩(wěn)定需提高放貸效率[3-8]。其中,合理選擇信貸評(píng)估模型可大幅提高放貸效率[9-11]。目前已衍生出一批優(yōu)異的信貸模型研究方法,主要包括模型特征選擇和模型結(jié)構(gòu)改進(jìn)兩個(gè)方面。

在模型特征選擇方面的研究有:王馨等[12]探究綠色信貸政策對(duì)信用貸款的影響;王性玉等[13]通過(guò)Logit及Tobit回歸模型分析農(nóng)戶貸款發(fā)現(xiàn),高信譽(yù)特征能夠有效增加農(nóng)戶信貸可得性和信貸額度;趙志沖等[14]通過(guò)最小顯著差異法確定“年凈收入/省人均GDP”區(qū)間在10.02～19.24 內(nèi),居住狀況是“共有住房”特征的貸款農(nóng)戶的違約風(fēng)險(xiǎn)最大;Zh等[15]構(gòu)建博弈模型研究補(bǔ)貼對(duì)貸款的影響;Jiménez等[16]采用結(jié)合貸款用戶和放貸機(jī)構(gòu)的固定效應(yīng),發(fā)現(xiàn)較低的隔夜利率會(huì)導(dǎo)致資本水平較低的放貸機(jī)構(gòu)向事前風(fēng)險(xiǎn)較高的貸款用戶發(fā)放更多貸款申請(qǐng)等結(jié)論。

在模型結(jié)構(gòu)改進(jìn)方面的研究有:趙雪峰等[7]針對(duì)目前貸款評(píng)估過(guò)程存在特征預(yù)處理復(fù)雜、受主觀因素干擾、準(zhǔn)確率較低等問(wèn)題,利用Word2Vec及卷積神經(jīng)網(wǎng)絡(luò)(CNN)組建了WV-CNN 信貸評(píng)估模型;王小燕等[17]構(gòu)建logit-quantile模型,并在模型中添加Lasso 懲罰,結(jié)果表明,在零膨脹比例為80%及高維情形時(shí),該模型表現(xiàn)最優(yōu);Li 等[18]提出基于半?yún)?shù)混合分布的集合模型預(yù)測(cè)信貸收益率,并通過(guò)盈利貸款評(píng)估回報(bào)風(fēng)險(xiǎn),最終形成信貸投資組合的優(yōu)化方法;石寶峰等[19]建立由年齡、非農(nóng)收入/總收入等13個(gè)指標(biāo)組成的農(nóng)戶小額貸款信用評(píng)級(jí)指標(biāo)體系,并利用熵權(quán)法求解評(píng)價(jià)指標(biāo)權(quán)重,構(gòu)建了基于ELECTRE III(消去與選擇轉(zhuǎn)換評(píng)價(jià))的農(nóng)戶小額貸款信用評(píng)級(jí)模型;遲國(guó)泰等[20]從貸款的整體風(fēng)險(xiǎn)和風(fēng)險(xiǎn)分散度兩個(gè)方面,構(gòu)建基于CVaR 和改進(jìn)熵的全貸款組合優(yōu)化模型;Liu等[21]提出一種基于梯度提升機(jī)的序列集成信用評(píng)分模型,該模型利用特征重要性得分去除冗余變量,并采用貝葉斯超參數(shù)優(yōu)化方法自適應(yīng)調(diào)整模型超參數(shù);文忠平等[22]結(jié)合信貸機(jī)構(gòu)資本運(yùn)用效率及風(fēng)險(xiǎn)承受能力,建立風(fēng)險(xiǎn)調(diào)整后的資本收益率最大化和風(fēng)險(xiǎn)最小化的多目標(biāo)行業(yè)貸款組合模型,改進(jìn)了現(xiàn)有貸款組合研究需假設(shè)模型約束變量數(shù)值的缺陷;Wang等[23]利用Word2vec 將貸款文本轉(zhuǎn)換為向量,并使用LSTM 網(wǎng)絡(luò)預(yù)測(cè)用戶違約概率;Pang等[9]從貸款客戶類(lèi)型和違約貸款角度構(gòu)建基于C5.0 決策樹(shù)、CART 決策樹(shù)和CHAID 決策樹(shù)的貸款違約客戶預(yù)警模型。

綜合而言,特征選擇及結(jié)構(gòu)改進(jìn)等信貸研究已對(duì)當(dāng)下我國(guó)經(jīng)濟(jì)復(fù)蘇及社會(huì)轉(zhuǎn)型做出巨大貢獻(xiàn)[2,24-25]。但客觀而言,高效放貸依然受如下3 種因素干擾:

(1) 信貸模型應(yīng)用場(chǎng)景受限。如將 WVCNN[23]應(yīng)用于農(nóng)戶信貸預(yù)測(cè)中,為保證WV-CNN的預(yù)測(cè)準(zhǔn)確率,需構(gòu)建農(nóng)戶信貸特征訓(xùn)練集;同理,若將梯度提升信用評(píng)分模型[21]應(yīng)用于跨境電商用戶,則需構(gòu)建跨界電商用戶特征的訓(xùn)練集。由此可見(jiàn),因?yàn)樾刨J模型與訓(xùn)練集的對(duì)應(yīng)關(guān)系,限制了信貸模型的應(yīng)用場(chǎng)景,難以實(shí)現(xiàn)高效評(píng)估[33]。

(2) 離散及缺失特征預(yù)處理繁瑣。如logitquantile[17]、基于Logit及Tobit構(gòu)建的回歸模型[13]等,均利用離散型信貸特征執(zhí)行信貸評(píng)估,但由于離散型特征涉及降維、相似度計(jì)算及定性至定量轉(zhuǎn)換等[26-27],極大地影響信貸評(píng)估效率。而且,當(dāng)涉及缺失特征時(shí),業(yè)內(nèi)缺少統(tǒng)一的特征填充標(biāo)準(zhǔn),造成主觀填補(bǔ)特征現(xiàn)象,在影響信貸評(píng)估效率的同時(shí),甚至影響信貸評(píng)估的公正公平。

(3) 信貸文本詞向量固化。有學(xué)者為克服離散信貸特征的弊端,已通過(guò)信貸文本執(zhí)行信貸評(píng)估。趙雪峰等[7]利用Word2Vec詞向量化信貸文本,并通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)執(zhí)行信貸預(yù)測(cè),但由于Word2Vec等方法是通過(guò)詞袋與詞語(yǔ)的對(duì)應(yīng)關(guān)系實(shí)現(xiàn)向量化,這種固定的對(duì)應(yīng)關(guān)系導(dǎo)致模型無(wú)法解決一詞多義及通篇理解信貸文本的問(wèn)題,進(jìn)而影響信貸評(píng)估準(zhǔn)確率。

針對(duì)上述問(wèn)題,本文以自然語(yǔ)言處理技術(shù)為基礎(chǔ),組合Bag-of-Words[28-29]與Bert模型[30-31],并添加多元線性激活函數(shù)構(gòu)建信貸評(píng)估模型BM-Linear(Linear activation credit loan model based on Bagof-Words and Multi-Head Attention)。詳細(xì)地,BM-Linear首先對(duì)待評(píng)估用戶文本執(zhí)行包括分詞、去停用詞的預(yù)處理;然后,基于Bag-of-Words模型與Multi-Head Attention組合模型,對(duì)預(yù)處理后的用戶文本執(zhí)行詞向量化;最后,利用多元線性激活函數(shù)對(duì)詞向量化后的數(shù)據(jù)執(zhí)行激活處理,從而實(shí)現(xiàn)貸款評(píng)估預(yù)測(cè)。

此外,為探究BM-Linear是否能有效解決因?qū)?yīng)關(guān)系造成應(yīng)用場(chǎng)景受限、離散及缺失特征處理繁瑣以及詞向量固化的問(wèn)題,首先引入多組不同應(yīng)用場(chǎng)景下的信貸數(shù)據(jù)集,并使用核密度估計(jì)、參數(shù)擬合等方法發(fā)現(xiàn)在不同信貸特征下所展現(xiàn)的信貸現(xiàn)象;其次,創(chuàng)造性地提出參數(shù)獨(dú)立訓(xùn)練及參數(shù)共用訓(xùn)練兩種訓(xùn)練方法,發(fā)現(xiàn)BM-Linear可有效緩解因?qū)?yīng)關(guān)系造成的模型應(yīng)用場(chǎng)景受限及詞向量固化問(wèn)題;最后,引入多組公認(rèn)信貸表現(xiàn)優(yōu)異的評(píng)估模型與BM-Linear組成對(duì)比實(shí)驗(yàn),得出BM-Linear在對(duì)缺失特征不做處理的情況下,其信貸表現(xiàn)依然領(lǐng)先其他多數(shù)模型的結(jié)論。

1 模型構(gòu)建

按照信貸文本在BM-Linear的處理過(guò)程,可將BM-Linear分為3個(gè)部分,依次為信貸文本預(yù)處理、信貸文本詞向量化以及線性激活,整個(gè)模型結(jié)構(gòu)如圖1所示。

圖1 BM-Linear模型結(jié)構(gòu)

由于信貸文本包括標(biāo)點(diǎn)符號(hào)、停用詞等無(wú)用特征,這類(lèi)無(wú)用特征會(huì)干擾信貸評(píng)估準(zhǔn)確率,占用模型對(duì)信貸文本的計(jì)算時(shí)間,故需利用預(yù)處理手段剔除無(wú)用特征并規(guī)范信貸文本,以提高后續(xù)Bag-of-Words及Bert的詞向量化質(zhì)量。

其中,本文預(yù)處理手段共包括5個(gè)步驟,依次為文本分詞、去停用詞、去標(biāo)點(diǎn)、去異性詞及語(yǔ)句重組,在此不再贅述。需要強(qiáng)調(diào)的是,BM-Linear核心在于詞向量化,其中詞向量化包括兩個(gè)步驟,依次為Bag-of-Words詞向量化及Bert 所包括的Multi-Head Attention詞向量化,在詳細(xì)闡述兩個(gè)步驟之前,需要先解釋相關(guān)理論知識(shí)背景及參數(shù)。

1.1 背景知識(shí)及參數(shù)定義

詞袋模型的詞向量化主要基于Huffman編碼及詞袋原理生成Huffman 二叉樹(shù),通過(guò)Huffman二叉樹(shù)來(lái)表示詞對(duì)詞之間的關(guān)系,進(jìn)而生成不受詞語(yǔ)在文本中語(yǔ)句順序限制的詞向量[28-29]。

多頭注意力機(jī)制主要以注意力模型為基礎(chǔ)而構(gòu)建,現(xiàn)已被廣泛使用在自然語(yǔ)言處理、圖像識(shí)別及語(yǔ)音識(shí)別等各種不同類(lèi)型的深度學(xué)習(xí)任務(wù)中,是深度學(xué)習(xí)技術(shù)中最值得關(guān)注與深入了解的核心技術(shù)之一[30-31]。進(jìn)一步,本文多頭注意力機(jī)制由6組自注意力機(jī)制垛疊組成,為進(jìn)一步提高詞向量化精準(zhǔn)度,在6組自注意力機(jī)制后繼續(xù)添加殘差連接及前饋神經(jīng)網(wǎng)絡(luò)。

上述各技術(shù)專(zhuān)有名詞的詳細(xì)解釋如下:

(1)Huffman二叉樹(shù)。為了對(duì)數(shù)據(jù)集執(zhí)行有效劃分,構(gòu)建出非線性數(shù)據(jù)結(jié)構(gòu)劃分法,即稱(chēng)為樹(shù),其中二叉樹(shù)是每個(gè)結(jié)點(diǎn)最多僅有兩棵分支子樹(shù)的樹(shù),兩棵子樹(shù)分別稱(chēng)為左子樹(shù)和右子樹(shù),若存在一棵二叉樹(shù)的路徑長(zhǎng)度最小,則稱(chēng)為Huffman二叉樹(shù)。

(2) 結(jié)點(diǎn)。結(jié)點(diǎn)包括葉子結(jié)點(diǎn)、非葉子結(jié)點(diǎn)及根結(jié)點(diǎn)。其中,根結(jié)點(diǎn)是所有結(jié)點(diǎn)的起點(diǎn),非葉子結(jié)點(diǎn)表示可執(zhí)行數(shù)據(jù)結(jié)構(gòu)劃分的結(jié)點(diǎn),葉子結(jié)點(diǎn)與葉子結(jié)點(diǎn)相反,表示無(wú)法進(jìn)一步執(zhí)行數(shù)據(jù)結(jié)構(gòu)劃分的結(jié)點(diǎn)。

(3) 詞典。若干不重復(fù)的詞所組成的集合稱(chēng)為詞典。

(4)自注意力機(jī)制 (Self-Attention)。Attention機(jī)制是一種從海量數(shù)據(jù)中選擇與當(dāng)前任務(wù)關(guān)聯(lián)性更強(qiáng)信息的一種實(shí)施手段,Self-Attention是Attention的特殊情況,表示每個(gè)單詞需與該單詞之外的其他單詞執(zhí)行Attention計(jì)算。

(5) 前饋神經(jīng)網(wǎng)絡(luò)。一種單向多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),每一層包含若干神經(jīng)元,各神經(jīng)元可接收前一層神經(jīng)元的信號(hào),并產(chǎn)生輸出至下一層。其中,第0層稱(chēng)為輸入層,最后一層稱(chēng)為輸出層,其他中間層稱(chēng)為隱藏層。

(6) 殘差連接。將神經(jīng)元的輸出表述為輸出和輸出的非線性變換的線性疊加,以防止因神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)深度增加而導(dǎo)致信息丟失的一種技巧手段。

1.2 詞向量化

應(yīng)該了解的是,信貸文本內(nèi)包括可供放貸機(jī)構(gòu)評(píng)估的重要評(píng)估信息,若詞向量操作的細(xì)膩度低,會(huì)直接影響后續(xù)信貸預(yù)測(cè)的準(zhǔn)確率,因此,本文將詞向量分為兩個(gè)步驟,分別為Bag-of-Words的初次詞向量及Multi-Head Attention的二次詞向量。詞向量化過(guò)程如圖2所示。

圖2 BM-Linear的詞向量過(guò)程

由圖2可見(jiàn),BM-Linear的詞向量過(guò)程可簡(jiǎn)述為:首先接收已預(yù)處理完成的信貸詞語(yǔ)集,根據(jù)每個(gè)信貸詞語(yǔ)在信貸文本的位置及預(yù)構(gòu)建的詞袋,將每個(gè)信貸詞語(yǔ)編碼為初級(jí)詞向量。進(jìn)一步,通過(guò)6組Self-Attention、殘差連接及前饋神經(jīng)網(wǎng)絡(luò),將每組初級(jí)詞向量執(zhí)行再次編碼,得到可直接進(jìn)行線性激活的標(biāo)準(zhǔn)詞向量。

具體地,Bag-of-Words是一種求解詞典?內(nèi)詞語(yǔ)ω的詞向量,從而完成信貸詞語(yǔ)集的初次詞向量化過(guò)程,Bag-of-Words包括輸入層、投影層和輸出層,各層之間的流程如圖3所示。

結(jié)合圖3,Bag-of-Words首先遍歷出信貸文本內(nèi)的信貸詞語(yǔ),并將每個(gè)信貸詞語(yǔ)假設(shè)為已知的詞向量,通過(guò)求和與反向迭代的方式更新假設(shè)出的詞向量。其中,輸入層的主要作用是根據(jù)信貸詞語(yǔ)在信貸文本的位置Context(ω),預(yù)設(shè)信貸詞向量V(Context(ω)),并根據(jù)信貸詞語(yǔ)與其他詞語(yǔ)的位置關(guān)系,構(gòu)建得到輸入向量V(Context(ω)1),V(Context(ω)2),…,V(Context(ω)2c)。

圖3 Bag-of-Words詞向量過(guò)程

進(jìn)一步,投射層將所有詞向量累加求和,即

對(duì)詞向量進(jìn)行結(jié)點(diǎn)分類(lèi),本文約定分到二叉樹(shù)左邊為負(fù)類(lèi),分到右邊為正類(lèi),則根據(jù)sigmoid函數(shù)計(jì)算結(jié)點(diǎn)被分到正類(lèi)的概率為

輸出層基于Huffman的二叉樹(shù)編碼原則,聯(lián)立式(1)及路徑pω內(nèi)lω-1個(gè)分支的概率乘積和,構(gòu)建條件概率及條件概率的對(duì)數(shù)似然函數(shù)分別為:

聯(lián)立式(3)～式(5),可得出對(duì)數(shù)似然函數(shù)恒等式為

設(shè)ζ(ω,j)表示式(6)花括號(hào)內(nèi)函數(shù),由式(6)可以發(fā)現(xiàn),條件概率對(duì)數(shù)似然函數(shù)與ζ(ω,j)成正比關(guān)系,因此,最優(yōu)化ζ(ω,j),即可得出對(duì)數(shù)似然函數(shù)最優(yōu)解為

根據(jù)上述推導(dǎo)總結(jié),當(dāng)輸出層得到映射層的累加向量Xω后,利用式(1)、(8)和式(9),更新詞ω的詞向量V(ω),有

但是由于Bag-of-Words是以詞袋與信貸詞語(yǔ)的一一對(duì)應(yīng)關(guān)系實(shí)現(xiàn)詞向量的目的,因?yàn)閷?duì)應(yīng)關(guān)系固定,所以導(dǎo)致詞向量固化。這種信貸詞語(yǔ)到詞向量的靜態(tài)轉(zhuǎn)化首先無(wú)法解決一詞多義的問(wèn)題,其次難以通篇理解信貸文本,從而影響后續(xù)信貸評(píng)估[31]。因此,為實(shí)現(xiàn)動(dòng)態(tài)詞向量,引入Bert模型中的Multi-Head Attention 以克服Bag-of-Words靜態(tài)詞化所帶來(lái)的缺點(diǎn),以圖2 為參考,細(xì)化Multi-Head Attention的詞向量過(guò)程,得到圖4。

圖4 Multi-Head Attention詞向量過(guò)程

由圖4 可見(jiàn),多頭注意力機(jī)制由多個(gè)Self-Attention Layer組成,其中Self-Attention Layer的層數(shù)需要根據(jù)信貸詞向量的復(fù)雜度確定。需要格外說(shuō)明的是,每個(gè)Self-Attention Layer對(duì)初級(jí)詞向量執(zhí)行自注意力運(yùn)算均是并行處理,且不同Self-Attention Layer之間互不影響,因此,根據(jù)Self-Attention Layer的層數(shù)生成對(duì)應(yīng)數(shù)量的注意力向量。例如圖4 中的Self-Attention Layer若有10層,則1組初級(jí)詞向量經(jīng)過(guò)多頭注意力機(jī)制會(huì)生成10組注意力向量。

此外,Self-Attention Layer 除了具有并行計(jì)算、互不干擾的優(yōu)點(diǎn)之外,還能有效捕捉信貸文本之間的順序關(guān)系,自動(dòng)忽略信貸文本信息中大量無(wú)用的文字,并篩選出少量重要信貸信息,繼而聚焦到此類(lèi)重要信貸信息上執(zhí)行詞向量化,為后續(xù)提高信貸預(yù)測(cè)準(zhǔn)確率提供前置基礎(chǔ)[31]。

參閱圖5 關(guān)于Self-Attention Layer的自注意力運(yùn)算,根據(jù)Bag-of-Words所得到的初級(jí)詞向量z1,z2,…,z i,…,z n,以z1為例展開(kāi)自注意力運(yùn)算過(guò)程,如下式所示:

圖5 Self-Attention Layer的自注意力運(yùn)算

根據(jù)a1初始化3個(gè)矩陣,分別為問(wèn)題矩陣、鍵值矩陣及搭配矩陣,如下式所示:

需要解釋的是,a1對(duì)應(yīng)q1、k1和v1,以此類(lèi)推,a i對(duì)應(yīng)q i、k i和v i。下面以問(wèn)題矩陣q1為例,分別計(jì)算與所有鍵值矩陣k1,k2,…,k i,…,k n的乘積,如下式所示:

根據(jù)前述可知,注意力向量b1是以問(wèn)題矩陣q1相乘每個(gè)鍵值矩陣為基礎(chǔ),通過(guò)softmax函數(shù)激活并相乘搭配矩陣求和得到的矩陣向量,以此類(lèi)推,依次計(jì)算得到與q2對(duì)應(yīng)的注意力向量b2、與q i對(duì)應(yīng)的注意力向量b i,匯總得到信貸詞語(yǔ)集對(duì)應(yīng)的注意力向量集b1,b2,…,b i,…,b n。

結(jié)合圖3 可知,Multi-Head Attention 包括多層Self-Attention Layer,每個(gè)Self-Attention Layer均生成對(duì)應(yīng)的注意力向量集b1,b2,…,b i,…,b n,若Multi-Head Attention具有10層Self-Attention Layer時(shí),則對(duì)應(yīng)生成10 組注意力向量集b1,b2,…,b i,…,b n。

進(jìn)一步,結(jié)合圖2可知,當(dāng)?shù)玫蕉嘟M注意力向量集后,依次將每組注意力向量集與初級(jí)詞向量組執(zhí)行殘差連接及歸一化后輸入至前饋神經(jīng)網(wǎng)絡(luò)執(zhí)行映射計(jì)算,并將映射值再一次執(zhí)行殘差連接及歸一化操作得到標(biāo)準(zhǔn)詞向量組。最后,本文將經(jīng)過(guò)兩次詞向量化所得到的標(biāo)準(zhǔn)向量組執(zhí)行線性激活,進(jìn)而得到對(duì)應(yīng)的信貸評(píng)估結(jié)果。

1.3 基于Pytorch的BM-Linear實(shí)現(xiàn)

由于本文所使用的Bag-of-Words 及Multi-Head Attention具有計(jì)算量大、復(fù)雜度高的特點(diǎn),難以通過(guò)普通程序?qū)崿F(xiàn),故結(jié)合Pytorch深度神經(jīng)網(wǎng)絡(luò)框架執(zhí)行BM-Linear部署,Pytorch 是當(dāng)前最受歡迎的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)框架,具有靈活性高、運(yùn)行速度快、代碼部署簡(jiǎn)單清楚等優(yōu)點(diǎn)[32]。

如圖6所示,根據(jù)BM-Linear模型所包括的信貸文本預(yù)處理、文本詞向量化及線性激活3個(gè)階段,首先,導(dǎo)入numpy、nltk、gensim 和jieba等文本預(yù)處理包,并從預(yù)處理包中調(diào)用split、cut 和stopswords等函數(shù),依次對(duì)信貸文本執(zhí)行切分、分詞、去停用詞等操作,從而完成信貸文本預(yù)處理;其次,BM-Linear核心在于Bag-of-Words及Multi-Head Attention,特別地,Multi-Head Attention計(jì)算復(fù)雜度很高。因此,本文結(jié)合Pytorch部署其實(shí)現(xiàn)過(guò)程。具體地,調(diào)用 Wore2 Vec 包構(gòu)建Bag-of-Words詞向量程序,然后從Hugging Face中下載bert模型的參數(shù)包bert-base-chinese,利用Pytorch在bert-base-chinese后接入多元線性激活函數(shù)并封裝,最后構(gòu)建fine-tune 程序訓(xùn)練得到的BMLinear,從而實(shí)現(xiàn)BM-Linear部署。

圖6 BM-Linear的部署邏輯

需要解釋的是,Pytorch不僅具有簡(jiǎn)易化實(shí)現(xiàn)模型的優(yōu)點(diǎn),同時(shí)也提供便捷的功能實(shí)現(xiàn)函數(shù),如 Feedforward Neural Network 函 數(shù)、Skip-Connect函數(shù)及歸一化函數(shù)等,通過(guò)封裝這類(lèi)功能實(shí)現(xiàn)函數(shù),可以形成端到端的BM-Linear模型,從而提高信貸評(píng)估流暢性,弱化評(píng)估中間過(guò)程[32]。

綜合而言,BM-Linear 模型一方面由于使用Bag-of-Words機(jī)制,可將信貸詞語(yǔ)進(jìn)行相似度聚類(lèi),提高信貸詞向量化準(zhǔn)確率;另一方面,為克服Bag-of-Words因詞袋與信貸詞語(yǔ)的對(duì)應(yīng)關(guān)系所帶來(lái)的詞向量固化問(wèn)題,引入Multi-Head Attention實(shí)現(xiàn)動(dòng)態(tài)詞向量,規(guī)避詞向量固化,從而提高詞向量精準(zhǔn)度。

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)采集及文本合成

研究發(fā)現(xiàn),影響信貸結(jié)果的特征具有多樣性。姚宇韜等[33]發(fā)現(xiàn),申請(qǐng)人為女性、家庭負(fù)擔(dān)越重、健康狀況越差、受教育水平越低、年收入越高、貸款期越長(zhǎng)、實(shí)際貸款利率越高,則貸款違約概率越高。因此,為確保模型評(píng)估公正性,最大化收集不同信貸特征,下載文獻(xiàn)[34-35]中所使用的Bank Marketing Dataset、LendingClub 以 及Default of Credit Card Clients Dataset共3組信貸數(shù)據(jù)集。其中,Bank Marketing Dataset累計(jì)11 162 組、LendingClub累計(jì)42 538組、Default of Credit Card Clients Dataset累計(jì)30 000組,在執(zhí)行異常缺失特征的清理、填充及維度消散等操作后,Bank Marketing D ataset剩余10 461 組、LendingClub剩余41 761組、Default of Credit Card Clients Dataset剩余28 603組。最后,文本合成每組數(shù)據(jù),得到可用于訓(xùn)練、測(cè)試的BM-Datasets (Datasets used to train and test the BM-Linear model)。

由表1 可以看出,BM-Datasets共有3 組數(shù)據(jù)集,分別為Bank Marketing Dataset、LendingClub和Default of Credit Card Clients Dataset,每組數(shù)據(jù)集的信貸特征按照類(lèi)別均可劃分為基本特征(BF)及財(cái)務(wù)特征(PF),但每組數(shù)據(jù)集均有與眾不同的信貸特征,如Bank Marketing Dataset所獨(dú)有的參與營(yíng)銷(xiāo)活動(dòng)次數(shù)特征、LendingClub獨(dú)有的征信局記錄的信用產(chǎn)品數(shù)、公眾不良記錄數(shù)以及Default of Credit Card Clients Dataset的每月賬單金額特征等。可見(jiàn),不同數(shù)據(jù)集所關(guān)注的信貸特征不盡相同。因此,對(duì)于信貸模型BM-Linear而言,不同信貸數(shù)據(jù)集是否會(huì)影響B(tài)M-Linear的表現(xiàn),是本文后續(xù)需要研究的內(nèi)容。

表1 BM-Datasets的信貸特征簡(jiǎn)介

此外,根據(jù)上述理論構(gòu)建知,BM-Linear的較佳操作對(duì)象是連續(xù)性信貸文本,而非表1所示的離散型特征,故將表1中的各信貸特征按照中文語(yǔ)言敘述的規(guī)律進(jìn)行復(fù)現(xiàn)。

表2所示為部分語(yǔ)言復(fù)現(xiàn)后的文本。例如,信貸文本S1,其對(duì)應(yīng)的離散型特征包括老師(職業(yè))、未婚(婚姻情況)、大專(zhuān)畢業(yè)(受教育程度)、市區(qū)一套自住房(住房)、兩次(參與營(yíng)銷(xiāo)活動(dòng)次數(shù))以及具有存款(賬戶余額)等。通過(guò)關(guān)鍵字合成技術(shù)合成得到“大專(zhuān)畢業(yè)的未婚老師,目前有存款,且市區(qū)一套自住房,曾兩次參與銀行營(yíng)銷(xiāo)活動(dòng)”,從而節(jié)約為測(cè)試BM-Linear模型而整理信貸文本所花費(fèi)的時(shí)間,提高本文研究效率。

表2 信貸文本部分復(fù)現(xiàn)

2.2 特征分析

由于BM-Datasets數(shù)據(jù)集數(shù)量龐大,累加Bank Marketing Dataset、LendingClub 以 及Default of Credit Card Clients Dataset共計(jì)超8萬(wàn)條,為探究如此龐大數(shù)據(jù)可能產(chǎn)生的信貸現(xiàn)象,首先利用Pandas、matplotlib等數(shù)據(jù)包分析不同信貸特征對(duì)信貸結(jié)果的影響。

根據(jù)2005～2011年多個(gè)地區(qū)貸款因素對(duì)信貸影響的研究發(fā)現(xiàn)[36],年收入支出、貸款者年齡等對(duì)信用貸款有重要影響。因此,本文進(jìn)一步探究不同年齡段所展現(xiàn)的信貸現(xiàn)象。首先使用seaborn、matplotlib.pyplot 及pandas 等 數(shù) 據(jù) 包,從BMDatasets中依次提取每組信貸年齡,并利用直方圖可視化不同年齡段的信貸比例;其次,參考非參數(shù)檢驗(yàn)方法之一的核密度估計(jì)方法[37],擬合上述直方圖得到信貸年齡分布曲線,從而直觀地顯示信貸年齡在信貸中的分布特征(見(jiàn)圖7)。

圖7 核密度估計(jì)下信貸年齡趨勢(shì)走向

根據(jù)核密度估計(jì),未來(lái)使用信貸方式解決資金短缺困境的年齡分布段主要集中在[25,40]歲,且在[25,30]階段信貸比例呈陡峭上升,當(dāng)臨近30歲時(shí),信貸比例達(dá)峰值后呈平緩下滑趨勢(shì)。由此可見(jiàn),[25,30]階段的信貸用戶對(duì)資金的渴求度最激烈,結(jié)合社會(huì)現(xiàn)象,該年齡段伴隨初入社會(huì)對(duì)生活質(zhì)量需求度的提升、成家立業(yè)所需經(jīng)濟(jì)壓力或維持新婚家庭成本開(kāi)支等,已成為刺激市場(chǎng)消費(fèi)的主力軍。因此,在當(dāng)下疫情影響市場(chǎng)經(jīng)濟(jì)并驅(qū)動(dòng)形成國(guó)內(nèi)國(guó)際雙循環(huán)格局的雙重背景下,政府及信貸機(jī)構(gòu)可采取對(duì)該年齡段降低信貸評(píng)估門(mén)檻的方法,達(dá)到快速注入資金至該年齡段的目的,從而加快市場(chǎng)經(jīng)濟(jì)復(fù)蘇及雙循環(huán)格局的形成。但是否需要針對(duì)該年齡段設(shè)置違約還款督促措施,以防止因信貸門(mén)檻降低所帶來(lái)的違約比例上升問(wèn)題? 為探究該問(wèn)題,從Default of Credit Card Clients Dataset中提取是否逾期的還貸標(biāo)簽,得到逾期還貸數(shù)據(jù)6 636組,準(zhǔn)時(shí)還貸數(shù)據(jù)23 364組,逾期與準(zhǔn)時(shí)分別占總數(shù)據(jù)集22.1%及77.9%。進(jìn)一步,利用pandas庫(kù)中cut函數(shù),依次計(jì)算不同年齡區(qū)間在Default of Credit Card Clients Dataset的逾期與準(zhǔn)時(shí)還貸的占比,并通過(guò)占比擬合出隨年齡變化的逾期還貸曲線圖(見(jiàn)圖8)。根據(jù)圖8所示,將信貸年齡分為8個(gè)區(qū)間并可視化出直方圖(底X軸,左Y軸),總體上,不同年齡段準(zhǔn)時(shí)還貸人數(shù)均遠(yuǎn)大于逾期還貸人數(shù),屬信貸可控范圍。另外,結(jié)合圖7可知,年齡段[26,40]歲是目前貸款主力軍,但伴隨年齡的不斷增加,信貸人數(shù)呈規(guī)律下降現(xiàn)象。可見(jiàn),當(dāng)前經(jīng)濟(jì)背景下,信貸的主要服務(wù)人群依然為青中年人群,做好青中年信貸服務(wù)尤其重要。但不可否認(rèn)的是,年齡段影響逾期率,通過(guò)逾期擬合曲線發(fā)現(xiàn)(頂X軸右Y軸),雖然年齡段[31,35]的信貸人數(shù)基數(shù)龐大,但信貸違約率最低,信用狀況最優(yōu),而剛成年年齡段[20,25]及年長(zhǎng)年齡段[50,80]信貸違約率相對(duì)最高。總之,逾期率呈現(xiàn)“倆頭違約高,中間違約低”的sin函數(shù)現(xiàn)象。

圖8 準(zhǔn)時(shí)還貸與逾期還貸占比及擬合曲線

因此,對(duì)青中年人群降低信貸評(píng)估門(mén)檻,快速注入資金至該人群,可加快市場(chǎng)經(jīng)濟(jì)復(fù)蘇及雙循環(huán)格局的形成,但參照逾期率所表現(xiàn)的“倆頭違約高,中間違約低”的sin函數(shù)現(xiàn)象,剛成年年齡段信貸需求大。但由于該年齡段違約比例高,應(yīng)落實(shí)一套針對(duì)該年齡段的違約還款督促措施,以防止因信貸門(mén)檻降低所帶來(lái)的違約比例再次攀高的問(wèn)題。

此外,本文分析了消費(fèi)額與付款額的關(guān)聯(lián)分布,并根據(jù)關(guān)聯(lián)分布探究信貸在消費(fèi)額與付款額之間的承接關(guān)系。利用pandas庫(kù)的列索引依次提取每個(gè)用戶在不同月的消費(fèi)賬單及支付額度,并通過(guò)matplotlib庫(kù)中的scatter函數(shù),以月為單位可視化出消費(fèi)額與支付額的散點(diǎn)圖,如圖9所示。

參考圖9付款額與消費(fèi)額的散點(diǎn)關(guān)系,多數(shù)信貸用戶每月付款額均大于實(shí)際消費(fèi)額,且從X、Y軸的坐標(biāo)數(shù)值得出,用戶每月消費(fèi)額主要集中在[0,400 000]區(qū)間,但付款額集中于[0,50 000]區(qū)間,理應(yīng)做到消費(fèi)與付款的收支平衡,但實(shí)際情況卻是消費(fèi)額遠(yuǎn)大于付款額,兩者額度數(shù)值比例高達(dá)8∶1。因此,多數(shù)用戶均利用信貸方式填補(bǔ)消費(fèi)額缺口,出現(xiàn)了在以消費(fèi)額背景下支付額與信貸額的“1+7”現(xiàn)象。

圖9 各月消費(fèi)額與付款額的散點(diǎn)分布

通過(guò)“1+7”現(xiàn)象折射出當(dāng)下信貸用戶消費(fèi)需求量大,但滿足自身消費(fèi)需求能力較弱,需要通過(guò)信貸維持收支平衡。因此,從政府協(xié)調(diào)市場(chǎng)的角度而言,在信貸的放款額度上,應(yīng)通過(guò)放貸機(jī)構(gòu)制定與“1+7”現(xiàn)象相匹配的額度值,防止因信貸額度過(guò)少帶來(lái)信貸用戶消費(fèi)缺口太大所導(dǎo)致的市場(chǎng)不穩(wěn)定,或信貸額度過(guò)高引發(fā)的市場(chǎng)通貨膨脹等問(wèn)題。

2.3 模型訓(xùn)練

由于BM-Datasets 包括Bank Marketing Dataset(BM)、LendingClub(LC)以 及Default of Credit Card Clients Dataset(CC)等3種類(lèi)型的信貸數(shù)據(jù)集,考慮到不同數(shù)據(jù)集所包括的特征種類(lèi)不同,為多角度探究BM-Linear的信貸表現(xiàn),采用參數(shù)獨(dú)立訓(xùn)練和參數(shù)共用訓(xùn)練兩種訓(xùn)練方法探究模型表現(xiàn)。其中,參數(shù)獨(dú)立訓(xùn)練是指按照不同類(lèi)型的數(shù)據(jù)集而構(gòu)建對(duì)應(yīng)數(shù)量的BM-Linear,如上述3種類(lèi)型的信貸數(shù)據(jù)集,則構(gòu)建3 組初始參數(shù)相同的BMLinear模型,每組BM-Linear模型對(duì)應(yīng)一種類(lèi)型數(shù)據(jù)集(簡(jiǎn)稱(chēng)獨(dú)立-BM-Linear模型)。以此類(lèi)推,參數(shù)共用訓(xùn)練即訓(xùn)練階段只采用一組BM-Linear模型(簡(jiǎn)稱(chēng)共用-BM-Linear模型)同時(shí)訓(xùn)練3 種類(lèi)型數(shù)據(jù)集,在訓(xùn)練階段每組數(shù)據(jù)集均共用一組BMLinear的內(nèi)部參數(shù),直至完成訓(xùn)練,得到可在不同數(shù)據(jù)集之間通用的BM-Linear模型參數(shù)。

綜上所述,利用Pytorch框架首先構(gòu)建出4組初始參數(shù)相同的BM-Linear。其中,3組作為獨(dú)立-BM-Linear用來(lái)執(zhí)行參數(shù)獨(dú)立訓(xùn)練,第4組作為共用-BM-Linear用來(lái)執(zhí)行參數(shù)共用訓(xùn)練。然后,按照訓(xùn)練集與測(cè)試集8∶2的數(shù)量比,依次接收文本化之后的BM、LC及CC執(zhí)行訓(xùn)練,如圖10所示。

由圖10可見(jiàn),當(dāng)利用BM、LC 及CC 這3組數(shù)據(jù)集依次完成BM-Linear的參數(shù)獨(dú)立訓(xùn)練及共用訓(xùn)練后,發(fā)現(xiàn)獨(dú)立訓(xùn)練下的BM-Linear評(píng)估錯(cuò)誤率相比于共用訓(xùn)練有較大幅度降低,且錯(cuò)誤率會(huì)因訓(xùn)練集變化伴有波動(dòng)性,其中在BM 訓(xùn)練場(chǎng)景下模型表現(xiàn)最優(yōu),錯(cuò)誤率可降低至7%左右。與獨(dú)立訓(xùn)練相比,共用訓(xùn)練下的BM-Linear因需同時(shí)滿足3組數(shù)據(jù)集的標(biāo)簽要求,導(dǎo)致訓(xùn)練時(shí)相鄰散點(diǎn)錯(cuò)誤率變化大,訓(xùn)練過(guò)程具有波動(dòng)性,最終錯(cuò)誤率約為16%。

2.4 模型測(cè)試及對(duì)比

當(dāng)BM-Linear訓(xùn)練完成后,為探究其實(shí)際表現(xiàn)構(gòu)建各模型對(duì)比實(shí)驗(yàn)。一方面,根據(jù)文獻(xiàn)[38-39]中的研究,引入隨機(jī)森林、XGBoost及AdaBoost等模型進(jìn)行對(duì)比實(shí)驗(yàn);另一方面,為探究詞向量固化是否會(huì)造成評(píng)估準(zhǔn)確率下降的問(wèn)題,根據(jù)文獻(xiàn)[7,23]中的研究,組合Word2Vec與線性激活函數(shù)得到Word2Vec-Linear,經(jīng)對(duì)比得到如下結(jié)論。

如表3所示,BM-Linear利用信貸文本可直接執(zhí)行信貸預(yù)測(cè),無(wú)需通過(guò)平均值、眾數(shù)填充等方法處理信貸文本中缺失特征,從而降低人為填充特征的主觀因素干擾,且BM-Linear在對(duì)缺失特征不做填充處理的情況下,每組測(cè)試準(zhǔn)確率依然領(lǐng)先其他模型。可見(jiàn),其信貸評(píng)估依然優(yōu)異。綜合面言,BMLinear在提高信貸評(píng)估準(zhǔn)確率的同時(shí),也弱化缺失特征的處理步驟,可有效提高信貸評(píng)估效率,縮減信貸資本回流至個(gè)人的時(shí)間。

表3 各模型測(cè)試表現(xiàn) %

此外,BM-Linear相比于其他模型,可直接進(jìn)行參數(shù)共用訓(xùn)練,即多組數(shù)據(jù)集共用一組BMLinear模型參數(shù),且參數(shù)共用訓(xùn)練的BM-Linear測(cè)試準(zhǔn)確率依然領(lǐng)先多元線性回歸模型,信貸預(yù)警表現(xiàn)較為優(yōu)異。從實(shí)際意義而言,當(dāng)僅使用一套模型可完成對(duì)不同特征數(shù)據(jù)的信貸預(yù)測(cè)時(shí),即解決信貸模型受限于應(yīng)用場(chǎng)景的問(wèn)題,可有效加快信貸評(píng)估效率。例如,居民A 和B 提供至信貸機(jī)構(gòu)的信貸特征具有差異性,但利用相同模型即可完成兩個(gè)不同特征居民的信貸評(píng)估,極大地減少了居民A 或居民B再次收集特征或信貸機(jī)構(gòu)重新訓(xùn)練信貸模型的時(shí)間,從而進(jìn)一步提高信貸評(píng)估效率、加速資金回流盤(pán)活周期,在當(dāng)下打造國(guó)內(nèi)外雙循環(huán)背景下具有重要意義。

最后,相比于 Word2Vec-Linear,由于BMLinear添加了多頭注意力機(jī)制,解決Word2Vec向量化過(guò)程詞袋與信貸詞語(yǔ)的對(duì)應(yīng)關(guān)系限制,將靜態(tài)詞向量過(guò)渡為動(dòng)態(tài)詞向量,解決不能根據(jù)全篇文本及一詞多義實(shí)現(xiàn)詞向量化過(guò)程,從而提高基于信貸文本的信貸預(yù)測(cè)準(zhǔn)確率。

3 結(jié)論

合理構(gòu)建及選擇信貸評(píng)估模型,可加快個(gè)人信用貸放貸效率、縮減放貸評(píng)估時(shí)間,防止因經(jīng)濟(jì)下滑帶來(lái)居民生活成本提高及資金周轉(zhuǎn)困頓問(wèn)題。本文以自然語(yǔ)言處理技術(shù)為基礎(chǔ),通過(guò)Pytorch框架組合Bag-of-Words及Bert中的多頭注意力機(jī)制,添加多元線性激活函數(shù)構(gòu)建得到信貸評(píng)估模型BMLinear,其后引入多組不同類(lèi)型的信貸數(shù)據(jù)集并結(jié)合其他信貸模型進(jìn)行實(shí)驗(yàn)驗(yàn)證。

本文的貢獻(xiàn)體現(xiàn)在:

(1) 弱化模型與訓(xùn)練集的對(duì)應(yīng)關(guān)系,解決了應(yīng)用場(chǎng)景受限問(wèn)題。BM-Linear在實(shí)現(xiàn)參數(shù)共用訓(xùn)練下,其預(yù)測(cè)準(zhǔn)確率依然高于多元線性回歸,對(duì)比XGBoost及AdaBoost等模型僅接收離散信貸特征,導(dǎo)致與訓(xùn)練集具有嚴(yán)格對(duì)應(yīng)關(guān)系,無(wú)法實(shí)現(xiàn)參數(shù)共用訓(xùn)練而言,BM-Linear在保證預(yù)測(cè)精度的同時(shí),擴(kuò)大了信貸模型的應(yīng)用場(chǎng)景,極大地減少了因反復(fù)訓(xùn)練模型所帶來(lái)的資源消耗問(wèn)題,從而提高信貸評(píng)估效率。

(2) 忽略缺失特征并將離散特征轉(zhuǎn)為信貸文本,解決了預(yù)處理繁瑣問(wèn)題,提高了信貸評(píng)估效率。BM-Linear在不處理缺失特征的情況下,可利用信貸文本執(zhí)行評(píng)估,且評(píng)估準(zhǔn)確率依然領(lǐng)先其他多數(shù)模型。與按照特征補(bǔ)齊、定量、歸一化、降維及預(yù)測(cè)的傳統(tǒng)信貸評(píng)估流程相比,BM-Linear在保證信貸評(píng)估準(zhǔn)確率的前提下,進(jìn)一步提高信貸評(píng)估效率、縮減信貸資本回流至個(gè)人的時(shí)間周期。

(3) 利用多頭注意力機(jī)制解決詞向量固化問(wèn)題,提高了信貸評(píng)估準(zhǔn)確率。BM-Linear 引入Multi-Head Attention,克服因詞袋與信貸詞語(yǔ)的對(duì)應(yīng)關(guān)系所帶來(lái)的詞向量固化,導(dǎo)致難以理解一詞多義及整體信貸文本的問(wèn)題。與僅利用靜態(tài)詞向量如Word2Vec構(gòu)建的Word2Vec-Linear等相比,BMLinear實(shí)現(xiàn)了動(dòng)態(tài)詞向量,提高了詞向量化精準(zhǔn)度,進(jìn)而評(píng)估準(zhǔn)確率相比靜態(tài)信貸模型大幅提高。

本文提出一種信貸評(píng)估新模型BM-Linear,可提高信貸場(chǎng)景應(yīng)用范圍,并簡(jiǎn)化離散及缺失特征處理步驟,達(dá)到降低信貸評(píng)估操作成本的目的。另外,BM-Linear將靜態(tài)詞向量轉(zhuǎn)為動(dòng)態(tài)詞向量,進(jìn)一步提高評(píng)估準(zhǔn)確率。綜上所述,本文可為放貸機(jī)構(gòu)及政府多提供一種信貸評(píng)估可選模型。