基于組合分類器的個人信用評估模型

摘要：隨著消費信貸的發(fā)展以及銀行對信用風險的關(guān)注，個人信用評估已成為銀行業(yè)研究的一個重要內(nèi)容。目前信用評估的研究中多采用單一分類器，預(yù)測精度難以提高，因此文章提出了基于AdaBoost組合分類器算法的個人信用評估模型。與單分類器模型的比較結(jié)果表明，基于組合分類器的模型具有更高的預(yù)測準確率。

關(guān)鍵詞：信用評估；組合分類器；分類；數(shù)據(jù)挖掘

一、 引言

隨著金融的全球化趨勢和銀行業(yè)競爭的加劇，如何有效地控制和防范商業(yè)銀行的信貸風險正在受到越來越廣泛的重視。在我國，個人消費信貸雖然起步較晚，但是發(fā)展迅猛，信貸產(chǎn)品層出不窮，同時由于我國的個人征信體系尚未建立和完善，消費信貸蓬勃發(fā)展的背后隱藏著巨大的信用風險，如何在擴大信貸規(guī)模的同時準確分析消費者的信用狀況，確立合理的授信機制是各大商業(yè)銀行不得不面對和解決的重要問題。

西方國家在個人信用評估方面已經(jīng)積累起了較多的經(jīng)驗，目前最常用的是基于分類的信用評分方法，即把信用評估看作一個模式識別問題，根據(jù)歷史記錄中貸款者提供的個人信息以及履約或違約的結(jié)果，從中歸納出個人信息與履約或違約之間的規(guī)則，從而預(yù)測貸款申請者按時還款的可能性。這種思想最早可以追溯到1936年Fisher的一項實驗。1941年，David Durand第一個用信用評分來區(qū)別履約和違約貸款的申請。此后，信用評分的方法得到了廣泛的應(yīng)用。在具體方法上，最初應(yīng)用較廣泛的是多元判別分析，由于判別分析簡單易用、預(yù)測效果較好，又具有良好的可解釋性，相當長時間內(nèi)在信用評分實踐中都處于主流地位，但是實際問題中數(shù)據(jù)往往不能滿足正態(tài)分布、等協(xié)方差等條件。為了提高方法的適用性，線性回歸分析、Logistic回歸、線性規(guī)劃等被引入進來，在進一步提高預(yù)測準確率的同時拓展了方法的適用范圍。近年來，隨著人工智能和機器學(xué)習技術(shù)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)（ANN）和支持向量機（SVM）等方法也在信用評分問題上進行了有益的探索。

綜觀目前的研究，雖然在評估方法上不斷創(chuàng)新和發(fā)展，但所采用的均為單一分類器。由于受到分類算法本身以及數(shù)據(jù)集處理、屬性選擇等問題的制約，單分類器模型能夠達到的預(yù)測精度總是有限的。本文基于AdaBoost算法，建立基于組合分類器的個人信用評估模型，以獲得更高的預(yù)測準確率。

二、 AdaBoost組合分類器算法

實踐中人們發(fā)現(xiàn)，許多分類算法對樣本集是敏感的，即在不同的訓(xùn)練樣本和測試樣本上，或者是在相同樣本的不同特征空間上，同一分類器的表現(xiàn)有可能差異很大。可以說，算法的優(yōu)劣往往和數(shù)據(jù)集有很大關(guān)系，很難得到一個在所有數(shù)據(jù)上表現(xiàn)都是最優(yōu)的分類模型。但是，將多個分類器組合起來卻能有效的提高分類的精度，這就是組合分類器思想。

所謂組合分類器是指幾個分類器通過某種策略組合在一起進行分類。組合的策略可以是模型組合，可以是不同的算法組合，也可以通過對樣本取樣，變化樣本空間，構(gòu)造不同的分類器，然后按照一定的加權(quán)方法對分類器進行組合，得到最后的分類器。組合分類器的應(yīng)用克服了單一分類器的諸多缺點，如對樣本的敏感性，分類精度難以提高等等，已經(jīng)在字符識別、文本分類、面部表情識別等領(lǐng)域獲得了較好的應(yīng)用效果。

AdaBoost是Boosting算法的一種，其主要思想是給每一個訓(xùn)練樣本分配一個權(quán)重，表明它被某弱分類器選入訓(xùn)練集的概率，并通過不斷修正權(quán)重來實現(xiàn)Boosting（推進）訓(xùn)練。初始時權(quán)重可以平均分配，然后用一個弱分類算法在訓(xùn)練集上進行訓(xùn)練，得到一個弱分類器，同時對樣本權(quán)重進行調(diào)整，訓(xùn)練失敗的樣本權(quán)重增大，訓(xùn)練成功的樣本權(quán)重減小，使分類算法能在下一輪訓(xùn)練中集中力量對訓(xùn)練失敗的樣本進行學(xué)習。權(quán)重更新后，算法在更新的訓(xùn)練集上繼續(xù)訓(xùn)練，再調(diào)整樣本權(quán)重，循環(huán)往復(fù)，從而得到一系列的弱分類器。這些弱分類器構(gòu)成組合分類器，算法采用有權(quán)重的投票方式來產(chǎn)生最終的預(yù)測結(jié)果。

AdaBoost算法過程如下：

在多數(shù)情況下，每個分類器只要是弱分類器，即分類準確率超過50%，比隨機猜想好，那么組合分類器的訓(xùn)練誤差就能隨著T的增大而變得很小。同時組合分類器能保持良好的泛化能力，即使在T很大的情況下也很少會出現(xiàn)過擬合（Over fitting）現(xiàn)象。

三、 基于AdaBoost的個人信用評估模型

1． 數(shù)據(jù)準備。本文利用德國某商業(yè)銀行的個人信用貸款數(shù)據(jù)作為研究數(shù)據(jù)集。數(shù)據(jù)集中共有1 000個樣本，其中正常樣本700個，違約樣本300個。參照該銀行的個人信用評價指標體系，每個樣本都有20個屬性，包括賬戶狀態(tài)、賬戶存在月數(shù)、貸款目的、貸款額度、工作年限、年齡、房產(chǎn)狀況等。按照7:3的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，具體構(gòu)成如表1所示。

2． 模型建立。

本文同樣采用信用評分的方法來研究個人信用評估問題。首先在訓(xùn)練樣本集上進行模型的訓(xùn)練，得到貸款者的各項屬性與是否違約的內(nèi)在隱含關(guān)系，然后在測試集上進行模型測試，如果符合要求，則表示模型可用于信用評估的實踐。

由于AdaBoost只是一個組合分類器算法，用于單分類器的組合訓(xùn)練和結(jié)果融合，因此還需要一個分類算法作為它的基分類器。在基分類器的選擇上，必須考慮算法的分類精度、穩(wěn)定性和泛化能力等多個方面。神經(jīng)網(wǎng)絡(luò)雖然有很好的非線性擬合能力，但是訓(xùn)練速度慢、易陷入局部極小點、泛化能力差、網(wǎng)絡(luò)結(jié)構(gòu)和初始權(quán)值難以確定，而C4.5決策樹不僅分類精度較高、建模較快，而且泛化能力也比較好，因此本文選擇C4.5決策樹作為基分類器。AdaBoost算法需要事先指定訓(xùn)練輪數(shù)T，本文將其設(shè)為100，樣本權(quán)重實現(xiàn)方式采用Resampling。

German Credit數(shù)據(jù)集的20個屬性中有7個是連續(xù)型屬性，13個是離散型屬性，由于C4.5決策樹不僅能處理離散型屬性值，也能處理連續(xù)型屬性值，且對數(shù)據(jù)無特別要求，因此本文不對各屬性值進行轉(zhuǎn)換。

3． 實證結(jié)果分析。實證數(shù)據(jù)集如3.1所述，實證平臺為Windows XP，算法在Microsoft Visual C++ 6.0下編程實現(xiàn)。為了比較算法的效能，本文將基于AdaBoost組合分類器的模型與基于C4.5、支持向量機（SVM）、K近鄰（KNN）和樸素貝葉斯網(wǎng)絡(luò)（Na·ve Bayes， NB）等單分類器的模型進行了比較，KNN算法中K取1，SVM中核函數(shù)取徑向基函數(shù)，C取1。得到各個模型的預(yù)測準確率，如表2所示。

實證結(jié)果表明，在單分類器模型中預(yù)測準確率最高的是樸素貝葉斯網(wǎng)絡(luò)，達到了74.29%，而基于AdaBoost的組合模型比基于C4.5、SVM、KNN和樸素貝葉斯網(wǎng)絡(luò)的單分類器模型都具有更高的預(yù)測準確率。準確率雖然只是提高了幾個百分點，但是在實際應(yīng)用中準確率的微小提高就有可能使銀行減少巨額的損失。

四、 結(jié)論

利用數(shù)據(jù)挖掘技術(shù)來實現(xiàn)信用評估是目前的一個研究熱點，本文首次將AdaBoost算法引入銀行的個人信用評估中，建立了基于組合分類器的個人信用評估模型。實證結(jié)果表明，基于AdaBoost的組合分類器模型比單分類器模型具有更高的預(yù)測準確率。在信用評估領(lǐng)域，預(yù)測準確率即使只有微小的提升，就有可能給企業(yè)帶來很大的收益，從這個角度看，本文的改進極具理論意義與應(yīng)用價值。除了AdaBoost，組合分類器算法還有許多，本文的這一有益探索將為后續(xù)研究采用其他算法來進一步提高模型效能提供思路。

參考文獻：

1．Eisenbeis R A．Problems in applying discriminant analysis in credit scoring models．Journal of Banking and Finance，1979，（2）：205-219．

2．Lyn C．Thomas．A survey of credit and behavioral scoring：forecasting financial risk of lending to consumers．International Journal of Forecasting，2000，（16）：149-172．

3．John C W．A note on the comparison of logit and discriminant models of consumer credit behavior．Journal of Financial and Quantitative Analysis，1980，15（3）：757-770．

4．張道宏，張璇，尹成果．基于BP神經(jīng)網(wǎng)絡(luò)的個人信用評估模型．情報雜志，2006，（3）：68-70．

5．沈翠華，鄧乃揚，肖瑞彥．基于支持向量機的個人信用評估．計算機工程與應(yīng)用，2004，（23）：198-199，215．

作者簡介：何建敏，東南大學(xué)經(jīng)濟管理學(xué)院副院長、教授、博士生導(dǎo)師，江蘇省系統(tǒng)科學(xué)學(xué)會副理事長；王純麟，東南大學(xué)經(jīng)濟管理學(xué)院管理科學(xué)與工程系碩士生；錢蘇麗，東南大學(xué)經(jīng)濟管理學(xué)院管理科學(xué)與工程系碩士生。

收稿日期：2006-09-08。

注：文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文