BP 人工神經網絡在信用卡評估中的應用

長樂市發展和改革局 王燕平

BP 人工神經網絡在信用卡評估中的應用

長樂市發展和改革局 王燕平

隨著經濟的不斷發展，金融業在經濟發展中發揮著越來越重要的作用，各商業銀行的信用卡業務也在逐漸增加，對銀行客戶的信用評估是否合理、科學、準確，關系著銀行在辦理信用卡過程中承擔風險的大小。通過有效的信用評估，可以大大降低銀行承擔的風險。該文介紹了人工神經網絡（Artificial Neural Networks，簡寫為ANNs）、誤差反向傳遞神經網絡（簡稱BP人工神經網絡）的網絡結構和學習訓練算法。并使用BP人工神經網絡模型，將來自UCI Machine Learning Repository 網站的三組數據輸入到BP人工神經網絡，通過創建不同的隱含層、設定不同輸入層的神經元數及使用不同的訓練方法來得到BP人工神經網絡在信用卡評估的準確率及速度。結果發現，BP人工神經網絡對信用卡信息的匹配和篩選具有較為理想的效果，對銀行客戶的信用評估有較好的推薦及參考作用，有利于商業銀行在對申請信用卡用戶的信用評估，及時減小了在辦理信用卡過程中承擔的風險，對金融風險的防控也起了重要的作用。

人工神經網絡 BP人工神經網絡 信用卡

1 人工神經網絡概述

1.1 人工神經網絡的定義

人工神經網絡（Artificial Neural Networks，簡稱ANNs），是在生物學、心理學、神經學等現代學科基礎上研究產生的，是生物神經系統對外界事物處理過程的反映，其基本原理是由大量處理單元模擬人類大腦神經組織通過廣泛聯系構成的網絡體系形成的信息處理系統，計算系統具有非線性、自學性、容錯性等特征，算法數學模型對信息進行分布式并行的處理[1]。這種復雜的網絡結構系統通過調整大量節點之間相互連接的關系達到處理信息的目的。雖然單個神經元的結構和功能都是簡單和有限的，但多個神經元組成的網絡系統，其行為卻能被表現的豐富多彩[2]。

1.2 神經元

1.2.1 生物神經元

人類大腦是由大量的神經細胞相互連接組合而成的，每個神經元也可稱為神經細胞，具體結構如圖1所示[3]。神經元的主要接受器是樹突，主要用來接受外界信息[4]。軸突是信息傳播的起點，主要用來傳導信息，然后將信息傳到軸突末梢，最后在由軸突末梢與另一個神經元的細胞體或者樹突構成一種突觸的機構，實現神經元之間的信息傳遞。興奮與抑制是神經元的兩種常規工作狀態，神經細胞進入興奮狀態是在細胞膜電位升高超過閾值時出現的，這是由傳入的神經沖動引起的，并由軸突輸出；神經細胞進入抑制狀態是傳入的神經沖動使細胞膜電位下降低于閾值時出現的，沒有神經沖動由軸突輸出。

1.2.2 人工神經元

人工神經網絡是利用物理器件來模擬生物神經網絡的某些結構和功能[5]，具體結構如圖2所示。

圖1 生物神經元結構

從圖1可見，腦神經元由細胞體、樹突和軸突三個部分組成。神經元的中心是細胞體，由細胞核、細胞膜等組成。

圖2 人工神經元結構

圖 2的人工神經元結構是科學家 W.Pitts和心理學家McCulloch在1943年講解神經元基本特性時提出的，它是現在許多神經網絡模型研究的基礎。其中，wji代表神經元i與神經元 j之間的連接強度(模擬生物神經元之間突觸連接強度)，稱之為連接權；ui代表神經元i的活躍值，即神經元狀態；vi代表神經元j的輸出，即是神經元i的一個輸入；θi代表神經元的閾值。

函數f表達了神經元的輸入輸出特性。

f定義為階跳函數:

人工神經網絡由很多個神經元組成, 每個神經元只有一個單一輸出，使用并行分布式的數學算法來處理接收的信息。人工神經網絡可以連接多個的神經元，從而輸出多個連接通路，每一個連接通路都有相對應的一個連接權系數。

人工神經網絡具有以下特征：（1）每一個結點有一個狀態變量xji；（2）結點i到結點j有一個連接權系數wji；（3）每個結點有一個閾值 θj；（4）每個結點定義一個變換函數最常見的情形為具體算法步驟見本文參考文獻[1]。

2 BP神經網絡概述

2.1 BP神經網絡的定義

BP（Back Propagation）網絡由McCelland和Rumelhart在1986年首次提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，又稱誤差反向傳遞神經網絡，是目前應用最廣泛的神經網絡模型之一，大約有80%的人工神經網絡屬于BP神經網絡[6]。BP神經網絡是通過反饋值不斷調整節點之間的連接權值而形成的一種神經網絡模型。圖3是一個典型的3層BP神經網絡的結構模型，主要包括輸入層、隱含層和輸出層三個層次，但在實際的模型中，隱含層可以根據具體的實際情況來決定是一層結構還是由多層結構組成。

圖3 3層BP神經網絡結構

2.2 BP神經網絡的原理

BP網絡是由輸入層、隱含層和輸出層構成的一種多層前饋神經網絡結構，隱含層可以根據實際情況決定一層或多層[7]。BP神經網絡的層與層之間采取全互連方式連接，其同一層之間不存在相互連接關系。層與層之間通過工作信號和誤差信號兩種信號在流通，工作信號是輸入和權值的函數，是指輸入的信號向前傳播直到在輸出端產生實際的輸出信號。誤差信號也稱為誤差，是從輸出端開始逐層向后傳播，是網絡實際輸出值與期望輸出值之間的差值。因此，前向計算過程和誤差反向傳播過程兩個過程是BP神經網絡的兩個學習過程。前向計算過程是輸入信號傳向輸出層，每層神經元的狀態只影響下一層神經元的狀態，輸入量從輸入層經隱含層逐層計算[8]。誤差反向傳播過程是由于輸出層得不到期望的輸出，誤差信號沿原來的連接通路返回，直至到達輸入層再重復計算，逐次調整BP神經網絡每層的閾值和權值。前向計算過程和誤差反向傳播過程兩個過程反復進行，各層的閾值和權值不斷被調整，從而得到網絡誤差最小或達到我們所預想的目標時，學習過程結束。具體原理如下：

設輸入層有n個神經元節點,隱含層有q個神經元節點，輸出層有m個神經元節點。利用該網絡可實現n維輸入向量Xn=(X1,…,Xn)T到 m 維輸出向量Ym=(Y1,…,Yn)T的非線性映射。輸入層和輸出層的單元數 n、m 根據具體問題確定，而隱含層單元數 q 的確定尚無成熟的方法，一般可設定不同的q 值，根據訓練結果來進行選擇。BP神經網絡結構(n、q、m)確定后,神經網絡還包括的參數有：

wij：輸入層第 i單元到隱含層第 i 單元的權重，其中i=1,…,n;j=1,…,q。

Wjk：隱含層第 j單元到輸出層第 k單元的權重,其中j=1,…,n;k=1,…,m。

θj：隱含層第 j 單元的激活閾值，j=1,…,q。

θk：輸出層第 k 單元的激活閾值，k=1,…,m。

以上閾值和權重的初值是在網絡訓練之前隨機生成。

f(x)：激活函數一般采用非線性 Sigmoid 型,即 f(x)=1/ [1+exp(-x)]。具體算法步驟見本文參考文獻[9]。

3 BP神經網絡用于信用卡的申請

BP神經網絡從輸入層到輸出層可以實現任意的非線性映射，可以解決線性模型不能解決的問題，可以通過對已知的信用數據進行學習，調整模型結構，產生能夠預測客戶信用數據的模型。

3.1 樣本選取

由于商業銀行信用卡用戶信息屬于商業秘密，不易獲取，因此本文選取了來自UCI Machine Learning Repository 網站的Credit Approval Data、Iris Data、Tic-Tac-Toe Endgame Data的三組數據作為訓練樣本①～③。

Credit Approval Data一共包含690組數據，每組數據根據信用卡用戶的不同特性包含15個分類；Iris Data一共包含150組數據，4個分類； Tic-Tac-Toe Endgame Data一共包含958組數據，9個分類。

3.2 運行環境

HP lap top, DV9518TX, CPU: Intel Core 2, 2.00 GHz, 4 GB RAM, Windows 7 Ultimate.

3.3 實證分析

為測試 BP人工神經網絡學習的速度及準備性，本文主要通過創建不同的隱含層、設定不同輸入層的神經元數及使用不同的訓練方法（Cross Validation：交叉驗證、Data Randomized隨機抽取（66%為訓練、34%為測試））來得到BP人工神經網絡的準確率及速度。

在Credit Approval Dataset 訓練中，一共包括12組訓練，前4組使用10-fold Cross Validation方法進行訓練，后8組通過Data Randomized方法進行訓練，輸入層的神經元數為15，輸出層的神經元數為1，前8組設置一個隱含層，后4組設置 2個隱含層。從表 1看，訓練結果最好的一組成功率為65.81%，是使用Data Randomized方法（66%為訓練、34%為測試），2個隱含層，第一個隱含層的神經元數為6個，第二個隱含層的神經元數為2個，訓練時間大約為2s。

表1 Credit Approval Dataset訓練結果

表2 Iris Dataset訓練結果

在Iris Dataset訓練中，一共包括12組訓練，前4組使用10-fold Cross Validation方法進行訓練，后8組通過Data Randomized方法進行訓練，輸入層的神經元數為4，輸出層的神經元數為1，前8組設置一個隱含層，后4組設置2個隱含層。從表 2的數據看，訓練結果最好的一組成功率為77.33%，使用Data Randomized方法（66%為訓練、34%為測試），2個隱含層，第一個隱含層的神經元數為28個，第二個隱含層的神經元數為5個，訓練時間大約為16s。

在Tic-Tac-Toe Endgame Dataset訓練中，一共包括12組訓練，前4組使用10-fold Cross Validation方法進行訓練，后8組通過Data Randomized方法進行訓練，輸入層的神經元數為9，輸出層的神經元數為1，前8組設置一個隱含層，后4組設置2個隱含層。從表3的數據看，成功率最高為65.34%，一個隱含層和兩個隱含層的訓練結果多數相同，然而成功率最低的一組訓練為59.17%，使用Cross Validation方法，1個隱含層，第一個隱含層的神經元數為23個，訓練時間大約為95s。

表3 Tic-Tac-Toe Endgame Dataset 訓練結果

4 結論與展望

綜上所述，Data Randomized方法（66%為訓練、34%為測試）的成功率多數高于使用Cross Validation方法進行BP人工神經網絡的訓練，數據庫較多的訓練較慢于數據庫較少的訓練，使用Cross Validation方法的訓練時間多數大于Data Randomized方法。BP人工神經網絡對信用卡信息的匹配和篩選具有較為理想的效果，對銀行客戶的信用評估有較好的推薦及參考作用，有利于商業銀行在對申請信用卡用戶的信用評估，及時減小了在辦理信用卡過程中承擔的風險，對金融風險的防控也起了重要的作用，但仍要與信用客戶的其他審核條件相結合，對申請信用卡用戶進行全面管理。

同時，本論文仍存在許多不足的地方，一方面是BP人工神經網絡對銀行客戶的信用評估具有一定的復雜性，程序編寫較為耗時繁瑣，這是復雜性體現的主要原因之一；另一方面，本文僅僅選取了UCI Machine Learning Repository 網站的樣本數據進行研究分析，缺乏廣泛性。再一方面，受到外界環境和客戶的類型等因素的影響，本論文的測試結果存在一定的偏差，只能為商業銀行在信用卡信息評估過程中提供一些想法和思路。

在后續研究中，建議從加大數據庫的容量，增加隱含層的層數，繼續對 BP神經網絡的研究，同時增加對循環神經網絡（Recurrent Neural Networks，簡寫為RNNs）和高階神經網絡（Higher Order Neural Networks，簡寫為HONNs）兩者的研究，將三者結合起來，充分利用三者的優點，從而獲得更強大的學習能力和解決實際問題能力的神經網絡模型。

注釋：

①Credit Approval Data Set，見 http://archive.ics.uci.edu/ml/datasets/Statlog+ (Australian+Credit+Approval)

②Iris Data Set，見http://archive.ics.uci.edu/ml/datasets/Iris

③Tic-Tac-Toe Endgame Data Set，見http://archive.ics.uci.edu/ml/datasets/Tic-Tac-Toe+Endgame

[1] 蔡自興, 劉麗玨, 蔡競峰, 等. 人工智能及其應用[M]. 北京: 清華大學出版社，2016.

[2] George A. Rovithakis, Athanassios G. Malamos, Theodora Varvarigou, et al. Quality Assurance in Networks[C]. Proceedings of the 37th IEEE Conference on Decision & Control Tampa, Florida USA, 1998: 1599-1604.

[3] Hardier, G. Back-Propagation Neural Networks for Ship-Modeling and Control[C]. Eleventh Ship Control System Symposium. Published by Computational Mechanics Publications, 1997: 39-62.

[4] 雷·庫茲韋爾. How to create a mind 人工智能的未來[M]. 杭州：浙江人民出版社，2016.

[5] Knowles A., Lisboa P.G.J., Hussain A., et al. Back-Propagation Neural Networks with Bayesian Confidence Measure for the Prediction of the EUR/USD Exchange Rate[C]. Artificial Neural Networks for Economics and Business, IGI Global, 2011: 48-59.

[6] Chen Y H, Jiang Y L, Xu J X. Dynamic Properties and a New Learning Mechanism in Back Propagation Neural Networks[J]. Neurocomputing, 2013(50): 17-30.

[7] Minati L. Rapid Generation of Biexponential and Diffusional Kurtosis Maps using Back-Propagation Neural Networks: a Preliminary Experience. Short Communication, Magn Reson Mater Phy, 2008: 299–305.

[8] Aitkin M, Foxall R. Statistical Modelling of Artificial Neural Networks using the Back-Propagation[J]. Statistics and Computing, 2009: 227–239.

[9] 韓力群. 人工神經網絡理論、設計及應用[M]. 北京: 化學工業出版社, 2002.