ATM交易狀態(tài)特征分析與異常檢測

詹秋泉 張森

本文以銀行ATM交易狀態(tài)為研究對象，研究ATM交易狀態(tài)的特征以及交易異常狀態(tài)的檢測，并且對ATM交易出現(xiàn)異常狀態(tài)提出預警。

針對問題（1），首先我們選取業(yè)務量作為ATM交易狀態(tài)特征的評價指標。將本文所提供的每日每分鐘業(yè)務量指標劃分為每日總業(yè)務量指標和日內(nèi)每10分鐘業(yè)務量指標，以此作為判斷不同日期的ATM交易狀態(tài)和不同時間的ATM交易狀態(tài)。運用聚類分析的方法，對不同日期的ATM交易狀態(tài)進行聚類分析，提出春節(jié)前5天、春節(jié)期間7天、工作日（非法定假日）和周末（非法定假日）共4個時期的ATM交易狀態(tài)；同樣運用聚類分析的方法，對不同時間的ATM交易狀態(tài)進行聚類分析，提出上班高峰業(yè)務時間、早間與晚間業(yè)務時間以及夜間低谷業(yè)務時間共3個時間的ATM交易猶態(tài)；

針對問題（2），根據(jù)銀行數(shù)據(jù)中心監(jiān)控系統(tǒng)分析可知，ATM交易系統(tǒng)出現(xiàn)異常或故障主要分為前端交易異常和后端處理異常。具體表現(xiàn)為業(yè)務量陡降、交易成功率低下和交易響應時間過長三個特點。根據(jù)這些特點，我們可以判斷出不同日期和不同時間的ATM交易系統(tǒng)異常狀態(tài)。由此我們建立了不同日期的ATM交易系統(tǒng)異常檢測模型和不同時間的ATM交易系統(tǒng)異常檢測模型。

針對問題（3），由問題（2）建立的ATM交易系統(tǒng)異常檢測模型可以判斷發(fā)生異常的概率，但是該模型僅僅是以1月23日至4月23日共91天的數(shù)據(jù)求解得出的，難以作為日常ATM交易系統(tǒng)異常狀態(tài)的檢測，同時存在較大的偶然性，例如春節(jié)期間所帶來的特殊性。為此，我們應該采集一年的交易數(shù)據(jù)，建立不同日期和不同時間的ATM交易系統(tǒng)異常檢測模型。同時，采用動態(tài)更新的ATM交易系統(tǒng)異常檢測模型，作出更準確、及時的判斷。

最后采用動態(tài)優(yōu)化的思想，將上述的模型進行動態(tài)擬合求解，尋找出更精確、更及時的ATM交易系統(tǒng)異常檢測模型，并對模型進行評價和推廣。

ATM 特征分析

聚類分析 logit異常檢測模型

問題的提出

商業(yè)銀行總行數(shù)據(jù)中心監(jiān)控系統(tǒng)為了實時掌握全行的業(yè)務狀態(tài)，每分鐘對各分行的交易信息進行匯總統(tǒng)計。匯總信息包括業(yè)務量、交易成功率、交易響應時間三個指標。商業(yè)銀行總行數(shù)據(jù)中心監(jiān)控系統(tǒng)通過對每家分行的匯總統(tǒng)計信息做數(shù)據(jù)分析，來捕捉整個前端和后端整體應用系統(tǒng)運行情況以及時發(fā)現(xiàn)異常或故障。常見的故障場景包括但不限于如下情形：

1.分行側(cè)網(wǎng)絡傳輸節(jié)點故障，前端交易無法上送請求，導致業(yè)務量陡降；

2.分行側(cè)參數(shù)數(shù)據(jù)變更或者配置錯誤，數(shù)據(jù)中心后端處理失敗率增加，影響交易成功率指標；

3.數(shù)據(jù)中心后端處理系統(tǒng)異常（如操作系統(tǒng)CPU負荷過大）引起交易處理緩慢，影響交易響應時間指標；

4.數(shù)據(jù)中心后端處理系統(tǒng)應用進程異常，導致交易失敗或響應緩慢。

根據(jù)某商業(yè)銀行ATM應用系統(tǒng)某分行的交易統(tǒng)計數(shù)據(jù)，建立數(shù)學模型解決如下問題：

（1）選擇、提取和分析ATM交易狀態(tài)的特征參數(shù)；

（2）設計一套交易狀態(tài)異常檢測方案，在對該交易系統(tǒng)的應用可用性異常情況下能做到及時報警，同時盡量減少虛警誤報；

（3）設想可增加采集的數(shù)據(jù)。基于擴展數(shù)據(jù)，你能如何提升任務（1）（2）中你達到的目標？

問題的分析

問題（1）需要分析ATM交易狀態(tài)，我們采取分類的思想，以交易量作為判斷指標將ATM交易狀態(tài)劃分為不同的特征狀態(tài)。首先，我們將本文所提供的每日每分鐘業(yè)務量指標劃分為每日總業(yè)務量指標和日內(nèi)每10分鐘業(yè)務量指標，以此作為判斷不同日期的ATM交易狀態(tài)和不同時間的ATM交易狀態(tài)。結(jié)合聚類分析的情況，同時考慮到國內(nèi)春節(jié)前后的特殊性，并參考許元紅[1]（2006）的研究，我們可以初步判斷出本文所給的數(shù)據(jù)受到春節(jié)因素的影響。由此，我們提出春節(jié)前5天、春節(jié)期間7天、工作日（非法定假日）和周末（非法定假日）共4個時期的ATM交易狀態(tài)；再次運用聚類分析的方法，對不同時間的ATM交易狀態(tài)進行聚類分析，提出午間高峰期、正常業(yè)務時間以及夜間低谷業(yè)務時間共3個時間的ATM交易狀態(tài)。并對不同時期各個時間的ATM交易狀態(tài)進行分析，得出結(jié)論。

問題（2）需要設計一套交易狀態(tài)異常檢測方案，首先我們根據(jù)ATM交易系統(tǒng)出現(xiàn)異常的原因和表現(xiàn)特征進行分析，可知ATM交易系統(tǒng)出現(xiàn)異常具體表現(xiàn)為業(yè)務量陡降、交易成功率低下和交易響應時間過長三個特點。基于這些特點，可以初步判斷某一時期和某一時間是否存在異常，并建立ATM交易系統(tǒng)狀態(tài)指標。然后，運用logil回歸模型進行分析，選取交易量、平均交易成功率和平均交易響應時間共3個指標作為解釋變量，對ATM交易系統(tǒng)狀態(tài)指標進行回歸分析，并對模型進行參數(shù)估計。由此建立不同日期的ATM交易系統(tǒng)異常檢測模型和不同時間的ATM交易系統(tǒng)異常檢測模型。最后，運用移動平均法的思想，選取MA3作為下一時期3個解釋變量的預測值，選取MA5作為下一時間3個解釋變量的預鋇J值，對下一時期和下一時間的交易系統(tǒng)是否異常進行檢測，最終得出ATM交易系統(tǒng)出現(xiàn)異常的概率，相應做出預防系統(tǒng)異常工作和系統(tǒng)異常的處理工作。

問題（3），由問題（2）建立的ATM交易系統(tǒng)異常檢測模型可以判斷發(fā)生異常的概率，但是該模型僅僅是以1月23日至4月23日共91天的數(shù)據(jù)求解得出的，難以作為日常ATM交易系統(tǒng)異常狀態(tài)的檢測，同時存在較大的偶然性，例如春節(jié)期間所帶來的特殊性。為此，我們應該采集一年的交易數(shù)據(jù)，建立不同日期和不同時間的ATM交易系統(tǒng)異常檢測模型。同時，采用動態(tài)更新的ATM交易系統(tǒng)異常檢測模型，作出更準確、及時的判斷。

模型的假設

假設ATM交易系統(tǒng)異常一定會導致交易未成功，使得交易成功率下降；

假設ATM交易系統(tǒng)異常一定會導致交易響應時間過長；

假設ATM交易系統(tǒng)異常與交易量無關(guān)；

假設所收集的ATM交易數(shù)據(jù)真實、可靠。

注：由于本文模型均建立在較長時間（超過10分鐘）的統(tǒng)計匯總指標上，因此，不能判定業(yè)務量的驟減，是因為出現(xiàn)系統(tǒng)異常所引起，還是因為該時間內(nèi)沒有發(fā)生交易所引起。所以，假定ATM交易系統(tǒng)異常與交易量無關(guān)。

模型建立與求解

（1）ATM交易狀態(tài)特征分析

1.數(shù)據(jù)預處理

由于本文所提供的數(shù)據(jù)為每日每分鐘業(yè)務量統(tǒng)計數(shù)據(jù)，一共有131013個樣本（部分時期的少數(shù)時間內(nèi)為無交易狀態(tài)），其樣本總量過大，不便于整體分析。所以，我們將所給數(shù)據(jù)劃分兩類數(shù)據(jù)，一是為以天為單位的交易數(shù)據(jù)，將每天所有分鐘的數(shù)據(jù)匯總，稱之為不同日期的交易數(shù)據(jù)；二是以10分鐘作為間隔單位的交易數(shù)據(jù)，將每10分鐘所有天數(shù)的數(shù)據(jù)進行匯總，稱之為不同時間的交易數(shù)據(jù)。具體過程采用MATLAB2014a版本軟件實現(xiàn)。

在進行數(shù)據(jù)處理之前，涉及到兩種數(shù)據(jù)處理問題，一是數(shù)據(jù)結(jié)構(gòu)處理，二是數(shù)據(jù)類型處理。具體處理如下：

（1）文本合并：將日期、時間文本數(shù)據(jù)前添加文本”1”，如日期”0123”轉(zhuǎn)化為日期”10123”，時間”0000”轉(zhuǎn)化為”10000”；

（2）數(shù)值類型轉(zhuǎn)化：將上述處理好的文本類型數(shù)據(jù)轉(zhuǎn)化為數(shù)值類型數(shù)據(jù)，直接引用excel中VALiIE（text）函數(shù)轉(zhuǎn)化處理即可。

2.ATM交易狀態(tài)描述性統(tǒng)計分析

根據(jù)上述的數(shù)據(jù)預處理，我們可以得到兩種類型的數(shù)據(jù)，一是不同日期的交易數(shù)據(jù)；二是不同時間的交易數(shù)據(jù)。借助MATLAB軟件，可以得到這兩種類型的交易數(shù)據(jù)情況，這樣就可以推出不同日期的交易特征以及不同時間的交易特征。具體如下：

不同日期的交易特征具體表現(xiàn)為：1月23日～1月27日，處于日交易量高峰時期，平均每天交易量為1566472筆，最高交易量達到1836189筆；1月28日～2月3日，處于日交易量低谷時期，平均每天交易量為541942筆，最低交易量為379700筆；2月4日～4月23日，處于正常交易量時期，平均每天交易量為831076筆，這一時期的日交易量最高可達1001081筆，最低為612968筆，且表現(xiàn)出明顯的周期波動，據(jù)此可初步判斷為工作日與周末因素所產(chǎn)生的影響。

不同時間的交易特征具體表現(xiàn)為：凌晨12點～早上6點，處于凌晨交易量低谷時間，平均每10分鐘的交易量為32筆，最低交易量為14筆；早上6點一早上9點，處于早間正常交易量時間，平均交易量為433筆，且隨時間呈現(xiàn)出遞增的趨勢；早上9點～下午6點，處于日間高峰交易量時間，平均交易量為1082筆，其中午間1小時（11點30分-12點30分）呈現(xiàn)小幅下降，其交易量平均為956筆；下午6點～晚間10點，處于晚間正常交易量時間，平均交易量為660筆，且隨時間呈現(xiàn)出遞減的趨勢；晚間10點～凌晨12點，處于夜間交易量低谷時間，平均交易量為139筆，同時隨時間呈現(xiàn)出遞減的趨勢。

3.ATM交易狀態(tài)聚類分析

根據(jù)上述描述性統(tǒng)計的初步分析，我們大致可以將不同日期的交易狀態(tài)分為3個時期，將不同時間的交易狀態(tài)分為5個時間段。不同時期和不同時間的交易量呈現(xiàn)出不一樣的交易狀態(tài)特征。為了進一步更精確的分析，我們采用聚類分析的方法，對上述不同日期的交易數(shù)據(jù)和不同時間的交易數(shù)據(jù)進行分析。

4.ATM交易狀態(tài)的聚類結(jié)果分析

根據(jù)聚類分析結(jié)果，綜合考慮國內(nèi)春節(jié)前后的特殊性，以及工作日與周末之間的差異，最終將不同時期的ATM交易狀態(tài)劃分為4個時期，具體ATM交易狀態(tài)特征如表（1）所示；綜合考慮日間工作時間以及作息時間，最終將不同時間的ATM交易狀態(tài)劃分為3個時間段，具體ATM交易狀態(tài)特征如表（1）所示。

（2）ATM交易系統(tǒng)異常檢測模型

1 .ATM交易系統(tǒng)發(fā)生異常的原因

根據(jù)商業(yè)銀行數(shù)據(jù)中心監(jiān)控系統(tǒng)通過對每家分行的匯總統(tǒng)計信息做數(shù)據(jù)分析，對每家分行的ATM交易系統(tǒng)整體前端和后端整體運行情況進行檢測，統(tǒng)計分析可知，常見的故障場景主要分為以下幾種情形：

第一，分行側(cè)網(wǎng)絡傳輸節(jié)點故障，前端交易無法上送請求，導致業(yè)務量陡降；

第二，分行側(cè)參數(shù)數(shù)據(jù)變更或者配置錯誤，數(shù)據(jù)中心后端處理失敗率增加，影響交易成功率指標；

第三，數(shù)據(jù)中心后端處理系統(tǒng)異常（如操作系統(tǒng)CPU負荷過大）引起交易處理緩慢，影響交易響應時間指標；

第四，數(shù)據(jù)中心后端處理系統(tǒng)應用進程異常，導致交易失敗或響應緩慢。

2.ATM交易系統(tǒng)異常狀態(tài)判別

根據(jù)上述ATM交易系統(tǒng)發(fā)生異常的原因分析，可以提出3個交易系統(tǒng)出現(xiàn)異常的判別標準。分別為：第一，該時間內(nèi)的業(yè)務量陡降；第二，該時間內(nèi)的交易成功率較低；第三，該時間內(nèi)的交易響應時間過長。同時，由于本文模型均建立在較長時間（超過10分鐘）的統(tǒng)計匯總指標上進行研究，因此，難以判定業(yè)務量的驟減，是因為出現(xiàn)系統(tǒng)異常所引起，還是因為該時間內(nèi)沒有發(fā)生交易所引起。由此，我們假定ATM交易系統(tǒng)異常與交易量無關(guān)，本文是基于該假定進行研究的。所以，本文最終判別ATM交易系統(tǒng)是否出現(xiàn)異常的標準有兩個，一是該時間內(nèi)的交易成功率較低；二是該時間內(nèi)的交易響應時間過長。

按照上述判別ATM交易狀態(tài)異常狀態(tài)的思路，我們可以建立不同時期和不同時間的ATM交易系統(tǒng)狀態(tài)指標TS，和TSi。由此，我們可以得出不同時期和不同時間的ATM交易系統(tǒng)異常狀態(tài)情況。

3.ATM交易系統(tǒng)異常檢測模型

根據(jù)上述分析，可知引起ATM交易系統(tǒng)異常的因素主要為交易成功率指標和交易響應時間指標，同時，依據(jù)ATM交易系統(tǒng)異常狀態(tài)判別分析，我們可以得到ATM交易系統(tǒng)異常狀態(tài)指標。基于上述分析，最終建立不同日期的ATM交易系統(tǒng)異常檢測模型和不同時間的ATM交易系統(tǒng)異常檢測模型。模型設定如下：

其中P表示“TS=1”發(fā)生的概率，即發(fā)生ATM交易系統(tǒng)異常的概率；則1-P表示ATM交易系統(tǒng)未發(fā)生異常的概率；模型中參數(shù)α是常數(shù)項，β1、β2分別為影響ATM交易系統(tǒng)發(fā)生異常的系數(shù)，ε為干擾項。

根據(jù)上述模型設定，本文運用logit回歸模型進行分析，選取平均交易成功率和平均交易響應時間共2個指標作為解釋變量，對ATM交易系統(tǒng)狀態(tài)指標進行回歸分析，運用STATA軟件對模型進行參數(shù)估計。

根據(jù)logit回歸分析結(jié)果，我們可以得出不同時期和不同時間的ATM交易系統(tǒng)異常檢測模型如下：ln TSt=1895.231-2002.572*successratet+0.2049responsetimetlnTSi=280.9004-303.8507*successratel+0.0909responsetimei

根據(jù)上述ATM交易系統(tǒng)異常檢測模型，即可判斷不同時期和不同時間發(fā)生異常的概率，進而能夠?qū)υ摻灰紫到y(tǒng)發(fā)生異常情況及時報警。最后運用移動平均法的思想，選取MA3作為下一時期2個解釋變量的預測值，選取MA5作為下一時間2個解釋變量的預測值，從而能夠提早對下一時期和下一時間的交易系統(tǒng)是否異常進行檢測，最終得出ATM交易系統(tǒng)發(fā)生異常的概率，相應做出預防系統(tǒng)異常工作和系統(tǒng)異常的處理工作。

模型評價及改進

（1）模型評價

1.本文對ATM交易狀態(tài)特征的分析，采用聚類分析方法，避免了人為主觀的臆斷，首先通過描述性統(tǒng)計分析的思路，初步得出ATM交易狀態(tài)的一般特征，進而通過聚類分析的方法，客觀地反映出ATM交易狀態(tài)的具體特征。綜合比對初步得出的結(jié)論與客觀運算求出的結(jié)論，可知聚類分析的結(jié)果基本與事實相符，且具有更高的精確性。

2.本文對ATM交易系統(tǒng)異常狀態(tài)的檢測，按照原因分析、異常判別以及實證研究的思路，運用logit模型進行擬合求解，得到具體的ATM交易系統(tǒng)異常狀態(tài)檢測模型，且相應的參數(shù)估計結(jié)果與事實相符，即交易成功率與系統(tǒng)發(fā)生異常的概率呈現(xiàn)負相關(guān)關(guān)系，交易響應時間與系統(tǒng)發(fā)生異常的概率呈現(xiàn)正相關(guān)關(guān)系。該結(jié)論具備一定客觀性與可靠性。

（2）模型改進

1.本文運用的聚類分析，直接采用k-means聚類的思想，是因為該聚類方法對異常值較為敏感，但是也容易受到異常值的影響，同時需要提前設定類別的個數(shù)，不能自主識別最優(yōu)聚類結(jié)果。因此，可通過嘗試其他聚類的思想，多次進行聚類分析，尋找最優(yōu)的聚類結(jié)果。

2.本文對ATM交易系統(tǒng)出現(xiàn)異常的判別，是基于ATM交易系統(tǒng)異常檢測模型，而想要對下一時期和下一時間的交易系統(tǒng)狀態(tài)進行異常檢測，必須提前對下一時期與下一時間的交易成功率和交易響應時間進行預測，因此，為了更加精確、及時地對ATM交易系統(tǒng)進行異常識別，必須要對交易成功率和交易響應時間指標的預測模型進行改進及優(yōu)化。

[1]許元紅，吳揚揚.基于聚類方法的ATM交易量分析[J].金融科技時代，2006，14（1）：56-58.

[2]方開泰等.聚類分析[M].地質(zhì)出版社，1982.

[3]費宇.多元統(tǒng)計分析[M].中國人民大學出版社，2014.