ATM交易狀態特征分析與異常檢測

詹秋泉 張森

本文以銀行ATM交易狀態為研究對象，研究ATM交易狀態的特征以及交易異常狀態的檢測，并且對ATM交易出現異常狀態提出預警。

針對問題（1），首先我們選取業務量作為ATM交易狀態特征的評價指標。將本文所提供的每日每分鐘業務量指標劃分為每日總業務量指標和日內每10分鐘業務量指標，以此作為判斷不同日期的ATM交易狀態和不同時間的ATM交易狀態。運用聚類分析的方法，對不同日期的ATM交易狀態進行聚類分析，提出春節前5天、春節期間7天、工作日（非法定假日）和周末（非法定假日）共4個時期的ATM交易狀態；同樣運用聚類分析的方法，對不同時間的ATM交易狀態進行聚類分析，提出上班高峰業務時間、早間與晚間業務時間以及夜間低谷業務時間共3個時間的ATM交易猶態；

針對問題（2），根據銀行數據中心監控系統分析可知，ATM交易系統出現異常或故障主要分為前端交易異常和后端處理異常。具體表現為業務量陡降、交易成功率低下和交易響應時間過長三個特點。根據這些特點，我們可以判斷出不同日期和不同時間的ATM交易系統異常狀態。由此我們建立了不同日期的ATM交易系統異常檢測模型和不同時間的ATM交易系統異常檢測模型。

針對問題（3），由問題（2）建立的ATM交易系統異常檢測模型可以判斷發生異常的概率，但是該模型僅僅是以1月23日至4月23日共91天的數據求解得出的，難以作為日常ATM交易系統異常狀態的檢測，同時存在較大的偶然性，例如春節期間所帶來的特殊性。為此，我們應該采集一年的交易數據，建立不同日期和不同時間的ATM交易系統異常檢測模型。同時，采用動態更新的ATM交易系統異常檢測模型，作出更準確、及時的判斷。

最后采用動態優化的思想，將上述的模型進行動態擬合求解，尋找出更精確、更及時的ATM交易系統異常檢測模型，并對模型進行評價和推廣。

ATM 特征分析

聚類分析 logit異常檢測模型

問題的提出

商業銀行總行數據中心監控系統為了實時掌握全行的業務狀態，每分鐘對各分行的交易信息進行匯總統計。匯總信息包括業務量、交易成功率、交易響應時間三個指標。商業銀行總行數據中心監控系統通過對每家分行的匯總統計信息做數據分析，來捕捉整個前端和后端整體應用系統運行情況以及時發現異常或故障。常見的故障場景包括但不限于如下情形：

1.分行側網絡傳輸節點故障，前端交易無法上送請求，導致業務量陡降；

2.分行側參數數據變更或者配置錯誤，數據中心后端處理失敗率增加，影響交易成功率指標；

3.數據中心后端處理系統異常（如操作系統CPU負荷過大）引起交易處理緩慢，影響交易響應時間指標；

4.數據中心后端處理系統應用進程異常，導致交易失敗或響應緩慢。

根據某商業銀行ATM應用系統某分行的交易統計數據，建立數學模型解決如下問題：

（1）選擇、提取和分析ATM交易狀態的特征參數；

（2）設計一套交易狀態異常檢測方案，在對該交易系統的應用可用性異常情況下能做到及時報警，同時盡量減少虛警誤報；

（3）設想可增加采集的數據。基于擴展數據，你能如何提升任務（1）（2）中你達到的目標？

問題的分析

問題（1）需要分析ATM交易狀態，我們采取分類的思想，以交易量作為判斷指標將ATM交易狀態劃分為不同的特征狀態。首先，我們將本文所提供的每日每分鐘業務量指標劃分為每日總業務量指標和日內每10分鐘業務量指標，以此作為判斷不同日期的ATM交易狀態和不同時間的ATM交易狀態。結合聚類分析的情況，同時考慮到國內春節前后的特殊性，并參考許元紅[1]（2006）的研究，我們可以初步判斷出本文所給的數據受到春節因素的影響。由此，我們提出春節前5天、春節期間7天、工作日（非法定假日）和周末（非法定假日）共4個時期的ATM交易狀態；再次運用聚類分析的方法，對不同時間的ATM交易狀態進行聚類分析，提出午間高峰期、正常業務時間以及夜間低谷業務時間共3個時間的ATM交易狀態。并對不同時期各個時間的ATM交易狀態進行分析，得出結論。

問題（2）需要設計一套交易狀態異常檢測方案，首先我們根據ATM交易系統出現異常的原因和表現特征進行分析，可知ATM交易系統出現異常具體表現為業務量陡降、交易成功率低下和交易響應時間過長三個特點。基于這些特點，可以初步判斷某一時期和某一時間是否存在異常，并建立ATM交易系統狀態指標。然后，運用logil回歸模型進行分析，選取交易量、平均交易成功率和平均交易響應時間共3個指標作為解釋變量，對ATM交易系統狀態指標進行回歸分析，并對模型進行參數估計。由此建立不同日期的ATM交易系統異常檢測模型和不同時間的ATM交易系統異常檢測模型。最后，運用移動平均法的思想，選取MA3作為下一時期3個解釋變量的預測值，選取MA5作為下一時間3個解釋變量的預鋇J值，對下一時期和下一時間的交易系統是否異常進行檢測，最終得出ATM交易系統出現異常的概率，相應做出預防系統異常工作和系統異常的處理工作。

問題（3），由問題（2）建立的ATM交易系統異常檢測模型可以判斷發生異常的概率，但是該模型僅僅是以1月23日至4月23日共91天的數據求解得出的，難以作為日常ATM交易系統異常狀態的檢測，同時存在較大的偶然性，例如春節期間所帶來的特殊性。為此，我們應該采集一年的交易數據，建立不同日期和不同時間的ATM交易系統異常檢測模型。同時，采用動態更新的ATM交易系統異常檢測模型，作出更準確、及時的判斷。

模型的假設

假設ATM交易系統異常一定會導致交易未成功，使得交易成功率下降；

假設ATM交易系統異常一定會導致交易響應時間過長；

假設ATM交易系統異常與交易量無關；

假設所收集的ATM交易數據真實、可靠。

注：由于本文模型均建立在較長時間（超過10分鐘）的統計匯總指標上，因此，不能判定業務量的驟減，是因為出現系統異常所引起，還是因為該時間內沒有發生交易所引起。所以，假定ATM交易系統異常與交易量無關。

模型建立與求解

（1）ATM交易狀態特征分析

1.數據預處理

由于本文所提供的數據為每日每分鐘業務量統計數據，一共有131013個樣本（部分時期的少數時間內為無交易狀態），其樣本總量過大，不便于整體分析。所以，我們將所給數據劃分兩類數據，一是為以天為單位的交易數據，將每天所有分鐘的數據匯總，稱之為不同日期的交易數據；二是以10分鐘作為間隔單位的交易數據，將每10分鐘所有天數的數據進行匯總，稱之為不同時間的交易數據。具體過程采用MATLAB2014a版本軟件實現。

在進行數據處理之前，涉及到兩種數據處理問題，一是數據結構處理，二是數據類型處理。具體處理如下：

（1）文本合并：將日期、時間文本數據前添加文本”1”，如日期”0123”轉化為日期”10123”，時間”0000”轉化為”10000”；

（2）數值類型轉化：將上述處理好的文本類型數據轉化為數值類型數據，直接引用excel中VALiIE（text）函數轉化處理即可。

2.ATM交易狀態描述性統計分析

根據上述的數據預處理，我們可以得到兩種類型的數據，一是不同日期的交易數據；二是不同時間的交易數據。借助MATLAB軟件，可以得到這兩種類型的交易數據情況，這樣就可以推出不同日期的交易特征以及不同時間的交易特征。具體如下：

不同日期的交易特征具體表現為：1月23日～1月27日，處于日交易量高峰時期，平均每天交易量為1566472筆，最高交易量達到1836189筆；1月28日～2月3日，處于日交易量低谷時期，平均每天交易量為541942筆，最低交易量為379700筆；2月4日～4月23日，處于正常交易量時期，平均每天交易量為831076筆，這一時期的日交易量最高可達1001081筆，最低為612968筆，且表現出明顯的周期波動，據此可初步判斷為工作日與周末因素所產生的影響。

不同時間的交易特征具體表現為：凌晨12點～早上6點，處于凌晨交易量低谷時間，平均每10分鐘的交易量為32筆，最低交易量為14筆；早上6點一早上9點，處于早間正常交易量時間，平均交易量為433筆，且隨時間呈現出遞增的趨勢；早上9點～下午6點，處于日間高峰交易量時間，平均交易量為1082筆，其中午間1小時（11點30分-12點30分）呈現小幅下降，其交易量平均為956筆；下午6點～晚間10點，處于晚間正常交易量時間，平均交易量為660筆，且隨時間呈現出遞減的趨勢；晚間10點～凌晨12點，處于夜間交易量低谷時間，平均交易量為139筆，同時隨時間呈現出遞減的趨勢。

3.ATM交易狀態聚類分析

根據上述描述性統計的初步分析，我們大致可以將不同日期的交易狀態分為3個時期，將不同時間的交易狀態分為5個時間段。不同時期和不同時間的交易量呈現出不一樣的交易狀態特征。為了進一步更精確的分析，我們采用聚類分析的方法，對上述不同日期的交易數據和不同時間的交易數據進行分析。

4.ATM交易狀態的聚類結果分析

根據聚類分析結果，綜合考慮國內春節前后的特殊性，以及工作日與周末之間的差異，最終將不同時期的ATM交易狀態劃分為4個時期，具體ATM交易狀態特征如表（1）所示；綜合考慮日間工作時間以及作息時間，最終將不同時間的ATM交易狀態劃分為3個時間段，具體ATM交易狀態特征如表（1）所示。

（2）ATM交易系統異常檢測模型

1 .ATM交易系統發生異常的原因

根據商業銀行數據中心監控系統通過對每家分行的匯總統計信息做數據分析，對每家分行的ATM交易系統整體前端和后端整體運行情況進行檢測，統計分析可知，常見的故障場景主要分為以下幾種情形：

第一，分行側網絡傳輸節點故障，前端交易無法上送請求，導致業務量陡降；

第二，分行側參數數據變更或者配置錯誤，數據中心后端處理失敗率增加，影響交易成功率指標；

第三，數據中心后端處理系統異常（如操作系統CPU負荷過大）引起交易處理緩慢，影響交易響應時間指標；

第四，數據中心后端處理系統應用進程異常，導致交易失敗或響應緩慢。

2.ATM交易系統異常狀態判別

根據上述ATM交易系統發生異常的原因分析，可以提出3個交易系統出現異常的判別標準。分別為：第一，該時間內的業務量陡降；第二，該時間內的交易成功率較低；第三，該時間內的交易響應時間過長。同時，由于本文模型均建立在較長時間（超過10分鐘）的統計匯總指標上進行研究，因此，難以判定業務量的驟減，是因為出現系統異常所引起，還是因為該時間內沒有發生交易所引起。由此，我們假定ATM交易系統異常與交易量無關，本文是基于該假定進行研究的。所以，本文最終判別ATM交易系統是否出現異常的標準有兩個，一是該時間內的交易成功率較低；二是該時間內的交易響應時間過長。

按照上述判別ATM交易狀態異常狀態的思路，我們可以建立不同時期和不同時間的ATM交易系統狀態指標TS，和TSi。由此，我們可以得出不同時期和不同時間的ATM交易系統異常狀態情況。

3.ATM交易系統異常檢測模型

根據上述分析，可知引起ATM交易系統異常的因素主要為交易成功率指標和交易響應時間指標，同時，依據ATM交易系統異常狀態判別分析，我們可以得到ATM交易系統異常狀態指標。基于上述分析，最終建立不同日期的ATM交易系統異常檢測模型和不同時間的ATM交易系統異常檢測模型。模型設定如下：

其中P表示“TS=1”發生的概率，即發生ATM交易系統異常的概率；則1-P表示ATM交易系統未發生異常的概率；模型中參數α是常數項，β1、β2分別為影響ATM交易系統發生異常的系數，ε為干擾項。

根據上述模型設定，本文運用logit回歸模型進行分析，選取平均交易成功率和平均交易響應時間共2個指標作為解釋變量，對ATM交易系統狀態指標進行回歸分析，運用STATA軟件對模型進行參數估計。

根據logit回歸分析結果，我們可以得出不同時期和不同時間的ATM交易系統異常檢測模型如下：ln TSt=1895.231-2002.572*successratet+0.2049responsetimetlnTSi=280.9004-303.8507*successratel+0.0909responsetimei

根據上述ATM交易系統異常檢測模型，即可判斷不同時期和不同時間發生異常的概率，進而能夠對該交易系統發生異常情況及時報警。最后運用移動平均法的思想，選取MA3作為下一時期2個解釋變量的預測值，選取MA5作為下一時間2個解釋變量的預測值，從而能夠提早對下一時期和下一時間的交易系統是否異常進行檢測，最終得出ATM交易系統發生異常的概率，相應做出預防系統異常工作和系統異常的處理工作。

模型評價及改進

（1）模型評價

1.本文對ATM交易狀態特征的分析，采用聚類分析方法，避免了人為主觀的臆斷，首先通過描述性統計分析的思路，初步得出ATM交易狀態的一般特征，進而通過聚類分析的方法，客觀地反映出ATM交易狀態的具體特征。綜合比對初步得出的結論與客觀運算求出的結論，可知聚類分析的結果基本與事實相符，且具有更高的精確性。

2.本文對ATM交易系統異常狀態的檢測，按照原因分析、異常判別以及實證研究的思路，運用logit模型進行擬合求解，得到具體的ATM交易系統異常狀態檢測模型，且相應的參數估計結果與事實相符，即交易成功率與系統發生異常的概率呈現負相關關系，交易響應時間與系統發生異常的概率呈現正相關關系。該結論具備一定客觀性與可靠性。

（2）模型改進

1.本文運用的聚類分析，直接采用k-means聚類的思想，是因為該聚類方法對異常值較為敏感，但是也容易受到異常值的影響，同時需要提前設定類別的個數，不能自主識別最優聚類結果。因此，可通過嘗試其他聚類的思想，多次進行聚類分析，尋找最優的聚類結果。

2.本文對ATM交易系統出現異常的判別，是基于ATM交易系統異常檢測模型，而想要對下一時期和下一時間的交易系統狀態進行異常檢測，必須提前對下一時期與下一時間的交易成功率和交易響應時間進行預測，因此，為了更加精確、及時地對ATM交易系統進行異常識別，必須要對交易成功率和交易響應時間指標的預測模型進行改進及優化。

[1]許元紅，吳揚揚.基于聚類方法的ATM交易量分析[J].金融科技時代，2006，14（1）：56-58.

[2]方開泰等.聚類分析[M].地質出版社，1982.

[3]費宇.多元統計分析[M].中國人民大學出版社，2014.