基于大數據處理技術的IT系統實時信息交互判異算法

文/張文舉

銀行卡轉接系統實現了系統間跨行、跨境業務的互聯互通。系統可用性是衡量用戶體驗的基礎指標。交易鏈路上各節點都有發生故障的概率，影響用戶體驗。鑒于此，對全鏈路的交易進行實時監控，變得越來越重要，以便及時發現問題并進行應急處理。

1 信息交互判異現狀

目前， 普遍的判異算法大多基于均值、靜態參數的方法，存在以下幾點不足：

（1）對交換信息數據的轉移缺乏適合判異的轉換及指標衍生處理，數據結構未根據特征的差異化存儲；

（2）現有的數據判異邏輯，缺乏對用戶行為習慣的分類，以及不同性質銀行的業務屬性不同特征差異性化處理；數據判異未充分結合不同時間段趨勢進行實時動態調整；

（3）信息交換數據涉及多個領域，數據的結構、格式、量級均呈現出多元化、快速增長的趨勢，未對來自不同來源的原始數據交互信息進行轉換和過濾及差異化處理。

基于上述現有技術方案的不足，存在以下問題：數據存儲壓力大，硬件資源消耗很大，且系統性能和效率大幅下降，難于對來自不同來源的原始數據交互信息進行有效的處理和深度的挖掘，從而導致誤報、漏報、延時告警的發生，由此可能延誤故障處理時機。

2 信息判異算法設計

為了解決現有技術方案所存在的問題，本文提出了能夠對不同來源的原始數據交互信息進行有效的處理和深度的挖掘，實現基于數據衍生的數據交互信息判異系統及方法。

2.1 主要指標設計

涉及的監控指標主要有四類，根據監控對象的屬性、業務、應用系統需要進行組合使用。

2.1.1 成功率和異常返回碼占比

記回溯時間Δt內交易筆數為n，成功交易筆數為nsucc，異常返回碼i的筆數為ni，則交易成功率異常返回碼占比

2.1.2 TPS波動

記每秒交易筆數為TPS。對回溯周期Δt內的交易筆數n，計算TPS均值記本周期的TPS均值為上一周期的TPS均值為則TPS波動

2.1.3 無交易上送

記當前時間為tcur，最近一筆交易上送時間為tlast，則無交易上送時間為Δtnotrans=tcurtlast；

2.1.4 平均響應時間

對回溯周期Δt內的交易筆數n，記每筆交易k的響應時間為tk，則平均響應時間

圖1

2.2 數據處理系統框架及方法

判異系統架構分為五個功能模塊。

2.2.1 數據轉移

對所有業務通過數據轉移模塊轉移至監控庫，該模塊主要實現根據需要進行異常監控的對象對原始數據過濾采集，去冗后降低存儲數據壓力。

2.2.2 數據轉換及存儲

（1）對轉移來的數據，根據后續數據存儲、數據指標衍生、數據判異及規則優化需要，將不同領域的數據結構從格式、業務標識、傳輸對象等進行統一定義；將非標準化的數據標準化在轉化；將具有一定周期性、偏態的維度通過統計標準化公式進行換算；

（2）對轉換后標準化的數據按照數據源、領域、對象進行分層存儲，避免后續數據衍生、數據查詢進行全表掃描等影響性能的問題。

2.2.3 數據指標衍生

（1）區域：該子模塊根據銀行卡交易地區差異化特點，將數據衍生為分為36個區域指標；

（2）角色：該子模塊根據銀行屬性、交易類別衍生出交易中擔任的不同角色，不同角色所呈現的數據特征不一；

（3）周期：該子模塊按照周期性特點，將數據衍生出不同的窗口化的周期指標；

（4）TPS趨勢：該子模塊根據實時各領域交易曲線（TPS即每秒鐘交易量上升、下降、平滑、深夜），將數據衍生出4個時間片。

2.2.4 數據指標判異

（1）該子模塊將數據衍生模塊生成的指標，按照數據本身所呈現出的規律，對監控對象通過利用聚類將特征相近的對象歸為一類，并根據其業務量、成功率、TPS趨勢對各時間片下業務要素進行分類，建立判異規則等級；

（2）該子模塊根據金融服務標準，對數據判異規則進行定義3類指標：A類為無交易上送，B類為成功率，C類交易量負波動，通過上述規則共生成20萬量級的數據判異指標庫；

（3）該子模塊域監控對象根據自身的數據特征自動匹配其數據判異指標集、獲取各時間片下符合其業務屬性的判異指標，計算相應時間片下數據指標異動情況并輸出判異結果。如圖1所示。

2.2.5 數據指標異常告警

（1）該子模塊將數據判異模塊所輸出的判異結果，通過告警的方式進行系統、web等方式展現，及時通知到相關方；

（2）該子模塊建立了判異指標的有效率評估指標Y1-報警量、Y2-有效率、y3-事件量，并對指標建立基線，當觸發基線將自動計算數據判異衍生指標的特征值，重新生成衍生指標相應的閾值并自動更新。

3 算法應用效果分析

本算法建立的基于實時交換信息的數據判異系統及方法，以符合實際數據特征的結構化方式對數據進行轉換、衍生、存儲，大幅提升了數據判異系統的處理性能及判異有效率，并通過衍生指標建立數據判異規則模塊，在處理對象數據判異的過程中根據數據特征，智能調用符合其自身規律的衍生規則、動態調優閾值，降低了人工干預造成的誤判，實現了秒級數據異常監控的突破，判異有效率達到97%以上。

4 結語

本算法不限于銀行卡領域，在金融、制造等多個領域均可適用。隨著計算機和網絡應用的日益廣泛以及不同領域的業務種類的日益豐富，根據數據交互信息進行異常判別操作以便產生告警的方法和系統變得越來越重要。本算法能夠對來自不同來源的原始數據交互信息進行有效的處理和深度的挖掘，從而更精確地進行異常判別操作，及時發現問題并進行應急處理，大幅提升運維能力。