網(wǎng)上銀行客戶感知監(jiān)測(cè)預(yù)警系統(tǒng)方案設(shè)計(jì)

牛率仁

[摘 要] 監(jiān)測(cè)客戶感知并及時(shí)對(duì)異常流量作出預(yù)警非常重要，如果銀行根本就不知道自己的客戶面對(duì)的是一個(gè)怎樣的系統(tǒng)，自己的客戶感受到的是怎樣一種情況，客戶何時(shí)在使用系統(tǒng)時(shí)遇到了麻煩，那么提高系統(tǒng)性能，改善客戶體驗(yàn)，提高服務(wù)質(zhì)量將是一句空談。文章通過最貼近終端用戶的預(yù)警系統(tǒng)，靈敏反饋用戶感知的每一次波動(dòng)，使運(yùn)維人員提前發(fā)現(xiàn)并處理系統(tǒng)運(yùn)行中的隱患，在故障還未發(fā)生時(shí)就將其扼殺在萌芽狀態(tài)，減少故障發(fā)生頻率，有效控制風(fēng)險(xiǎn)，轉(zhuǎn)變被動(dòng)接收用戶反饋為主動(dòng)監(jiān)測(cè)服務(wù)質(zhì)量，提高故障發(fā)現(xiàn)主動(dòng)性。

[關(guān)鍵詞] 網(wǎng)上銀行；監(jiān)測(cè)預(yù)警；方案

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 15. 076

[中圖分類號(hào)] TP311 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2017）15- 0169- 03

0 前 言

為了獲悉網(wǎng)上銀行客戶在使用網(wǎng)上銀行系統(tǒng)時(shí)的感知情況，需要部署監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)用戶感知數(shù)據(jù)。分析常用的數(shù)據(jù)采集方案如下。

主動(dòng)模擬撥測(cè)：適合于網(wǎng)絡(luò)帶來的問題，是采用樣本監(jiān)控分析的方式，更適合互聯(lián)網(wǎng)應(yīng)用，是主動(dòng)監(jiān)控方式。

頁面插入代碼：侵入式，需要在瀏覽器上嵌入代碼，是被動(dòng)監(jiān)控方式。

客戶端插件采集：侵入式，需要開發(fā)部門配合，需在頁面代碼中插入插件，可以實(shí)現(xiàn)代碼級(jí)的監(jiān)控，效果依賴開發(fā)部門的支持。

應(yīng)用服務(wù)器端代理：侵入式，需要開發(fā)部門配合，可以實(shí)現(xiàn)代碼級(jí)的監(jiān)控，效果依賴開發(fā)部門的支持。

服務(wù)端旁路：非侵入式，運(yùn)維部門可以推廣使用，能獲得服務(wù)及應(yīng)用、交易級(jí)別的監(jiān)控。

綜上，基于傳統(tǒng)銀行現(xiàn)存系統(tǒng)多，開發(fā)部門和運(yùn)維部門相對(duì)獨(dú)立，各司其職，運(yùn)維開發(fā)能力相對(duì)較弱的現(xiàn)狀，服務(wù)端旁路的監(jiān)測(cè)方式更適合優(yōu)先引入解決銀行應(yīng)用系統(tǒng)的性能問題。

1 監(jiān)測(cè)預(yù)警系統(tǒng)整體設(shè)計(jì)

監(jiān)測(cè)預(yù)警系統(tǒng)網(wǎng)絡(luò)流量分析系統(tǒng)主要由網(wǎng)絡(luò)探針、大數(shù)據(jù)平臺(tái)和展現(xiàn)平臺(tái)三部分共同組成。

1.1 探針設(shè)備

主要作用是對(duì)獲取的數(shù)據(jù)包信息進(jìn)行實(shí)時(shí)分析，并將解析的數(shù)據(jù)發(fā)送大數(shù)據(jù)平臺(tái)。

1.2 大數(shù)據(jù)平臺(tái)

分布式實(shí)時(shí)統(tǒng)計(jì)、交互式查詢平臺(tái)提供強(qiáng)大計(jì)算能力。主要進(jìn)行實(shí)時(shí)統(tǒng)計(jì)功能，獲取網(wǎng)上銀行交易性能指標(biāo)：交易量、交易響應(yīng)率、交易成功率、交易響應(yīng)時(shí)間，并能快速計(jì)算得到動(dòng)態(tài)基線，對(duì)客戶感知的異常數(shù)據(jù)流進(jìn)行快速預(yù)警。

1.3 監(jiān)控系統(tǒng)展現(xiàn)平臺(tái)

提供企業(yè)級(jí)的統(tǒng)一管理監(jiān)控界面，能對(duì)多臺(tái)捕獲設(shè)備所監(jiān)測(cè)的數(shù)據(jù)進(jìn)行統(tǒng)一、關(guān)聯(lián)、對(duì)比分析，并提供長期可歸檔的集中報(bào)表。

2 功能模塊

通過探針采集到的數(shù)據(jù)均是二進(jìn)制原始比特流，解碼平臺(tái)的主要功能是實(shí)時(shí)捕獲原始數(shù)據(jù)，將其封裝為pcap格式數(shù)據(jù)包并解碼成具備可讀性的原始交易報(bào)文，之后進(jìn)行解析得到相應(yīng)的監(jiān)控?cái)?shù)據(jù)；將得到的數(shù)據(jù)發(fā)送大數(shù)據(jù)平臺(tái)進(jìn)行統(tǒng)計(jì)分析，同時(shí)監(jiān)控?cái)?shù)據(jù)和原始數(shù)據(jù)包也會(huì)送往存儲(chǔ)平臺(tái)進(jìn)行存儲(chǔ)；最后由數(shù)據(jù)展現(xiàn)平臺(tái)對(duì)分析結(jié)果和監(jiān)控指標(biāo)進(jìn)行可視化的展現(xiàn)。

2.1 解碼平臺(tái)架構(gòu)

解碼集群采用分布式架構(gòu)，主要分三個(gè)模塊，管理端Manager，服務(wù)端Server，客戶端Client。Server與Client都是分布式的程序，每個(gè)Manager下掛多個(gè)Server，每個(gè)Server下掛多個(gè)Client。

服務(wù)端Server 主要負(fù)責(zé)網(wǎng)絡(luò)流量的抓取及原始數(shù)據(jù)的pcap文件的生成，將業(yè)務(wù)流量均衡地分發(fā)給注冊(cè)的Client節(jié)點(diǎn)。

客戶端Client主要負(fù)責(zé)接受綁定Server發(fā)送過來的業(yè)務(wù)數(shù)據(jù)，進(jìn)行TCP還原及業(yè)務(wù)層解碼還原。通過對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)層還原，相關(guān)工作人員可以看到網(wǎng)上銀行客戶的每筆交易數(shù)據(jù)，了解客戶交易情況。

2.2 解碼平臺(tái)配置

2.2.1 硬件環(huán)境

CPU：2.4 GHz ， 16核

內(nèi)存：64 G

網(wǎng)卡：2個(gè)1 000 M以太網(wǎng)接口

磁盤：3×300 GB

RAID配置：RAID 5

2.2.2 軟件環(huán)境

操作系統(tǒng)：Linux 64位 CentOS 6.5版本

JAVA：jdk 1.7.0_75

Derby數(shù)據(jù)庫：Apache Derby 10.12

Server內(nèi)存分配：10 GB，Client內(nèi)存分配：10 GB

2.2.3 性能指標(biāo)

吞吐量：1 Gbps，Server個(gè)數(shù)：1，Client個(gè)數(shù)：4

2.2.4 安全策略

CodeMeter運(yùn)行時(shí)：CodeMeter-6.20.2147-500

程序保護(hù)外殼：AxProtector-9.40.2147-500

2.3 HDFS/HBase

存儲(chǔ)選型涉及關(guān)鍵問題。

根據(jù)網(wǎng)上銀行客戶感知數(shù)據(jù)分析業(yè)務(wù)要求，構(gòu)建分布式存儲(chǔ)數(shù)據(jù)庫以支撐分布式計(jì)算平臺(tái)，用來存儲(chǔ)采集的原始數(shù)據(jù)以及運(yùn)算結(jié)果。存儲(chǔ)設(shè)備應(yīng)滿足以下要求。

（1）流數(shù)據(jù)讀寫，實(shí)時(shí)的讀、寫大規(guī)模數(shù)據(jù)；

（2）擴(kuò)展性，支持線性擴(kuò)展，應(yīng)對(duì)數(shù)據(jù)量的持續(xù)增長；

（3）性價(jià)比，對(duì)集群服務(wù)器沒有配置要求，可以使用低廉配置搭建集群；

（4）可靠性，某臺(tái)服務(wù)器宕機(jī)，不影響數(shù)據(jù)的完整性。

數(shù)據(jù)庫HBase是一個(gè)基于列模式的映射數(shù)據(jù)庫，它只能表示很簡單的“鍵-數(shù)據(jù)”的映射關(guān)系，大大簡化了傳統(tǒng)的關(guān)系數(shù)據(jù)庫。它在海量存儲(chǔ)和互聯(lián)網(wǎng)應(yīng)用需求上更勝一籌。它靈活的分布式架構(gòu)使其在利用廉價(jià)的硬件設(shè)備組建大數(shù)據(jù)倉庫上如魚得水。HBase是針對(duì)以字符為基礎(chǔ)的應(yīng)用而開發(fā)出來的數(shù)據(jù)庫，適應(yīng)互聯(lián)網(wǎng)應(yīng)用的特點(diǎn)。endprint

2.4 Kafka

眾所周知，在雙十一或者春節(jié)的時(shí)候，因?yàn)殡p十一的秒殺和春節(jié)網(wǎng)上購買火車票，會(huì)導(dǎo)致大量客戶使用網(wǎng)上銀行，可是像突發(fā)量這樣的情況很少見，的確沒有必要以突發(fā)流量峰值訪問為標(biāo)準(zhǔn)來投入資源，因?yàn)檫@樣對(duì)軟硬件來說浪費(fèi)都是巨大的。但是在訪問量劇增的情況下，應(yīng)用仍然需要繼續(xù)發(fā)揮作用，為了不使關(guān)鍵組件因?yàn)橥话l(fā)的超負(fù)荷的請(qǐng)求而完全崩潰，使用消息隊(duì)列也是必須的。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。

選用Kafka的原因：

（1）冗余。冗余方式主要是為了避免數(shù)據(jù)丟失。把一個(gè)消息從消息隊(duì)列中刪除之前，要明確消息已被處理完成，否則這個(gè)消息將被安全的保存直到使用完畢。

（2）擴(kuò)展性。在不改變代碼、不調(diào)節(jié)參數(shù)的情況下，只需要增加處理過程，就可以增大消息入隊(duì)和處理的頻率，這是因?yàn)橄㈥?duì)列解耦了處理過程。

（3）靈活性與峰值處理能力。因?yàn)椴扇∠㈥?duì)列機(jī)制，Kafka具有很好的靈活性和峰值處理能力。

（4）可恢復(fù)性。可恢復(fù)性非常重要，因?yàn)檫@樣可以改善用戶的使用體驗(yàn)，可恢復(fù)性允許重試或者延后處理請(qǐng)求，這樣不至于在出現(xiàn)錯(cuò)誤時(shí)，無法重試或者無法彌補(bǔ)，導(dǎo)致所用操作重新再來，或者給用戶造成損失，導(dǎo)致用戶情緒崩潰。

（5）送達(dá)保證。送達(dá)保證能夠每個(gè)消息能夠被處理且只能夠被處理一次，這是由消息隊(duì)列的冗余機(jī)制所保證的。

（6）順序保證。消息將會(huì)以通過FIFO（先進(jìn)先出）的順序來處理，從隊(duì)列中檢索出的位置就是消息在隊(duì)列中的位置。

（7）緩沖。緩沖保證在重要的系統(tǒng)中，消息的輕重緩急可以被安排，從而提高任務(wù)的執(zhí)行效率，這是通過緩沖層實(shí)現(xiàn)的，而且數(shù)據(jù)流經(jīng)過系統(tǒng)的速度的優(yōu)化和可控都要得益于緩沖層。

（8）異步通信。異步通信使得在向隊(duì)列中存放消息時(shí)，數(shù)目不受到限制，因?yàn)榉湃氲南⒉粫?huì)立即被處理，而是在需要的時(shí)候。

2.5 Spark

作為網(wǎng)上銀行客戶監(jiān)測(cè)預(yù)警的計(jì)算平臺(tái)，它需要承擔(dān)巨大的計(jì)算任務(wù)，每天網(wǎng)上銀行數(shù)以萬計(jì)的使用者，計(jì)算平臺(tái)需要對(duì)大量數(shù)據(jù)進(jìn)行數(shù)據(jù)準(zhǔn)備，按照數(shù)數(shù)據(jù)挖掘算法進(jìn)行建模運(yùn)算并尋找規(guī)律，生成實(shí)時(shí)動(dòng)態(tài)基線，精準(zhǔn)快速預(yù)警，這對(duì)計(jì)算平臺(tái)的處理能力和可靠性都提出了很高的要求。

Spark體系架構(gòu)包括如下三個(gè)主要組件：

（1）數(shù)據(jù)存儲(chǔ)。Spark用HDFS文件系統(tǒng)存儲(chǔ)數(shù)據(jù)。

（2）API。利用API，應(yīng)用開發(fā)者可以用標(biāo)準(zhǔn)的API接口創(chuàng)建基于Spark的應(yīng)用。

（3）管理框架。Spark既可以部署在一個(gè)單獨(dú)的服務(wù)器也可以部署在分布式計(jì)算框架之上。

它是一個(gè)圍繞速度、易用性和復(fù)雜分析構(gòu)建的大數(shù)據(jù)處理框架，它可以滿足我們對(duì)大數(shù)據(jù)的處理請(qǐng)求，能夠?qū)adoop集群中的應(yīng)用在內(nèi)存中的運(yùn)行速度提升100倍，甚至可以提升10倍應(yīng)用在磁盤上的運(yùn)行速度，也可以快速運(yùn)用某些高級(jí)語言編寫程序，并且支持交互的查詢數(shù)據(jù)。

主要參考文獻(xiàn)

[1]劉泓含.淺談網(wǎng)上銀行服務(wù)質(zhì)量的改進(jìn)[J].海南金融，2012，18（1）：76-80.

[2]朱筱蘭，席曉乾.淺談數(shù)據(jù)挖掘技術(shù)在增值業(yè)務(wù)中的應(yīng)用[C]//四川省通信學(xué)會(huì)2012年年會(huì)論文集，2012.endprint