大數(shù)據(jù)環(huán)境下基于小波神經(jīng)網(wǎng)絡(luò)和ARMA模型的流量異常檢測

陳易平,俞 龍,諶 頏

(1.廣東技術(shù)師范大學(xué)天河學(xué)院 計算機科學(xué)與工程學(xué)院， 廣州 510540；2.華南農(nóng)業(yè)大學(xué) 電子工程學(xué)院， 廣州 510642)

隨著互聯(lián)網(wǎng)的快速發(fā)展，全球信息共享已經(jīng)逐步成為現(xiàn)實，社會大眾在在日常工作和生活中，通過各種聯(lián)網(wǎng)設(shè)備進(jìn)行辦公和娛樂，大大提高了工作的效率和生活的便利性。隨著互聯(lián)網(wǎng)用戶數(shù)量的快速增加，網(wǎng)絡(luò)信息量也急劇增長，意味著全世界已經(jīng)進(jìn)入了大數(shù)據(jù)信息化時代[1-4]。數(shù)據(jù)規(guī)模的增加也導(dǎo)致運維的難度逐漸變大。如果運維不當(dāng)可能導(dǎo)致故障或者異常，從而造成經(jīng)濟上的巨大損失，例如蠕蟲攻擊、網(wǎng)絡(luò)的配置錯誤或者服務(wù)器負(fù)載異常等。如何高效地維護(hù)大數(shù)據(jù)環(huán)境下的眾多網(wǎng)絡(luò)設(shè)施成為目前網(wǎng)絡(luò)維護(hù)領(lǐng)域急需解決的重要問題[5]。

面對當(dāng)前龐大數(shù)據(jù)量的網(wǎng)絡(luò)設(shè)備運維任務(wù)，傳統(tǒng)的方法需要人工根據(jù)經(jīng)驗完成。工程師需要通過時刻監(jiān)控網(wǎng)絡(luò)設(shè)備的硬件、性能狀態(tài)等參數(shù)來掌握當(dāng)前網(wǎng)絡(luò)系統(tǒng)的運行狀況，以便對網(wǎng)絡(luò)服務(wù)的質(zhì)量進(jìn)行評估。但人工操作的準(zhǔn)確性依賴于經(jīng)驗，且穩(wěn)定性較差。因此，對網(wǎng)絡(luò)服務(wù)設(shè)備的準(zhǔn)確故障預(yù)警是運維管理中必不可少的任務(wù)[6-7]。針對網(wǎng)絡(luò)流量的預(yù)測和異常檢測，國內(nèi)外已經(jīng)有不少研究成果，如時間序列分析、小波分析、擬合、神經(jīng)網(wǎng)絡(luò)等。如文獻(xiàn)[8]提出了含自適應(yīng)閾值的ARMA網(wǎng)絡(luò)流量異常檢測算法。該算法利用滑動平均模型預(yù)測網(wǎng)絡(luò)流量，利用中心極限定理確定動態(tài)的閾值區(qū)間,通過判斷網(wǎng)絡(luò)流量誤差是否落在閾值區(qū)間作為檢測點是否異常的準(zhǔn)則。文獻(xiàn)[9]將傳統(tǒng)的ARIMA預(yù)測模型和BP神經(jīng)網(wǎng)絡(luò)模型結(jié)合來進(jìn)行精確的無線網(wǎng)絡(luò)流量預(yù)測，并使用粒子群優(yōu)化算法對BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行優(yōu)化以解決局部最小值陷入和訓(xùn)練收斂速率低等問題。文獻(xiàn)[10]證明了網(wǎng)絡(luò)流量的自回歸短期預(yù)測是個NP問題，并分析了小波神經(jīng)網(wǎng)絡(luò)預(yù)測算法的時間復(fù)雜度。研究結(jié)果表明：相比BP神經(jīng)網(wǎng)絡(luò)和GRNN，小波神經(jīng)網(wǎng)絡(luò)在解決此類NP問題時具有良好的預(yù)測效果和收斂速度。

通過上述研究結(jié)果分析，可以看出基于預(yù)測模型的智能化網(wǎng)絡(luò)流量監(jiān)測已經(jīng)得到應(yīng)用，但是其預(yù)測精度和適用性還有待提高，特別是大數(shù)據(jù)環(huán)境下。因此，本文提出了一種基于小波神經(jīng)網(wǎng)絡(luò)和ARMA的流量異常檢測方法。使用序列預(yù)測偏差擬合正態(tài)分布來構(gòu)建異常可置區(qū)間，從而對時間序列分析法中的ARMA模型進(jìn)行了改進(jìn)。采用貝葉斯組合理論把小波神經(jīng)網(wǎng)絡(luò)預(yù)測與ARMA時間序列預(yù)測相結(jié)合，建立了組合模型來實現(xiàn)流量異常預(yù)警。組合模型的依據(jù)是對具有近似平穩(wěn)特征的網(wǎng)絡(luò)流量ARMA預(yù)測模型效果較好，而對于變化較多的網(wǎng)絡(luò)流量小波神經(jīng)網(wǎng)絡(luò)預(yù)測模型效果較好。因此提出了組合預(yù)測思路，實驗結(jié)果表明：提出組合預(yù)測模型的相對誤差較小、精度較好。

1 小波神經(jīng)網(wǎng)絡(luò)和改進(jìn)ARMA模型原理

1.1 網(wǎng)絡(luò)流量模型分析

不同于傳統(tǒng)的網(wǎng)絡(luò)設(shè)備，大數(shù)據(jù)應(yīng)用的規(guī)模和自動化程度更高，導(dǎo)致大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)設(shè)備管理和維護(hù)需要解決更加復(fù)雜的問題。如何有效實現(xiàn)網(wǎng)絡(luò)流量監(jiān)測成為了目前相關(guān)研究領(lǐng)域的熱點方向。檢測到異常后需要發(fā)出預(yù)設(shè)的報警通知，并下載日志進(jìn)行統(tǒng)計分析判斷，通常把異常請求的IP加入防火墻的黑名單中，并更改端口號。網(wǎng)絡(luò)流量模型通常采用信道傳輸速率的時間序列來表示，單位是Mbit/s。在統(tǒng)計學(xué)中，一般通過一組隨機變量X1,X2,…,Xt,…來表示某種隨機事件時間序列，即{Xt,t∈T}。

圖1 小波神經(jīng)網(wǎng)絡(luò)的原理結(jié)構(gòu)

一般通過網(wǎng)絡(luò)流量的自相似性和周期性來區(qū)分異常，主要方式是構(gòu)建異常檢測置信區(qū)間。對于ARMA模型來說，{Xt}的定義如下所示：

Xt=φ1Xt-1+…+φpXt-p+

εt-θ1εt-1-…-θqεt-q

(1)

1.2 小波神經(jīng)網(wǎng)絡(luò)模型

本文采用的小波神經(jīng)網(wǎng)絡(luò)由m個輸入層節(jié)點、n個輸出層節(jié)點和s個隱含層節(jié)點構(gòu)成[11]。其中，φ表示一個單獨的函數(shù)φ(x)生成的小波基函數(shù)。φ可以通過變換與平移操作得到，計算方法如式(2)所示[12]。

(2)

式中：φ(x)表示一個位于時間空間和頻率空間的母小波；向量aj={aj1,aj2,…,ajm}表示尺度參數(shù)；bj={bj1,bj2,…,bjm}表示轉(zhuǎn)換參數(shù)；x={x1,x2,…,xm}表示小波神經(jīng)網(wǎng)絡(luò)的輸入。

神經(jīng)元j的網(wǎng)絡(luò)內(nèi)部活動可通過式(3)表示:

(3)

式中：Wij表示輸入i和隱藏節(jié)點j之間的權(quán)重。通過母小波φ(v)計算第j個神經(jīng)元的輸出。

選取Morlet小波函數(shù)作為激勵函數(shù)[13]。Morlet母小波可通過式(4)計算得到。

(4)

因此，第j個神經(jīng)元的輸出取決于：

(5)

顯然，隱藏層第j個單元取值由頻率參數(shù)aj和時間參數(shù)bj來決定。初始化小波的變換與平移參數(shù):

ai=0.2(xmax-xmin)

(6)

bj=0.5(xmax+xmin)

(7)

式中xmax、xmin分別表示最大和最小輸入值。

1.3 改進(jìn)的ARMA模型設(shè)計

F1:Xt=φ1Xt-1+…+φpXt-p+

εt-θ1εt-1-…-θqεt-q

(8)

(9)

利用式(8)對流量序列進(jìn)行預(yù)測，式(9)則能對在線流量數(shù)據(jù)進(jìn)行異常檢測。首先，對采集到的數(shù)據(jù)序列進(jìn)行對數(shù)處理以降低標(biāo)準(zhǔn)差，然后通過差分析方法實現(xiàn)流量序列平穩(wěn)化處理，具體方式如下：

lnSij=μ+αi+βj+yij

(10)

式中：Sij為7天中第j天第i個5 min的觀測值，j=1,2,3,4,5，i=1,2,3,…,288;μ為7天觀測值的平均值;αi為在第i個時刻的平均值與μ的偏差，∑iαi=0;βj為第j天的平均值與μ的偏差，∑jβj=0;yij表示測值的余值。

ARMA模型的(p,q)參數(shù)識別采用了Box-Jenkins提出的方法[14]，也就是通過樣本的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)的截尾性來給(p,q)參數(shù)定階。然后，通過序列的觀察值初步估計模型的未知參數(shù)φ1,…,φp,θ1,…,θq,μ。

一般采用矩估計方法計算參數(shù)μ的估計值：

(11)

2 基于小波神經(jīng)網(wǎng)絡(luò)和ARMA組合模型的流量異常檢測

如果有一個段網(wǎng)絡(luò)信號在時刻t的時間序列為yt，那么多個預(yù)測模型的輸出如下[15-16]：

(12)

(13)

式中k=1,2,…,K；t=1,2,…。

(14)

(15)

因此，K個組合模型對(t+1)的預(yù)測值為：

(16)

(17)

3 實例分析

為了驗證本文提出的組合模型在大數(shù)據(jù)環(huán)境下的性能，在Hadoop平臺上進(jìn)行了性能測試分析。

3.1 實驗配置

測試集群機器環(huán)境參數(shù)為：10臺網(wǎng)絡(luò)服務(wù)器節(jié)點，具有Intel i7處理器，CPU主頻為 3.2 GHz，8 GB內(nèi)存。所有服務(wù)節(jié)點通過1 000 M光纖實現(xiàn)相互通信。在所有服務(wù)節(jié)點上均安裝了2.2.0版本的Hadoop，JDK版本為1.8。其中1個節(jié)點設(shè)置為Jobtracker，其他的9臺計算節(jié)點設(shè)置為tasktracker。每個tasktracker均具有1個reduce工作槽和2個map工作槽。每個服務(wù)節(jié)點的軟硬件參數(shù)如表1所示。

表1 實驗環(huán)境軟硬件參數(shù)

3.2 評估指標(biāo)

為了對提出組合模型的性能進(jìn)行量化分析，選擇最常用的綜合評價指標(biāo)[19-20]：相對誤差E，其計算方式如下：

(18)

3.3 數(shù)據(jù)預(yù)處理

以1臺網(wǎng)絡(luò)服務(wù)器節(jié)點上24 h內(nèi)緩存的網(wǎng)絡(luò)流量數(shù)據(jù)為例，樣本為每5 min的平均流量速率，共計288個樣本點，其實際網(wǎng)絡(luò)流量曲線如圖2所示。可以看出，凌晨1點到6點時的流量最低，晚上8點至12點時流量最高，這與網(wǎng)絡(luò)服務(wù)器的實際正常運行情況相符合。但是，由于網(wǎng)絡(luò)流量的數(shù)值較大，因此如前面所述，將要對采集到的數(shù)據(jù)序列進(jìn)行對數(shù)處理以降低標(biāo)準(zhǔn)差，平滑處理后的序列如圖3所示。

圖2 1 d的流量曲線示例

圖3 處理后的流量曲線

3.4 (p,q)階數(shù)確定

使用自相關(guān)函數(shù)(ACFA)和偏自相關(guān)函數(shù)(PACF)來估計F1模型的p與q的階數(shù)[19]。根據(jù)最小二乘參數(shù)估計、擬合結(jié)果及BIC最小化準(zhǔn)則[15]，綜合分析得出模型F1(1，3)擬合的效果最好，即p=1，q=3。

3.5 異常測試結(jié)果

以每5 min的平均流量速率為采樣點，采集了10 d的流量數(shù)據(jù)作為數(shù)據(jù)集，共2 880個數(shù)據(jù)點，其中包含觀測到的異常點47個。使用BP神經(jīng)網(wǎng)絡(luò)、小波神經(jīng)網(wǎng)絡(luò)(WNN)、ARMA和組合模型對該數(shù)據(jù)集進(jìn)行了網(wǎng)絡(luò)流量監(jiān)測。通過式(18)計算得出4種模型的相對誤差，如表2所示。從表2可以看出：相比其他3種單一預(yù)測模型，所提出的組合模型能得到更好的監(jiān)測效果，相對誤差更小，模型精度最佳。此外，BP神經(jīng)網(wǎng)絡(luò)、WNN和ARMA模型正確檢測出異常點的數(shù)量分別為33、40和37，而組合模型正確檢測出異常點的數(shù)量較多，得到44個，異常檢測率達(dá)到93.6%。綜合以上結(jié)果得出：所提出的組合模型在流量的異常檢測上具有顯著的效果。

表2 不同模型的誤差對比

4 結(jié)束語

本文提出了一種基于小波神經(jīng)網(wǎng)絡(luò)和ARMA的流量異常檢測方法。使用序列預(yù)測偏差擬合正態(tài)分布來構(gòu)建異?？芍脜^(qū)間，從而對時間序列分析法中的ARMA模型進(jìn)行了改進(jìn)。采用貝葉斯組合理論把小波神經(jīng)網(wǎng)絡(luò)預(yù)測與ARMA時間序列預(yù)測相結(jié)合，建立了一個組合模型來實現(xiàn)流量異常預(yù)警。實驗結(jié)果驗證了所提出組合模型的有效性。但是，相比單一預(yù)測模型，組合模型在實際大數(shù)據(jù)環(huán)境中的實時性有所降低，且并不能反映出故障的種類。因此，未來研究重心將會向網(wǎng)絡(luò)故障定位和并行化實施方向發(fā)展。