組合核函數(shù)高斯過程的網(wǎng)絡(luò)流量預(yù)測模型

黃 芳，劉元君，陳 波

HUANG Fang1,LIU Yuanjun1,CHEN Bo2

1.湖南商務(wù)職業(yè)技術(shù)學(xué)院 電子信息技術(shù)系，長沙410205

2.電子科技大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，成都611731

1.Department of Electronic Information Technology,Hunan Vocational College of Commerce,Changsha 410205,China

2.School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu 611731,China

1 引言

隨著網(wǎng)絡(luò)業(yè)務(wù)迅速增長，網(wǎng)絡(luò)服務(wù)質(zhì)量要求日益提高，網(wǎng)絡(luò)流量預(yù)測結(jié)果具有十分重要的實際價值，因此提高網(wǎng)絡(luò)流量預(yù)測的準(zhǔn)確性成為當(dāng)前網(wǎng)絡(luò)研究領(lǐng)域中的一個重大課題[1]。

國內(nèi)外學(xué)者們對其進(jìn)行廣泛的研究，已提出時間序列分析法、神經(jīng)網(wǎng)絡(luò)、灰色理論、隱馬爾夫法、支持向量機(jī)等預(yù)測模型[2-6]。時間序列分析法可對波動范圍小的網(wǎng)絡(luò)流量進(jìn)行準(zhǔn)確預(yù)測。但實際網(wǎng)絡(luò)流量受到多種因素的綜合影響，具有非線性和時變性等特點，時間預(yù)序列分析法的預(yù)測偏差較大，應(yīng)用范圍受限[7]。神經(jīng)網(wǎng)絡(luò)是一種非線性預(yù)測能力強的機(jī)器學(xué)習(xí)算法，要求樣本數(shù)量大，如果樣本數(shù)量不能滿足“大樣本”要求，就易出現(xiàn)“過擬合”等缺陷，預(yù)測結(jié)果不穩(wěn)定[8-9]。支持向量機(jī)較好地解決了非線性預(yù)測問題，比神經(jīng)網(wǎng)絡(luò)取得了更優(yōu)的預(yù)測效果，但其自身存在許多難以克服不足，如核函數(shù)參數(shù)的選擇問題[10-12]。高斯過程（GP）是一種新型的機(jī)器學(xué)習(xí)算法，它具有支持向量機(jī)處理小樣本、非線性的優(yōu)點，同時具有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度快特點，大量研究結(jié)果表明，通常情況下，GP 模型的性能要優(yōu)于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)[13]。將高斯過程回歸模型在實際應(yīng)用中，常采用共軛梯度法確定其最優(yōu)參數(shù)，但是共軛梯度法對初始值敏感，存在易陷入局最優(yōu)等的弊端，影響了高斯過程回歸模型的性能。對于復(fù)雜多變的網(wǎng)絡(luò)流量，單一核函數(shù)的高斯過程回歸模型存在魯棒性差、泛化能力不強等缺陷，網(wǎng)絡(luò)流量的預(yù)測精度有待進(jìn)一步提高[14]。

針對網(wǎng)絡(luò)流量的非線性和時變性等特點，提出一種組合核函數(shù)高斯過程的網(wǎng)絡(luò)流量預(yù)測模型。首先采用自相關(guān)法和假近鄰法計算網(wǎng)絡(luò)流量的延遲時間和嵌入維數(shù)，然后采用遺傳算法優(yōu)化組合核函數(shù)高斯模型，最后采用網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行仿真實驗測試模型有效性。

2 高斯過程的網(wǎng)絡(luò)流量預(yù)測

2.1 高期過程回歸

高斯過程是一種處理小樣本、非線性等的新型機(jī)器學(xué)習(xí)算法，對于數(shù)據(jù)集：，那么f(x(1),x(2),…,x(n))可構(gòu)成隨機(jī)變量的一個集合，高斯過程為：

式中，m(x)和k(x,x′)分別表示均值函數(shù)和協(xié)方差函數(shù)[15]。

由于收集的數(shù)據(jù)常含噪聲，那高斯過程回歸模型變?yōu)椋?/p>

式中，ε為獨立的高斯噪聲。

對于式（2），由于噪聲ε為白噪聲，那么觀測值聯(lián)合分布的集合得到一個高斯過程，即

式中，δij是Kronecker Delta函數(shù)。

采用矩陣形式對協(xié)方差函數(shù)進(jìn)行描述：

式中，I為單位矩陣；C(X,X)為協(xié)方差矩陣；K(X,X)為Gram 矩陣。

這樣，就可以得到GP 回歸方程為：

2.2 高斯過程訓(xùn)練和參數(shù)的選擇

2.2.1 高斯過程訓(xùn)練

在GP 建模過程中，協(xié)方差函數(shù)需要滿足Mercer 條件，因此式（7）可以寫成

式中，k(xi,x*)為核函數(shù)，且有

GP 建模過程中，通過核函數(shù)k(xi,x*)將非線性變化關(guān)系的數(shù)據(jù)映射到高維特征空間，并且進(jìn)行線性回歸，因此協(xié)方差核函數(shù)選擇對高斯過程建模十分關(guān)鍵，常規(guī)GP 模型常采用平方指數(shù)協(xié)方差函數(shù)（SE）和有理二次協(xié)方差函數(shù)（RQ），它們具體定義如下：

式中，M為對角矩陣；d是核函數(shù)的形狀參數(shù)。

在常規(guī)GP 模型中，采用單一協(xié)方差函數(shù)作為高斯過程的核函數(shù)，然而對于復(fù)雜多變的網(wǎng)絡(luò)流量，單一核函數(shù)的GP 模型無法準(zhǔn)確預(yù)測網(wǎng)絡(luò)流量的動態(tài)變化特征，為了提高網(wǎng)絡(luò)流量預(yù)測精度，針對單一核函數(shù)各自不足，利用它們優(yōu)點進(jìn)行互補，將平方指數(shù)協(xié)方差函數(shù)（SE）和有理二次協(xié)方差函數(shù)（RQ）進(jìn)行組合，構(gòu)造新的核函數(shù)：

2.2.2 模型參數(shù)選擇

當(dāng)前高斯過程的最優(yōu)超參數(shù)采用共軛梯度法確定，但共軛梯度法存在對初始值敏感等缺陷，難以獲得全局最優(yōu)的趨參數(shù)，對網(wǎng)絡(luò)流量預(yù)測結(jié)果產(chǎn)生不利影響。遺傳算法是一種全局優(yōu)化和并行搜索能力強的仿生智能算法，十分適合于參數(shù)搜索，為了克服共軛梯度法的缺陷，本文采用遺傳算法在高斯過程建模中自動搜索最優(yōu)超參數(shù)。個體適應(yīng)度函數(shù)定義如下：

式中，yi表示第i個網(wǎng)絡(luò)流量樣本的實際值；f(xi)表示第i個網(wǎng)絡(luò)流量樣本預(yù)測值。

2.3 組合核函數(shù)高斯過程的網(wǎng)絡(luò)流量預(yù)測

（1）首先收集網(wǎng)絡(luò)流量數(shù)據(jù)，然后進(jìn)行預(yù)處理，具體為：

式中，xmax和xmin為最大值和最小值；x為原始值。

（2）采用網(wǎng)絡(luò)流量的互信函數(shù)和關(guān)聯(lián)維數(shù)確定延遲時間和嵌入維數(shù)，并對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行相空間重構(gòu)，構(gòu)建高斯過程的學(xué)習(xí)樣本，并將分為訓(xùn)練和測試樣本。

（3）根據(jù)式（13）構(gòu)造高斯過程回歸模型的組合核函數(shù)。

（4）初始化遺傳算法參數(shù)，并產(chǎn)生初始種群，每一個個體代表高斯過程回歸模型參數(shù)。

（5）將網(wǎng)絡(luò)流量訓(xùn)練集輸入GP 進(jìn)行訓(xùn)練，建立網(wǎng)絡(luò)流量預(yù)測模型，并對網(wǎng)絡(luò)流量進(jìn)行預(yù)測。

（6）根據(jù)每組參數(shù)的預(yù)測結(jié)果，采用式（14）計算個體的適應(yīng)度值，并根據(jù)適應(yīng)度值對個體優(yōu)劣進(jìn)行評價。

（7）對個體進(jìn)行選擇、交叉和變異等操作，產(chǎn)生新一代群數(shù)。

（8）如果達(dá)到最大代數(shù)，根據(jù)最優(yōu)個體得到最優(yōu)參數(shù)，不然返回步驟（5）繼續(xù)進(jìn)行參數(shù)尋優(yōu)。

（9）根據(jù)最優(yōu)參數(shù)采用建立的GP 模型網(wǎng)絡(luò)流量預(yù)測模型，并對模型預(yù)測值進(jìn)行反歸一化處理，得到了預(yù)測實際值。

3 仿真實驗

3.1 網(wǎng)絡(luò)流量數(shù)據(jù)

數(shù)據(jù)來源于http：//newsfeed.ntcu.net/～news/2012/的主節(jié)點路由器2012 年3 月1 日到4 月13 日的每小時訪問流量，得到1 000 個數(shù)據(jù)，據(jù)具體如圖1 所示。

圖1 網(wǎng)絡(luò)流量時間序列

3.2 對比模型及評價標(biāo)準(zhǔn)

選擇平方指數(shù)協(xié)方差函數(shù)的GP 模型（SE-GP）和有理二次協(xié)方差函數(shù)的GP 模型（RQ-GP）、最小二乘支持向量機(jī)（LSSVM）、支持向量機(jī)（SVM）和BP 神經(jīng)網(wǎng)絡(luò)（BPNN）作為對比模型，模型性能采用平均相對百分比誤差MPAE和均方根誤差RMSE進(jìn)行標(biāo)準(zhǔn)，它們定義如下：

3.3 學(xué)習(xí)樣本的構(gòu)造

對于具有混沌特性的網(wǎng)絡(luò)流量進(jìn)行建模時，首先需要通過選擇延遲時間τ和嵌入維數(shù)m，得到GP 模型的學(xué)習(xí)樣本。本文采用自相關(guān)法和假近鄰法分別計算網(wǎng)絡(luò)流量的延遲時間τ和嵌入維數(shù)m。圖2 描述了網(wǎng)絡(luò)流量的自相關(guān)函數(shù)變化曲線，從圖2 可知，最佳延遲時間τ=6。虛假近鄰數(shù)和嵌入維數(shù)之間的變化關(guān)系如圖3 所示，從圖3 可知，隨著嵌入維數(shù)的增加，虛假近鄰數(shù)逐漸變小，當(dāng)m=5 時，假近鄰數(shù)不再變化，即最優(yōu)嵌入維數(shù)m=5。采用τ=6，m=5 對圖1 中的網(wǎng)絡(luò)流量重構(gòu)。

圖2 網(wǎng)絡(luò)流量的延遲時間

圖3 網(wǎng)絡(luò)流量的嵌入維數(shù)

3.4 結(jié)果與分析

3.4.1 單步預(yù)測結(jié)果

采用組合核函數(shù)GP 模型對網(wǎng)絡(luò)流量進(jìn)行學(xué)習(xí)，建立相應(yīng)的網(wǎng)絡(luò)流量預(yù)測模型，并對網(wǎng)絡(luò)流量測試集進(jìn)行預(yù)測，得到的單步擬合和預(yù)測結(jié)果如圖4 和圖5 所示。從圖4 可知，組合核函數(shù)GP 模型較好地擬合了網(wǎng)絡(luò)流量變化趨勢，實際值與擬合值相當(dāng)接近，表明組合核函數(shù)GP 模型是一種有效、擬合精度高的網(wǎng)絡(luò)流量預(yù)測模型。同時從圖5 可知，組合核函數(shù)GP 模型的預(yù)測誤差相當(dāng)?shù)男。@得了十分理想的預(yù)測結(jié)果，這表明組合核函數(shù)GP 模型具有較好的泛化和推廣能力。

圖4 組合核函數(shù)GP 模型的單步擬合結(jié)果

圖5 組合核函數(shù)GP 模型的單步預(yù)測結(jié)果

SE-GP、RQ-GP、LSSVM、SVM、BPNN 和組合核函數(shù)GP 模型的單步預(yù)測誤差見表1。從表1 可知，與對比模型相比，組合核函數(shù)GP 模型的預(yù)測誤差最小，獲得最優(yōu)的網(wǎng)絡(luò)流量預(yù)測結(jié)果，對比結(jié)果驗證了組合核函數(shù)GP 用于網(wǎng)絡(luò)流量預(yù)測的優(yōu)越性和可行性。

表1 不同模型的單步預(yù)測誤差比較

3.4.2 多步預(yù)測結(jié)果

網(wǎng)絡(luò)流量預(yù)測的目標(biāo)就是對網(wǎng)絡(luò)流量變化趨勢進(jìn)行把握，要求有一定提前預(yù)測時間，然而單步預(yù)測僅可以預(yù)測下一時刻的網(wǎng)絡(luò)流量，實際應(yīng)用價值不大，因此需要將單預(yù)測擴(kuò)展到多步預(yù)測。組合核函數(shù)GP 模型的多步擬合和預(yù)測結(jié)果如圖6 和圖7 所示。從圖6 和7 可知，組合核函數(shù)GP 模型擬合和預(yù)測結(jié)果與實際網(wǎng)絡(luò)流量之間的誤差較小，預(yù)測結(jié)果達(dá)到了實際應(yīng)用的精度要求，比較準(zhǔn)確地刻畫了網(wǎng)絡(luò)流量的非線性、時變性等變化趨勢，這是單一核函數(shù)GP 模型及其他對比模型歸難以企及的，組合核函數(shù)GP 模型優(yōu)勢十分明顯。

SE-GP、RQ-GP、LSSVM、SVM、BPNN 和組合核函數(shù)GP 模型的多步預(yù)測誤差見表2，表2 給出不同模型的預(yù)測性能對比。

圖6 組合核函數(shù)GP 模型的多步擬合結(jié)果

圖7 組合核函數(shù)GP 模型的多步預(yù)測結(jié)果

表2 不同模型的多步預(yù)測誤差比較

從表2 可知，相對于單一核函數(shù)GP 模型比，組合核函數(shù)GP 模型提高了網(wǎng)絡(luò)流量預(yù)測性能，泛化性能更優(yōu)。相對LSSVM、SVM、BPNN，組合核函數(shù)GP 模型需要調(diào)整參數(shù)少，可以有效地實現(xiàn)先驗知識和觀測數(shù)據(jù)完美結(jié)合，具有良好的置信水平，提高了網(wǎng)絡(luò)流量的預(yù)測效果。

3.4.3 含有噪網(wǎng)絡(luò)流量預(yù)測性能分析

為了測試組合核函數(shù)GP 模型的魯棒性，采用一個含噪的網(wǎng)絡(luò)流量進(jìn)行仿真對比實驗。含噪的網(wǎng)絡(luò)流量數(shù)據(jù)如圖8 所示。對含噪的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行建模與預(yù)測，組合核函數(shù)GP 的絡(luò)流量擬合和預(yù)測結(jié)果如圖9和圖10 所示。從圖9 和圖10 可知，組合核函數(shù)GP 模型獲得了較理想的預(yù)測結(jié)果，這表明組合核函數(shù)GP 由于引入兩個核函數(shù)，具有較強穩(wěn)健性和魯棒性，具有一定的抗干擾性能，在網(wǎng)絡(luò)流量應(yīng)用范圍更廣。

SE-GP、RQ-GP、LSSVM、SVM、BPNN 和組合核函數(shù)GP 模型對含噪網(wǎng)絡(luò)流量預(yù)測誤差見表3。從表3 可知，相對于對比模型，組合核函數(shù)GP 模型由于集成了兩種核函數(shù)的優(yōu)點，克服了單一核函數(shù)的不足，同時采用遺傳算法對合核函數(shù)GP 模型參數(shù)進(jìn)行優(yōu)化，建立了全局最優(yōu)的網(wǎng)絡(luò)流量預(yù)測模型，獲得了較好的含噪網(wǎng)絡(luò)流量預(yù)測結(jié)果。

圖8 含噪聲的網(wǎng)絡(luò)流量數(shù)據(jù)

圖9 組合核函數(shù)GP 的含噪網(wǎng)絡(luò)流量擬合結(jié)果

圖10 組合核函數(shù)GP 的含噪網(wǎng)絡(luò)流量預(yù)測結(jié)果

表3 不同模型的含噪網(wǎng)絡(luò)流量預(yù)測誤差比較

4 結(jié)束語

為了提高網(wǎng)絡(luò)流量的預(yù)測精度，提出一種組合核函數(shù)高斯過程回歸的網(wǎng)絡(luò)流量預(yù)測模型。通過引入組合核函數(shù)對網(wǎng)絡(luò)流量變化趨勢進(jìn)行逼近，采用遺傳算法優(yōu)化參數(shù)以提高其泛化能力，并通過仿真對比實驗驗證了組合核函數(shù)GP 的網(wǎng)絡(luò)流量預(yù)測型的有效性和優(yōu)越性。

[1] Jun J，Symeon P.Enhancing network traffic prediction and anomaly detection via statistical network traffic separation and combination strategies[J].Computer Communications，2006，29（10）：1627-1638.

[2] He Y J，Zhu Y C，Duan D X.Research on hybrid ARIMA and support vector machine model in short term load forecasting[C]//Proceedings of the 6th International Conference on Intelligent Systems Design and Application，2006：804-809.

[3] 姜明，吳春明，張曼，等.網(wǎng)絡(luò)流量預(yù)測中的時間序列模型比較研究[J].電子學(xué)報，2009，37（11）：2353-2358.

[4] 姚奇富，李翠風(fēng)，馬華林，等.灰色系統(tǒng)理論和馬爾柯夫鏈相結(jié)合的網(wǎng)絡(luò)流量預(yù)測方法[J].浙江大學(xué)學(xué)報：理學(xué)版，2007，34（4 ）：396-400.

[5] Chen Y，Yang B.Small-time scale network traffic prediction based on flexible neural tree[J].Applied Soft Computing Journal，2012，12（1）：274-279.

[6] Park D C.Prediction of network traffic using dynamic bilinear recurrent neural network[C]//Proceedings of 5th International Conference on Natural Computation，2009，2：419-423.

[7] 劉杰，黃亞樓.基于BP 神經(jīng)網(wǎng)絡(luò)的非線性網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)應(yīng)用，2007，27（7）：1770-1772.

[8] 賀相春，董曉輝.基于映射矩陣的網(wǎng)絡(luò)流量分析預(yù)測模型[J].計算機(jī)工程與應(yīng)用，2013，49（8）：100-104.

[9] 王俊松，高志偉.基于RBF 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量建模及預(yù)測[J].計算機(jī)工程與應(yīng)用，2008，44（13）：6-11.

[10] 王俊松.基于Elman 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量建模及預(yù)測[J].計算機(jī)工程，2009，35（9）：190-191.

[11] 羅贅騫，夏靖波，王煥彬.混沌-支持向量機(jī)回歸在流量預(yù)測中的應(yīng)用研究[J].計算機(jī)科學(xué)，2009，36（7）：244-246.

[12] 張文金，許愛軍.混沌理論和LSSVM 相結(jié)合的網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)工程與應(yīng)用，2013，49（15）：101-104.

[13] 孫斌，姚海濤，劉婷.基于高斯過程回歸的短期風(fēng)速預(yù)測[J].中國電機(jī)工程學(xué)報，2012，32（29）：104-110.

[14] Seeger M.Gaussian processes for machine learning[J].International Journal of Neural System，2004，14（2）：69-106

[15] 李軍，張友鵬.基于高斯過程的混沌時間序列單步與多步預(yù)測[J].物理學(xué)報，2011，60（7）：1-11.