參數(shù)優(yōu)化的SVR移動(dòng)網(wǎng)絡(luò)流量預(yù)測(cè)

鄭曉亮 陳華亮 來(lái)文豪

1(安徽理工大學(xué)電氣與信息工程學(xué)院 安徽 淮南 232001) 2(安徽理工大學(xué)采動(dòng)響應(yīng)與災(zāi)害防控國(guó)家重點(diǎn)實(shí)驗(yàn)室 安徽 淮南 232001)

0 引 言

隨著4G技術(shù)和網(wǎng)絡(luò)的大范圍普及，移動(dòng)網(wǎng)絡(luò)流量的增長(zhǎng)愈發(fā)迅速，人們對(duì)于網(wǎng)絡(luò)流量的需求也持續(xù)增長(zhǎng)，網(wǎng)上購(gòu)物、手機(jī)支付、移動(dòng)短視頻等新行業(yè)隨著網(wǎng)絡(luò)的發(fā)展不斷出現(xiàn)，未來(lái)在5G技術(shù)、物聯(lián)網(wǎng)的普及下，數(shù)據(jù)流量將持續(xù)增長(zhǎng)，將給移動(dòng)網(wǎng)絡(luò)帶來(lái)新的挑戰(zhàn)。

人流多變地區(qū)的潮汐效應(yīng)[1-3]一直是運(yùn)營(yíng)商在規(guī)劃網(wǎng)絡(luò)時(shí)需要考慮的問(wèn)題之一，但由于網(wǎng)絡(luò)資源配置通常是靜態(tài)配置的[4]，面對(duì)潮汐效應(yīng)的坡峰、谷底時(shí)期，網(wǎng)絡(luò)資源配置過(guò)多將會(huì)造成帶寬資源浪費(fèi)，過(guò)少將導(dǎo)致網(wǎng)絡(luò)擁塞，影響用戶體驗(yàn)。對(duì)于網(wǎng)絡(luò)流量的預(yù)測(cè)將是解決這類問(wèn)題的關(guān)鍵點(diǎn)。

網(wǎng)絡(luò)流量具有復(fù)雜性、不確定性、高度非線性關(guān)系。為了準(zhǔn)確地預(yù)測(cè)網(wǎng)絡(luò)流量，國(guó)內(nèi)外許多研究者進(jìn)行了大量關(guān)于網(wǎng)絡(luò)流量預(yù)測(cè)方法的研究。Feng等[5]分別利用ARIMA、FARIMA、ANN和基于小波的預(yù)測(cè)器來(lái)預(yù)測(cè)網(wǎng)絡(luò)流量，并比較了它們的計(jì)算復(fù)雜性和預(yù)測(cè)準(zhǔn)確性。Adeleke[6]使用回聲狀態(tài)網(wǎng)絡(luò)(ESN)預(yù)測(cè)網(wǎng)絡(luò)流量，利用這種儲(chǔ)存學(xué)習(xí)算法較好地預(yù)測(cè)了網(wǎng)絡(luò)流量。Alarcon-Aquino等[7]提出了一種基于最大重疊離散小波變換(MODWT)的基于神經(jīng)網(wǎng)絡(luò)的多分辨率有限沖激響應(yīng)(FIR)學(xué)習(xí)算法，并將它應(yīng)用在預(yù)測(cè)上面。在預(yù)測(cè)方法方面分為線性與非線性兩種。線性模型有自回歸滑動(dòng)平均模型(ARMA)、自回歸(AR)[8-10]等。非線性模型有小波神經(jīng)網(wǎng)絡(luò)[1-12]、極限學(xué)習(xí)機(jī)(ELM)[13-16]、人工神經(jīng)網(wǎng)絡(luò)(ANN)[17-18]、支持向量回歸(SVR)等。SVR由于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理具有較好的泛化能力，使得它在預(yù)測(cè)問(wèn)題中發(fā)揮著重要的作用。文獻(xiàn)[19]將SVR用于期權(quán)價(jià)格的預(yù)測(cè)，明顯提高了預(yù)測(cè)的精度。文獻(xiàn)[20]將SVR用于城市供水管網(wǎng)余氯預(yù)測(cè)，并與人工神經(jīng)網(wǎng)絡(luò)作比較，結(jié)果表明，SVR相較于人工神經(jīng)網(wǎng)絡(luò)具有較好的預(yù)測(cè)性能。文獻(xiàn)[21]利用對(duì)GDP增長(zhǎng)速率的預(yù)測(cè)中，對(duì)比SVR與自回歸模型，研究結(jié)果表明，SVR更適合用于GDP增長(zhǎng)速率的預(yù)測(cè)。此外，SVR還被用于電力負(fù)荷預(yù)測(cè)[22]、短期客流量預(yù)測(cè)[23]、煤層瓦斯含量預(yù)測(cè)[24-28]、毒性預(yù)測(cè)[29]等方面，證明了SVR優(yōu)秀的預(yù)測(cè)性能。此外，已有文章將SVR用于網(wǎng)絡(luò)流量預(yù)測(cè)，例如文獻(xiàn)[30]就利用基于主成分分析的SVR進(jìn)行了網(wǎng)絡(luò)流量的預(yù)測(cè)，并取得了不錯(cuò)的效果，文獻(xiàn)[31]將全局人工魚(yú)群算法(GAFSA)優(yōu)化SVR，提高SVR預(yù)測(cè)的精度。

本文將SVR用于移動(dòng)網(wǎng)絡(luò)流量預(yù)測(cè)，并對(duì)原有的手動(dòng)參數(shù)尋優(yōu)作出改進(jìn)，將PSO、DE-GWO、CS用于SVR的參數(shù)尋優(yōu)，找出一種最佳的優(yōu)化方案，改變傳統(tǒng)SVR手動(dòng)尋優(yōu)耗時(shí)費(fèi)力的情況。

1 研究方法

1.1 預(yù)測(cè)方法——支持向量機(jī)

支持向量回歸(Support Vector Regression,SVR)是支持向量機(jī)(Support Vector Machines,SVM)的一個(gè)重要的分支。SVM是由Vapnik首先提出的，主要思想是建立一個(gè)分類超平面作為決策曲面，使得正例和反例之間的間隔邊緣被最大化，可以用于模式分類和非線性回歸。

SVM一般用于解決分類問(wèn)題，基本思想是找到具有最大間隔的超平面，將訓(xùn)練樣本的不同類別分開(kāi)。其數(shù)學(xué)問(wèn)題表示為：

(1)

s.t.yi(wTxi+b)≥1 ?i=1,2,…,m

式中：w為決定超平面方向的法向量;b為超平面到原點(diǎn)的位移量;m為樣本總量；b為訓(xùn)練樣本;xi為輸入;yi為輸出。

SVR則是用于回歸問(wèn)題，基本思想是找到一個(gè)回歸平面，讓所有的D到該平面的距離最近,其數(shù)學(xué)問(wèn)題表示為：

(2)

式中：C為正則化常數(shù);lε為損失函數(shù);f(x)為回歸平面方程：f(x)=wTx+b;x為輸入。

為了降低噪聲的影響，引入松弛變量ξ，則式(2)可改寫(xiě)成：

(3)

式中：C為常數(shù)；ε為損失變量。對(duì)于這種有約束條件的優(yōu)化問(wèn)題，可以用拉格朗日乘子法來(lái)得到其“對(duì)偶問(wèn)題”。對(duì)于式(3)的每條約束添加拉格朗日乘子 ，得到其對(duì)偶問(wèn)題為式(4)。

(4)

式中：α是拉格朗日算子。

以上是基于線性可分情況考慮，但實(shí)際中的數(shù)據(jù)大都不是線性可分的，對(duì)這種問(wèn)題，可以通過(guò)引入核函數(shù)將原來(lái)的樣本映射到一個(gè)更高維的特征空間，引入核函數(shù)如下：

k(xi,x)=Φ(xi)TΦ(xj)

(5)

式中：Φ(·)為從低維空間到高維空間的映射函數(shù)，也被稱為核函數(shù)。則SVR的對(duì)偶問(wèn)題表示為：

(6)

式中：參數(shù)v用來(lái)控制支持向量的數(shù)目以及訓(xùn)練誤差。

常見(jiàn)的核函數(shù)主要有：

線性核函數(shù)：k(x,y)=xTy+c

Sigmoid：k(x,y)=tanh(γxTy+r)

這里的c、δ、γ、r均為核函數(shù)參數(shù)。

1.2 參數(shù)優(yōu)化

對(duì)于SVR預(yù)測(cè)模型來(lái)說(shuō)，選擇合適的參數(shù)c(懲罰因子)和g(核函數(shù)參數(shù))很重要，圖1是同一樣本數(shù)據(jù)下，不同的c和g參數(shù)的預(yù)測(cè)效果。

(a) c=0.01,g=0.01原始數(shù)據(jù)和回歸預(yù)測(cè)數(shù)據(jù)對(duì)比

(b) c=0.01,g=0.01原始數(shù)據(jù)和回歸預(yù)測(cè)數(shù)據(jù)對(duì)比

(c) c=0.01,g=0.01原始數(shù)據(jù)和回歸預(yù)測(cè)數(shù)據(jù)對(duì)比

(d) c=0.01,g=0.01原始數(shù)據(jù)和回歸預(yù)測(cè)數(shù)據(jù)對(duì)比圖1 不同c和g參數(shù)預(yù)測(cè)效果

可以看出，c和g參數(shù)選擇對(duì)于SVR的預(yù)測(cè)性能的影響還是較大的，一般的SVR的c和g參數(shù)的選擇方法是人工擇優(yōu)方法，煩瑣耗時(shí)，且可信性不強(qiáng)。由于一種優(yōu)化算法不可能適用于所有優(yōu)化問(wèn)題，所以本文使用三個(gè)優(yōu)化程序PSO、CS、DE-GWO來(lái)優(yōu)化SVR的參數(shù)選擇過(guò)程。PSO具有搜索速度快、結(jié)構(gòu)簡(jiǎn)單等優(yōu)勢(shì)，但需要參數(shù)多；CS具有參數(shù)少、操作簡(jiǎn)單、易實(shí)現(xiàn)、隨機(jī)搜索路徑優(yōu)和尋優(yōu)能力強(qiáng)等特點(diǎn)，但PSO與CS都易陷入局部最優(yōu)；利用DE算法的變異過(guò)程來(lái)增加狼群的多樣性，減少GWO陷入局部最優(yōu)的概率，DE-GWO具有收斂性強(qiáng)、易實(shí)現(xiàn)、不易陷入局部最優(yōu)的特點(diǎn)。我們選擇三種不同特點(diǎn)的算法來(lái)優(yōu)化SVR，找出最適合的一種。

PSO是Kennedy等提出的一種全局搜索算法，源于模擬鳥(niǎo)群覓食過(guò)程中的遷徙和群聚行為，基本思想是：通過(guò)群體中個(gè)體之間的協(xié)作和信息共享來(lái)尋找最優(yōu)解，算法的基本流程如圖2所示。

圖2 PSO流程

CS是2009年由Yang等提出的啟發(fā)式算法，源于布谷鳥(niǎo)的Levy飛行和卵寄生行為，基本思想是布谷鳥(niǎo)通過(guò)隨機(jī)飛行找到最優(yōu)的鳥(niǎo)巢來(lái)孵化鳥(niǎo)蛋。其算法流程如圖3所示。

圖3 CS流程

GWO是2014年由Mirjalili等提出的智能優(yōu)化算法，源于自然界狼群的群體狩獵捕食行為，主要思想是通過(guò)模仿狼群跟蹤、包圍、追捕、攻擊獵物的過(guò)程來(lái)完成尋優(yōu)過(guò)程。DE是由Storm等提出的全局搜索算法，源于生物的進(jìn)化機(jī)制，主要思想是通過(guò)變異、交叉、選擇來(lái)得到最優(yōu)解；其算法流程如圖4所示。

圖4 DE-GWO流程

優(yōu)化算法的主要方法為：將SVR的MSE(均方誤差)作為三個(gè)優(yōu)化算法的適應(yīng)度函數(shù)，通過(guò)優(yōu)化算法找到SVR的最佳參數(shù)c和g，代入SVR預(yù)測(cè)模型中，可以得到較好的預(yù)測(cè)結(jié)果，基本流程如圖5所示。

圖5 優(yōu)化算法流程

本文中的評(píng)價(jià)機(jī)制為SVR算法的均方誤差MSE和平方相關(guān)系數(shù)r2,公式為：

(7)

(8)

2 流量數(shù)據(jù)預(yù)測(cè)實(shí)驗(yàn)

2.1 數(shù)據(jù)獲取與預(yù)處理

實(shí)驗(yàn)用原始數(shù)據(jù)采集于淮南市吾悅廣場(chǎng)，由安徽省移動(dòng)淮南分公司提供，采集時(shí)間為2019年1月1日至5月15日，數(shù)據(jù)采集粒度為15分鐘，如圖6所示。

圖6 15分鐘粒度流量走勢(shì)

將15分鐘粒度數(shù)據(jù)轉(zhuǎn)化為如圖7所示的日粒度數(shù)據(jù)，可見(jiàn)流量峰值出現(xiàn)在5月1日，為299.86 GB。因?yàn)?月1日為勞動(dòng)節(jié)，人流量最大，這樣突發(fā)的高負(fù)荷流量將給基站帶來(lái)極大的壓力，對(duì)人流突變場(chǎng)景的流量預(yù)測(cè)可以幫助運(yùn)營(yíng)商做好資源調(diào)度和安全保障，保證用戶有良好的使用體驗(yàn)。

圖7 日粒度流量走勢(shì)

2.2 實(shí)驗(yàn)參數(shù)設(shè)置

對(duì)于相同算法優(yōu)化參數(shù)的SVR，核函數(shù)不同，它們的預(yù)測(cè)效果也會(huì)不同，所以我們將實(shí)驗(yàn)數(shù)據(jù)用基本的SVR做實(shí)驗(yàn)，選出最適合當(dāng)前實(shí)驗(yàn)數(shù)據(jù)的核函數(shù)類型。

由表1可知，線性核函數(shù)與RBF核函數(shù)的預(yù)測(cè)時(shí)間(t)、均方誤差(MSE)和平均絕對(duì)百分誤差(MAPE)效果都比較好，而多項(xiàng)式函數(shù)與Sigmoid核函數(shù)的MSE與MAPE比較大，多項(xiàng)式函數(shù)的預(yù)測(cè)時(shí)間t更是比其他核函數(shù)大得多。所以初步選擇線性核函數(shù)與RBF核函數(shù)，接下來(lái)再進(jìn)行兩者的進(jìn)一步比較。

表1 不同核函數(shù)參數(shù)預(yù)測(cè)效果表線性核函數(shù)

由表2可知線性核函數(shù)與RBF核函數(shù)的MSE相差不大，但是隨著c和g的增大，RBF核函數(shù)的預(yù)測(cè)時(shí)間遠(yuǎn)遠(yuǎn)小于線性核函數(shù)的預(yù)測(cè)時(shí)間，對(duì)于優(yōu)化的SVR預(yù)測(cè)模型，本身的優(yōu)化程序耗時(shí)就應(yīng)考慮在內(nèi)，所以應(yīng)該選擇RBF核函數(shù)，盡量減少SVR預(yù)測(cè)的時(shí)間，提高預(yù)測(cè)效率。

表2 線性和RBF核函數(shù)預(yù)測(cè)對(duì)比表

本文選擇了PSO、DE-GWO、CS三種優(yōu)化算法來(lái)優(yōu)化SVR的參數(shù)，參數(shù)設(shè)置如表3所示，其中：Ub為參數(shù)上限；Lb為參數(shù)下限。

表3 參數(shù)設(shè)置表

2.3 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)的硬件條件是：CPU為Intel Core i5- 8300H，主頻為2.3 GHz，內(nèi)存為8 GB；實(shí)驗(yàn)系統(tǒng)為Windows 10，實(shí)驗(yàn)平臺(tái)是MATLAB2018b。

為了驗(yàn)證優(yōu)化SVR模型的優(yōu)勢(shì)，將基本的SVR算法與優(yōu)化的SVR作比較。

基本的SVR算法的核函數(shù)與參數(shù)上下界的設(shè)置與優(yōu)化SVR算法的相同，c和g的取值為0.01、0.1、1、10、50、100中的隨機(jī)組合，一共36種組合，每個(gè)組合獨(dú)立重復(fù)10次實(shí)驗(yàn)，取平均結(jié)果，結(jié)果如表4(見(jiàn)附錄)所示。得到最優(yōu)c=50,g=0.01，與PSO、CS、DE-GWO優(yōu)化的SVR做實(shí)驗(yàn)對(duì)比，結(jié)果如表5所示。

表4 基本SVR不同參數(shù)預(yù)測(cè)效果表

表5 算法預(yù)測(cè)結(jié)果對(duì)比表

可以看出，手動(dòng)尋優(yōu)的SVR模型煩瑣耗時(shí)，三種優(yōu)化的SVR預(yù)測(cè)模型的性能均比未優(yōu)化的SVR模型好，且三種優(yōu)化的SVR中，DEGWO-SVR的預(yù)測(cè)性能最好，最優(yōu)的c和g參數(shù)為50.702 2和0.01，MSE約是未優(yōu)化的SVR的1/28，r2提高了0.050 5；DEGWO-SVR的測(cè)試集預(yù)測(cè)效果如圖8所示。

圖8 DE-GWO優(yōu)化SVR預(yù)測(cè)效果

3 結(jié) 語(yǔ)

人流多變場(chǎng)景的移動(dòng)網(wǎng)絡(luò)流量預(yù)測(cè)對(duì)節(jié)假日及大型活動(dòng)的網(wǎng)絡(luò)應(yīng)急保障具有重大意義。本文針對(duì)流量預(yù)測(cè)問(wèn)題，提出基于參數(shù)優(yōu)化SVR的流量預(yù)測(cè)模型，以淮南吾悅廣場(chǎng)為實(shí)驗(yàn)對(duì)象，選擇RBF核函數(shù)作為主要核函數(shù)，通過(guò)PSO、CS、DE-GWO對(duì)SVR算法進(jìn)行參數(shù)尋優(yōu)，并與未優(yōu)化的SVR做實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，參數(shù)優(yōu)化的SVR模型相對(duì)于未優(yōu)化的SVR擁有更好的預(yù)測(cè)效果，其中DE-GWO優(yōu)化的SVR預(yù)測(cè)模型得到的最優(yōu)參數(shù)為54.702 2和0.01，擁有最好的預(yù)測(cè)效果。對(duì)于移動(dòng)網(wǎng)絡(luò)流量的準(zhǔn)確預(yù)測(cè)，既可以幫助運(yùn)營(yíng)商在規(guī)劃和設(shè)計(jì)網(wǎng)絡(luò)時(shí)做出合理的資源分配，又可以提前預(yù)知網(wǎng)絡(luò)流量高峰期時(shí)段，做好網(wǎng)絡(luò)運(yùn)營(yíng)，提高用戶體驗(yàn)水平。本文所進(jìn)行的網(wǎng)絡(luò)流量預(yù)測(cè)只針對(duì)手機(jī)用戶流量，未對(duì)無(wú)線及電腦端流量有所研究，后期研究將往這兩方面進(jìn)行。