摘要:現有的網絡流量預測模型存在著泛化能力弱和預測準確率低等問題,為了解決此問題,提出了一種結合動態擴散卷積模塊和卷積交互模塊的預測模型。動態擴散卷積模塊可以提取網絡流量中復雜的空間特征和動態特性,而卷積交互模塊則能捕獲到流量中的時間特征,兩者的有機結合可以有效預測網絡中的流量。通過與其他網絡流量預測模型在美國能源科學網(ESnet)流量數據上進行對比實驗,驗證了提出的動態擴散卷積交互圖神經網絡模型(DDCIGNN)的有效性。實驗結果表明,DDCIGNN模型的均方根誤差(RMSE)在最好的情況下優化了大約13.0%,說明該模型能夠進行更有效的網絡流量預測。
關鍵詞:網絡流量預測;動態擴散卷積;卷積交互;圖神經網絡
中圖分類號:TP393.06文獻標志碼:A
文章編號:1001-3695(2023)01-016-0097-05
doi:10.19734/j.issn.1001-3695.2022.05.0255
Network traffic prediction based on dynamic diffusion convolutional interaction graph neural network
Wang Jing1,2,Wen Xiaodong1,Wang Chunzhi1
(1.School of Computer Science,Hubei University of Technology,Wuhan 430068,China;2.School of Computer Science,Wuhan University,Wuhan 430072,China)
Abstract:The existing network traffic prediction models have problems such as weak generalization ability and low prediction accuracy.To solve this problem,this paper proposed a prediction model combining dynamic diffusion convolution module and convolution interaction module.The dynamic diffusion convolution module could extract the complex spatial and dynamic cha-racteristics of network traffic,while the convolution interaction module could capture the temporal characteristics of the traffic.The two organic combination could effectively predict the traffic in the network.This paper verified the effectiveness of the proposed dynamic diffusion convolutional interaction graph neural network(DDCIGNN) model by comparative experiments with other network traffic prediction models on the flow data of the US energy science network(ESnet).Experimental results show that the root mean square error(RMSE) of the DDCIGNN model is optimized by about 13.0% in the best case,which indicates that the model can perform better in network traffic prediction.
Key words:network traffic prediction;dynamic diffusion convolution;convolution interaction;graph neural networks
0引言
隨著互聯網技術的不斷發展、網絡規模的不斷擴大,網絡中的流量數據呈現爆發式增長,并且網絡拓撲結構也變得越來越復雜。復雜的互聯網環境使得網絡的安全性與穩定性較低,網絡服務質量和網絡性能問題也因此變得日益嚴重。網絡流量是衡量網絡管理質量的一個重要參數,是研究網絡的性能、管理、協議以及服務質量的基礎。對網絡流量進行分析預測可以幫助管理人員和網絡公司提前掌握網絡流量的變化趨勢與特征,從而提前制定相應的網絡管理方案,達到提高網絡性能、節省網絡運營商成本、改善網絡服務質量的目的,因此網絡流量預測成為網絡管理研究中的一個重要研究方向,建立精準的網絡流量預測模型對網絡的規劃設計具有極其重要的意義。
為了對網絡流量進行精準的預測,模型的選擇和設計尤為重要。目前已經存在大量的網絡流量預測模型,這些預測模型主要可以分為線性預測模型和非線性預測模型。傳統的線性預測模型主要包括自回歸(autoregressive,AR)模型、滑動平均(moving average,MA)模型、線性回歸(linear regression,LR)模型、回歸滑動平均(autoregressive moving average,ARMA)模型、差分整合滑動平均自回歸(autoregressiv integrated moving ave-rage,ARIMA)模型及其改進模型[1~4]。但是由于現代網絡流量具有非線性、自相似性及突發性等復雜的特點[5],傳統的線性預測模型結構過于簡單,無法精確地感知現代復雜的網絡流量,導致預測誤差較大[6]。因此研究人員將目光投向于以機器學習和深度學習為基礎的非線性預測模型,例如,Ramakrishnan等人[7]使用了循環神經網絡(recurrent neural network,RNN)、長短期記憶網絡(long short-term memory,LSTM)以及門控循環單元(gate recurrent unit,GRU)模型來預測網絡流量,證明了RNN及其變體在網絡流量預測中的可行性,但是這些預測方法自始至終只考慮了時間特征,忽視了流量序列中的空間相關性和動態特性。圖卷積網絡(graph convolution network,GCN)[8,9]是目前興起的一種深度學習算法,它天然具有捕獲網絡流量空間相關性的特點,能夠與現有的流量預測方法相結合,達到同時捕獲網絡流量序列時間特性和空間相關性的目的。例如,Li等人[10]設計了一種新穎的擴散卷積運算,將其替換GRU中的矩陣乘法,進一步提出了擴散卷積循環神經網絡(diffusion convolutional recurrent neural network,DCRNN),該網絡能夠提取時間序列數據的時空依賴關系,在交通流量預測任務上的預測精度提升了12%~15%;Andreoletti等人[11]使用相同的方法來預測電信網絡中的流量負載,實驗結果表明,DCRNN模型比LSTM、全連接網絡等預測模型能更好地描述電信網絡中流量的變化趨勢;Mallick等人[12]基于DCRNN中的擴散卷積運算,引入自適應鄰接矩陣提出了動態擴散卷積循環神經網絡(dynamic diffusion convolutional recurrent neural network,DDCRNN),用于捕獲美國能源科學網(energy science network,ESnet)流量中的動態時空特性,取得了比ARIMA、LR、RNN變體以及DCRNN等預測模型更高的預測精度。文獻[13]將門控時間卷積網絡與一階切比雪夫網絡[14]組合,提出了一種新的時空圖卷積網絡(spatio-temporal graph convolutional network,STGCN),比基于RNN的預測模型訓練速度更快、參數量更少。文獻[15]設計了一種門控擴張卷積網絡,以識別多尺度時間相關性,結合圖注意力網絡進一步提出了多尺度時空圖神經網絡(multi-scale spatial-temporal graph neural network,MSTNN)來預測網絡流量。文獻[16]提出了一種新穎的融合切換信息的時空圖卷積網絡(spatio-temporal graph convolutional network incorporating handover information,STGCN-HO),該模型構建了一個包含圖卷積和門控線性單元的堆疊殘差神經網絡結構,以捕獲流量的空間和時間特征。
從上述時空圖卷積網絡流量預測模型中可以發現,DCRNN[10,11]和DDCRNN[12]模型通過將擴散卷積運算應用于RNN中,使得模型能夠捕獲流量中的時空特征,預測精度得到了較大提升,說明擴散卷積運算在時空建模中是行之有效的。此外,STGCN[13]、MSTNN[15]及STGCN-HO[16]模型基于CNN的時空圖思路來設計預測模型,具有并行計算、網絡訓練速度快、梯度穩定的優勢[13,17],因此將擴散卷積運算應用于基于CNN的時空圖預測模型中,將會得到性能更優的流量預測模型。例如,文獻[18]提出了一種時空動態圖網絡(spatiotemporal dynamic graph network,SDGNet),該網絡使用兩層門控時間卷積網絡提取時間特征,采用參數演化卷積網絡(evolving graph convolutional network,EvolveGCN)[19]和 DCRNN [10,11]結合形成的動態圖卷積網絡提取空間及動態特征,進行網絡流量的短期、中期和長期流量預測,取得了比DCRNN以及STGCN-HO模型更好的預測效果。
盡管上述時空圖卷積網絡流量預測模型在網絡流量預測任務中具有良好的表現,但是這些預測模型都存在一些固有的理論缺陷,還需要對模型做進一步的優化設計,以達到對網絡流量的精準預測。例如,DCRNN[10,11]和DDCRNN[12]本質上是基于RNN的時空圖模型,在捕獲遠程網絡流量序列時存在著無法并行計算、迭代傳播耗時、梯度爆炸或者梯度消失以及對流量的動態變化不敏感等問題[10,20]。而基于純卷積操作的STGCN[13]、MSTNN[15]與STGCN-HO[16]等預測模型,采用門控時間卷積網絡提取時間特征,在處理遠程網絡流量序列時卻需要堆疊多層來擴大感受野,以提取更深層次的特征以增加預測能力[21]。即使是結合了門控時間卷積網絡的SDGNet[18]預測模型,也并不是純卷積操作的,依然存在著RNN模型固有的訓練速度慢、梯度不穩定的缺點。因此,需要設計一個將圖卷積網絡與基于CNN的預測方法結合的并且不需要堆疊多層就能夠提取時間、空間及動態特征的時空圖預測模型。
基于以上研究,本文提出了動態擴散卷積交互圖神經網絡(dynamic diffusion convolution and interaction graph neural network,DDCIGNN)。它是一個基于CNN的時空圖模型,由動態擴散卷積模塊和卷積交互模塊組成。首先,在動態擴散卷積模塊中使用擴散卷積運算替換CNN中的矩陣乘法,以提取網絡流量序列中的空間相關性,并且引入了自適應的鄰接矩陣,在不需要任何先驗知識的指導下能夠從網絡流量數據中自動發現不可見的圖結構,捕獲數據中的動態依賴關系;其次,為了避免動態擴散卷積模塊在捕獲遠程網絡流量序列時需要堆疊多層來增大感受野,本文在卷積交互模塊中采用下采樣—卷積—交互架構[22],不僅增大了卷積操作的感受野,還可以實現多分辨率分析,能夠有效提取時間關系特征;然后結合這兩個模塊,捕獲復雜的網絡流量數據中的時空特征和動態特性,實現對網絡流量的精準預測。在長期流量預測任務上,所提出的DDCIGNN模型的RMSE在最好情況下優化了大約13.0%,預測更精確。
1擴散卷積交互圖神經網絡建模
本文提出了一種新的深度學習方法(DDCIGNN)用于對網絡流量中的動態時空依賴性進行建模。網絡流量預測問題可以表述為一個多元時間序列預測問題,其中網絡流量的傳輸是建立在網絡拓撲上的,相鄰節點之間的流量模式具有潛在的相關性。將網絡流量的網絡拓撲建模為圖G=(V,E,A)。其中,V是一組頂點,表示N個網絡節點的節點集合,V={v1,v2,v3,…,vN},|V|= N;E是一組有向邊,表示連接兩個網絡節點的鏈路集合;A∈Euclid Math TwoRApN×N表示圖G的加權鄰接矩陣。網絡流量表示為流量矩陣X∈Euclid Math TwoRApN×D×S,在t時刻,圖G具有動態特征矩陣Xt∈Euclid Math TwoRApN×D,其中N表示節點個數,D表示節點特征維度,S表示所有時刻。因此,網絡流量預測問題可以看做在已知拓撲圖G和網絡流量矩陣X的情況下,學習一個以時間步長為T′的流量觀測值為輸入的函數f(·),該函數輸出預測下一個時間步長為T的流量,即
X(t-T′+1),…,X(t);Gf(·)X(t+1),…,X(t+T)(1)
如圖1所示,DDCIGNN模型由堆疊的時空層和輸出層組成,時空層由提取時間特征的卷積交互網絡層(convolution and interaction network,CINet)和提取空間及動態特征的動態擴散卷積網絡層(dynamic diffusion convolution network,DDCNet)構成。當有足夠的樣本時,可以通過堆疊時空層來獲得更好的預測精度。如圖1(a)所示,為了減少模型的復雜度,在本文中選擇堆疊兩層時空層,在每個時空層中都有殘差連接,并跳躍連接到輸出層。通過將歷史T′個時間步長的流量觀測值作為輸入,在時空層中提取動態時空特征后,最后在輸出層得到未來T個時間步長的流量預測結果。
2擴散卷積交互圖神經網絡特征提取
現代網絡流量具有動態時空的特征,因此設計一個合理的網絡流量預測模型除了需要對流量的時間特征進行提取外,還需要捕獲流量的空間相關性以及動態依賴關系。DDCIGNN模型的時間特征提取模塊和空間及動態特征提取模塊的有機結合使得DDCIGNN模型具有以下優越性:a)提出了一個新穎的卷積交互網絡(CINet),克服了基于CNN的時空圖預測模型需要堆疊多層來擴大感受野的缺點,不僅能夠擴大卷積操作的感受野,還能有效提取不同時間分辨率的特征,實現對網絡流量的短期預測和長期預測;b)提出了一個純卷積操作的動態擴散卷積網絡(DDCNet),克服了基于RNN的時空圖預測模型無法并行計算、網絡訓練速度慢、梯度不穩定的缺點,不僅可以捕獲網絡流量中的空間相關性,還可以提取網絡流量中隱藏的動態依賴關系,有效提高了網絡流量預測的精度。
2.1時間特征提取
網絡流量作為時間序列,是一種特殊的序列數據,它是一組按照均勻的時間間隔采集的并且按照時間順序排列的觀測值。它不同于其他序列數據,一般可分為趨勢項、季節項、不規則項三個組成部分,利用前兩個組成部分可以獲得精確的預測[23]。本文在時間特征提取模塊提出了一個新的卷積交互網絡(CINet),采用下采樣—卷積—交互架構[22],在增大卷積運算感受野的同時還實現了多分辨率分析,從而有效地提取了時間特征,增強了網絡流量的可預測性。CINet是一個分層的架構,它由多個基本構建塊CI-block分層排列成二叉樹結構,然后經過合并重排、殘差連接和全連接層構建而成,圖1(b)所示為CINet的模型圖,通過在多個時間分辨率下捕獲時間依賴關系增強了原始網絡流量序列的可預測性。CI-block模塊如圖1(c)所示,首先將輸入數據下采樣為兩個奇偶子序列Sodd和Seven,這兩個子序列具有較粗的時間分辨率,但是保留了原始網絡流量序列中的大部分信息。為了彌補下采樣過程可能造成的信息損失,采用卷積交互策略來實現兩個子序列之間的信息交換。卷積交互策略采用了四個一維卷積模塊,包括兩個步驟:a)通過式(2),使用兩個不同的一維卷積模塊和ψ將Seven和Sodd變換到隱藏狀態,并執行exp運算,再分別與Seven和Sodd執行哈達瑪乘積,得到中間特征序列Smodd和Smeven;b)使用式(3)更新中間特征序列,將兩個中間特征序列Smodd和Smeven通過一維卷積模塊η和ρ變換到另外兩個隱藏狀態,再與原來的Smodd和Smeven相加或相減得到了兩個更新的子特征序列S′odd 和S′even。
Smodd=Sodd⊙exp((Seven)),Smeven=Seven⊙exp(ψ(Sodd))(2)
S′odd=Smodd±ρ(Smeven),S′even=Smeven±η(Smodd)(3)
如圖1(b)所示,通過將多個CI-block分層排列獲得了具有二叉樹結構的CINet。原始的網絡流量序列經過不同層級的CI-block逐層下采樣—卷積—交互操作,不僅不需要堆疊多層就能擴大卷積操作的感受野,而且還能有效提取不同時間分辨率的特征,捕獲了對網絡流量預測的短期和長期依賴,增強了網絡流量的可預測性。在遍歷了所有CI-block之后,通過逆轉奇偶分裂操作重新排列所有低分辨率子特征序列,并將其串聯成一個新的流量序列,然后將該序列通過殘差連接添加到原始的網絡流量序列中進行預測;最后利用全連接層將更新的流量序列進行解碼。
2.2空間及動態特征提取
由于網絡流量的傳輸是建立在網絡拓撲上的,且流量在傳輸過程中還表現出復雜的突發性,所以除了時間特征外,網絡流量還具有復雜的空間特征和動態特性。因此空間特征和動態特性的提取成為了網絡流量預測中另一個關鍵性問題。基于以上關鍵性問題,本文在空間特征提取模塊提出了一個動態擴散卷積網絡(DDCNet),通過將擴散卷積算子應用于卷積神經網絡得到了一個擴散卷積層,達到了捕獲網絡流量序列空間相關性的目的;并且DDCNet還引入了一個可以根據網絡流量的當前狀態進行學習的自適應鄰接矩陣,在不需要預定義圖的基礎上可以精準地捕獲網絡流量中隱藏的動態空間依賴關系。擴散卷積層基于將圖中節點之間的關系模擬為有限步驟的擴散過程的思想,在時空建模中取得了顯著的效果,通過將該擴散卷積層推廣到一階切比雪夫圖卷積網絡,擴散卷積層為
H= ∑Kk=0f(PkXW(k))(4)
其中:k=0,1,2,…,K,表示圖中的節點經過K步隨機游走到下一個節點;Pk∈Euclid Math TwoRApN×N表示圖中節點在下一個時刻經歷k 步隨機游走到其他節點的狀態轉移矩陣;P=D-1oA,Do表示圖的度矩陣,A表示圖鄰接矩陣;X∈Euclid Math TwoRApN×D表示輸入流量矩陣;W∈Euclid Math TwoRApD×M表示模型的卷積核參數矩陣;f(·)表示激活函數。由于網絡流量拓撲圖為有向圖,所以將擴散方向分為正向擴散和反向擴散兩個方向,分別表示網絡鏈路中節點的上游和下游,其狀態轉移矩陣可以表示為Pf和Pb,其中Pf=D-1oA表示正向轉移矩陣,Pb=D-1oAT表示反向轉移矩陣。因此在有向圖情況下,雙向擴散卷積層可以表示為
H= ∑Kk=0f(PkfXW(k1)+PkfXW(k2))(5)
為了捕獲網絡流量的動態特性,本文采用一種新穎的自適應鄰接矩陣,該自適應鄰接矩陣無須任何先驗知識就可以發掘數據中隱藏的動態空間依賴關系[24]。首先將圖中所有的節點隨機初始化為一個可學習的嵌入節點矩陣EA∈Euclid Math TwoRApN×C,其中N表示嵌入節點的個數,C表示嵌入節點的維度,然后通過將EA和ETA相乘來推斷節點之間的空間依賴關系,使用ReLU激活函數進行激活處理,再采用softmax函數對自適應鄰接矩陣進行歸一化,則該自適應鄰接矩陣AEuclid ExtrauBpadp可以表示為
AEuclid ExtrauBpadp=softmax(ReLU(EAETA))(6)
從歸一化的自適應鄰接矩陣中可以學習到隱藏的圖依賴關系,通過結合預定義的圖依賴和自學習的隱藏圖依賴可以得到具有自適應鄰接矩陣的擴散圖卷積網絡為
H= ∑Kk=0f(PkfXW(k1)+PkfXW(k2)+AEuclid ExtrauBpadpXW(k3))(7)
2.3基于特征提取的網絡流量預測
網絡流量預測問題本質上可以表述為一個多元時間序列預測問題,通過觀察歷史流量數據、分析其時間特征進而預測下一階段的流量。然而與一般的時間序列預測問題不同,網絡流量的傳輸是建立在網絡拓撲上的,相鄰節點之間的流量模式具有潛在的相關性,并且流量的傳輸還具有復雜的突發性。因此,只有設計一個既能提取時間特征又能提取空間及動態特征的神經網絡,才能達到對網絡流量合理且精準的預測。
基于對網絡流量上述特征的研究,本文提出了DDCIGNN模型,該模型由時間特征提取模塊和空間及動態特征提取模塊有機組合而成。在時間特征提取模塊采用下采樣—卷積—交互架構,在增大卷積運算感受野的同時還實現了多分辨率分析,對長期和短期的網絡流量都能進行精準的預測;在空間及動態特征提取模塊使用擴散卷積算子和自適應的鄰接矩陣,可以精準地捕獲網絡流量中的動態空間依賴關系。通過這兩個特征提取模塊對網絡流量進行特征提取,使得本文所提出的DDCIGNN模型在網絡流量預測任務上既合理又精確。
算法1給出了DDCIGNN模型的訓練過程。步驟a)設置了模型的訓練參數;步驟b)根據數據集標準化輸入數據為訓練樣本;步驟c)根據圖鄰接矩陣初始化自適應鄰接矩陣、正向擴散狀態轉移矩陣和反向擴散狀態轉移矩陣;步驟d)~h) 將訓練樣本輸入DDCIGNN模型,對其進行訓練。
算法1DDCIGNN模型訓練算法
輸入:歷史T′個時間步長的流量矩陣數據Xt-T′+1,…,t和圖鄰接矩陣A。
輸出:未來T個時間步長的流量矩陣Xt+1,…,t+T。
a)根據3.1節設置模型的訓練參數;
b)標準化輸入數據;
c)讀入拓撲圖的鄰接矩陣A,并計算AEuclid ExtrauBpadp、Pf和Pb;
d)for epoch=1 to N do
e)根據DDCIGNN生成隱態:
Ht+1,…,t+T=DDCIGNN(Xt-T′+1,…,t,AEuclid ExtrauBpadp,Pf,Pb)
f)根據輸出層計算最終的預測結果:
YEuclid ExtrauBpt+1,…,t+T=FC(Ht+1,…,t+T)
g)計算損失函數,更新模型參數
h)end for
3仿真與結果分析
為了分析DDCIGNN模型的預測性能,本實驗選取了ESnet上的真實數據進行實驗驗證,并且探討了所提出的模型受歷史觀察時間以及預測持續時間的影響,以確定DDCIGNN模型使用多少歷史流量數據來獲取精準的預測。此外,相比于ARIMA、LR、RNN變體以及DCRNN等預測模型,DDCRNN模型能更精準地預測ESnet流量[12],因此本實驗還與該模型進行了預測精度對比來驗證DDCIGNN模型預測的準確性。
首先,使用皮爾森相關系數對原始的網絡流量進行相關性分析,以證明網絡流量數據中的確存在隱藏的空間特征;其次,從歷史觀察時間和預測持續時間等影響因素多角度開展實驗,探索分析DDCIGNN模型,以確定最優的網絡流量預測模型;最后,使用DDCIGNN模型對ESnet流量數據進行時間、空間及動態特征的提取,并與最近新提出的在ESnet流量數據集上表現最優的DDCRNN模型進行實驗對比分析,以驗證DDCIGNN模型進行特征提取的有效性以及網絡流量預測的準確性。
3.1實驗參數設置
本文從ESnet上采集的流量數據為基準進行仿真實驗來驗證模型的準確性。ESnet直接連接了美國能源部的40多個研究實驗室,并且還與其他140多個研究和商業網絡互連,使得美國能源部的研究人員能與世界各地的科學家們進行無地理限制的合作。本文所使用的數據集由2018年全年共105 120條雙向流量數據組成,它是在ESnet上的42個路由器每隔5 min采集一次所獲取的。42個路由器接口之間流量的相關性如圖2所示,從中可以看出相鄰節點之間的流量具有很強的空間依賴關系。由于路由器接口有時會錯過特定時間間隔的流量數據記錄,本文以相鄰值的平均值來填補缺失值。
為了檢測預測效果,本文采用預測模型性能評估中常用的三個評價指標,即平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percentage error,MAPE)和均方根誤差(root mean squard error,RMSE)對預測結果進行評價,MAE、MAPE和RMSE的值越小,則預測值與實際值之間的差值就越小,預測誤差就越低,預測效果也就越好,其計算公式為
MAE=1N∑Ni=1|i-yi|,RMSE=1N∑Ni=1(i-yi)2(8)
MAPE=1N∑Ni=1|i-yiyi|×100%(9)
其中:N表示樣本總數;yi表示樣本實際值;i表示模型預測值。
在模型訓練過程中,本實驗將ESnet數據集的70%作為訓練集,20%作為測試集,10%作為驗證集,模型選取Adam梯度優化算法,并且手動設置初始學習率為0.001,學習率衰減為0.000 1,epoch為20,batchsize為128,dropout為0.5,其中dropout和batchsize的設置是為了防止模型過擬合。這些超參數值被設置為實現DDCIGNN的默認值。該實驗在Windows10操作系統平臺下,使用Python3.8基于PyTorch 1.8實現。實驗的編譯和測試均在個人計算機上進行,計算機配置信息如下:CPU為Intel CoreTM i5-9500 CPU @ 3.00 GHz;GPU為NVIDIA GeForce GTX1050Ti;操作系統為Windows10。
3.2DDCIGNN預測精度
為了探究歷史觀察時間對DDCIGNN模型的預測精度影響,本文在訓練DDCIGNN時將歷史觀察時間更改為20、40、60、80、100、120 min,以預測未來60 min的流量。表1顯示了在不同的歷史觀察水平下,預測未來60 min的流量所獲得的MAE、MAPE、RMSE值。可以看出,在60 min內,隨著輸入序列長度的增加預測精度會逐漸提高,但是在60 min后,精度的改善并不明顯,可以確定使用60 min的歷史流量數據能獲取更精準的預測效果。在接下來的實驗中,本文都會采用60 min的歷史流量數據作為輸入來訓練DDCIGNN模型。
圖3顯示了以60 min的歷史流量數據作為輸入時,DDCIGNN模型在不同預測范圍下的MAE、MAPE、RMSE值。從圖中可以看出,隨著預測范圍的增加,預測的準確性也會逐漸降低。為了在對比實驗中保證與DDCRNN的預測范圍相同,本文選擇訓練DDCIGNN模型以預測未來60 min的網絡流量。
3.3預測精度比較
表2列出了DDCIGNN和DDCRNN模型在15、30、60 min上的預測結果,可以看出DDCIGNN模型在所有評價指標上均優于DDCRNN模型,并且在長期預測任務中,DDCIGNN模型的預測精度表現更加優異。例如,在15 min的流量預測上,DDCIGNN模型相比于DDCRNN模型,RMSE減少了大約5.3%;在30 min的流量預測上,DDCIGNN模型相比于DDCRNN模型,RMSE減少了大約7.2%;在60 min中的流量預測上,DDCIGNN模型相比于DDCRNN模型,RMSE減少了大約13.0%,證明DDCIGNN模型能夠捕獲遠程網絡流量序列,具有更好的長期預測能力,這是因為DDCRNN是基于RNN的圖卷積網絡預測方法,基于RNN的圖卷積網絡方法難以進行并行化訓練,而且對于長序列建模面臨著梯度消失和梯度爆炸等問題,所以導致預測精度不高。圖4分別顯示了DDCIGNN模型對真實網絡流量在15、30、60 min 上的預測結果曲線。從圖4可以看出,隨著預測持續時間的增加,DDCIGNN模型的預測效果基本趨于穩定,對15 min和30 min的未來流量預測任務,其預測誤差基本不變,僅僅對60 min的未來流量預測上顯現出細微的誤差增大,但是在所有的預測任務中,對峰值流量的預測表現不佳。因此,DDCIGNN模型不僅可以用于短期的流量預測,還可以用于中長期預測。
4結束語
精確地預測網絡流量對于合理分配網絡資源、保證網絡服務質量、設計網絡結構等都具有重大的意義。為了解決目前網絡流量預測模型精度較低的問題,本文提出了一種純卷積操作的動態時空圖預測模型(DDCIGNN),具有并行計算、網絡訓練速度快、梯度穩定的優點。該模型能夠同時捕獲復雜網絡中流量的時空相關性以及動態特性,通過在ESnet數據集上與其他模型進行對比實驗的結果表明,DDCIGNN模型具有更好的預測精度,可以準確把握網絡流量的變化趨勢。在將來的研究工作中主要基于以下幾點:a)繼續探索該模型具有良好預測準確度的因果關系,使網絡流量預測結果的可解釋性更好;b)模型的輸入中只有每個時刻的流量矩陣可以考慮加入鏈路帶寬等更多的特征;c)將DCIGNN模型應用到數據中心網絡節能管理中,增加模型在實際應用中的價值。
參考文獻:
[1]Yang Hanyu,Li Xutao,Qiang Wenhao,et al.A network traffic forecasting method based on SA optimized ARIMA-BP neural network[J].Computer Networks,2021,193(7):108102.
[2]Wang Xing,Zhao Juan,Zhu Lin, et al.Adaptive multi-receptive field spatial-temporal graph convolutional network for traffic forecasting[C]//Proc of IEEE Global Communications Conference.Piscataway,NJ:IEEE Press,2021.
[3]Salinas D,Flunkert V,Gasthaus J, et al.DeepAR:probabilistic forecasting with autoregressive recurrent networks[J].International Journal of Forecasting,2020,36(3):1181-1191.
[4]Yao Zhenjie,Xu Qian,Chen Yongrui, et al.Internet traffic forecasting using temporal-topological graph convolutional networks[C]//Proc of International Joint Conference on Neural Networks.Piscataway,NJ:IEEE Press,2021.
[5]Du Yang,Huang He,Sun Yu’e,et al.Self-adaptive sampling for network traffic measurement[C]//Proc of IEEE Conference on Computer Communications.Piscataway,NJ:IEEE Press,2021.
[6]宋元隆,呂光宏,王桂芝,等.基于圖卷積神經網絡的SDN網絡流量預測[J].計算機科學,2021,48(Z1):392-397.(Song Yuanlong,Lyu Guanghong,Wang Guizhi,et al.SDN network traffic prediction based on graph convolutional neural network[J].Computer Science,2021,48(Z1):392-397.)
[7]Ramakrishnan N,Soni T.Network traffic prediction using recurrent neural networks[C]//Proc of the 17th IEEE International Conference on Machine Learning and Applications.Piscataway,NJ:IEEE Press,2018:187-193.
[8]Wu Zonghan,Pan Shirui,Chen Fengwen,et al.A comprehensive survey on graph neural networks[J].IEEE Trans on Neural Networks and Learning Systems,2020,32(1):4-24.
[9]Zhou Jie,Cui Ganqu,Hu Shengding,et al.Graph neural networks:a review of methods and applications[J].AI Open,2020,1:57-81.
[10]Li Yaguang,Yu Rose,Shahabi C,et al.Diffusion convolutional recurrent neural network:data-driven traffic forecasting[EB/OL].(2018-02-16)[2022-02-10].https://arxiv.org/pdf/1707.01926.pdf.
[11]Andreoletti D,Troia S,Musumeci F,et al.Network traffic prediction based on diffusion convolutional recurrent neural networks[C]//Proc of IEEE Conference on Computer Communications.Piscataway,NJ:IEEE Press,2019:246-251.
[12]Mallick T,Kiran M,Mohammed B,et al.Dynamic graph neural network for traffic forecasting in wide area networks[C]//Proc of IEEE International Conference on Big Data.Piscataway,NJ:IEEE Press,2020.
[13]Yu Bing,Yin Haoteng,Zhu Zhanxing.Spatio-temporal graph convolutional networks:a deep learning framework for traffic forecasting[C]//Proc of the 27th International Joint Conference on Artificial Intelligence.San Francisco:Morgan Kaufmann,2018:3634-3640.
[14]Defferrard M,Bresson X,Vandergheynst P.Convolutional neural networks on graphs with fast localized spectral filtering[C]//Proc of the 30th International Conference on Neural Information Processing System.Red Hook,NY:Curran Associates Inc.,2016:3844-3852.
[15]Yang Chenming,Zhou Zhiheng,Wen Hui,et al.MSTNN:a graph learning based method for the origin-destination traffic prediction[C]//Proc of IEEE International Conference on Communications.Piscataway,NJ:IEEE Press,2020.
[16]Zhao Shuai,Jiang Xiaopeng,Jacobson G,et al.Cellular network traffic prediction incorporating handover:a graph convolutional approach[C]//Proc of the 17th IEEE International Conference on Sensing,Communication,and Networking.Piscataway,NJ:IEEE Press,2020:1-9.
[17]Yan Sijie,Xiong Yuanjun,Lin Dahua.Spatial temporal graph convolutional networks for skeleton-based action recognition[C]//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2018:7444-7452.
[18]Fang Yini,Ergüt S,Patras P.SDGNet:a handover-aware spatiotemporal graph neural network for mobile traffic forecasting[J].IEEE Communications Letters,2022,26(3):582-586.
[19]Pareja A,Domeniconi G,Chen Jie,et al.EvolveGCN:evolving graph convolutional networks for dynamic graphs[C]//Proc of the 34th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2020:5363-5370.
[20]Seo Y,Defferrard M,Vandergheynst P,et al.Structured sequence modeling with graph convolutional recurrent networks[C]//Proc of the 25th International Conference on Neural Information Processing.Cham:Springer,2018:362-373.
[21]Wu Zonghan,Pan Shirui,Long Guodong,et al.Graph wavenet for deep spatial-temporal graph modeling[C]//Proc of the 28th International Joint Conference on Artificial Intelligence.San Francisco:Morgan Kaufmann,2019:1907-1913.
[22]Liu Minhao,Zeng Ailing,Xu Zhijian,et al.Time series is a special sequence:forecasting with sample convolution and interaction[EB/OL].(2021-10-19).https://arxiv.org/pdf/2106.09305v2.pdf.
[23]朱江,潘成勝,孔志翔,等.基于Prophet融合MGF提取的網絡流量預測[J].計算機仿真,2021,38(7):475-480.(Zhu Jiang,Pan Chengsheng,Kong Zhixiang,et al.Network traffic prediction based on Prophet fusion multi-grain feature extraction[J].Computer Simulation,2021,38(7):475-480.)
[24]Bai Lei,Yao Lina,Li Can,et al.Adaptive graph convolutional recurrent network for traffic forecasting[C]//Proc of the 34th International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2020:17804-17815.
收稿日期:2022-05-03;修回日期:2022-07-27基金項目:國家自然科學基金資助項目(61772180);湖北省重點研發計劃資助項目(2020BHB004,2020BAB012);湖北省自然科學基金面上類資助項目(2021CFB606);湖北工業大學博士科研基金資助項目(BSQD2020062)
作者簡介:王菁(1983-),女,湖北武漢人,講師,碩導,博士,主要研究方向為網絡優化及智能計算;文曉東(1995-),男,湖北荊州人,碩士研究生,主要研究方向為網絡智能優化;王春枝(1963-),女(通信作者),湖北武漢人,教授,博導,博士,主要研究方向為網絡智能優化及大數據處理(chunzhiwang@mail.hbut.edu.cn).