基于時空融合的網(wǎng)絡(luò)流量預測模型研究

羅永華，王敏竹，寧 芊

（四川大學電子信息學院，成都 610065）

0 引言

隨著物聯(lián)網(wǎng)、云計算和超級大數(shù)據(jù)等各種新型技術(shù)的更新?lián)Q代和不斷普及，網(wǎng)絡(luò)的異構(gòu)型和復雜性不斷增強，全球通信數(shù)據(jù)量呈爆炸式增長［1］。如何對這樣巨大的復雜網(wǎng)絡(luò)系統(tǒng)進行運行管理、行為監(jiān)控和安全保障也就成為了亟待解決的問題［2］。

流量預測技術(shù)通過對網(wǎng)絡(luò)中的數(shù)據(jù)量進行精準預測，可實現(xiàn)網(wǎng)絡(luò)資源的合理預分配，有利于管理復雜的網(wǎng)絡(luò)系統(tǒng)，同時也可以對網(wǎng)絡(luò)中的業(yè)務(wù)流量進行預測，有助于針對不同業(yè)務(wù)提供差異化網(wǎng)絡(luò)服務(wù)［3?4］。

為了解決上述問題，研究人員提出了一系列的預測模型，旨在對網(wǎng)絡(luò)流量進行準確預測。傳統(tǒng)的網(wǎng)絡(luò)流量預測模型，如自回歸模型（AR）［5］/差分整合移動平均自回歸（ARIMA）模型［6］和HoltWinters 算法［7］等，這些模型雖然結(jié)構(gòu)簡單，但都是基于線性的模型，其特點是需要人工依據(jù)經(jīng)驗設(shè)置多種參數(shù)來擬合數(shù)據(jù)，適用于短期流量預測。網(wǎng)絡(luò)流量實際上具有非線性、周期性、自相關(guān)性和突發(fā)性等，僅依靠傳統(tǒng)的線性模型很難擬合準確預測。因此研究人員陸續(xù)提出了相應(yīng)的非線性模型，如支持向量機［8］和深度學習［9?10］等方法。

為了提高網(wǎng)絡(luò)流量預測精度，本文提出基于時空融合的GAT?LSTM 模型，用以解決網(wǎng)絡(luò)中的流量預測問題。GAT?LSTM模型集成了圖注意力網(wǎng)絡(luò)GAT 和長短期記憶循環(huán)網(wǎng)絡(luò)LSTM。GAT 用于捕捉網(wǎng)絡(luò)流量的網(wǎng)狀拓撲關(guān)系，LSTM用于捕捉網(wǎng)絡(luò)流量在時間上的動態(tài)變化關(guān)系。GAT?LSTM模型也可以拓展到其他的預測任務(wù)上運行。實驗階段，本文在數(shù)據(jù)集GEANT和Abilene上與傳統(tǒng)的流量預測算法進行對比，以驗證GAT?LSTM模型的優(yōu)勢。

1 理論分析

1.1 問題定義

網(wǎng)絡(luò)流量預測任務(wù)是指通過對輸入的歷史流量信息進行分析和處理，預測未來時刻的網(wǎng)絡(luò)流量。本文將網(wǎng)絡(luò)流量預測任務(wù)的目標定義為預測網(wǎng)絡(luò)未來時刻的端到端流量。為推導本文的網(wǎng)絡(luò)流量預測任務(wù)，我們將通信網(wǎng)絡(luò)表示為G(V,E)。其中V表示網(wǎng)絡(luò)中的節(jié)點集合，V={u0,u1, …,uN-1}，N表示網(wǎng)絡(luò)中的節(jié)點數(shù)，E表示網(wǎng)絡(luò)中的通信鏈路集合。同時引入鄰接矩陣A∈?N×N表達網(wǎng)絡(luò)的拓撲關(guān)系，其中A由0 和1組成，1 表示兩節(jié)點間存在通信鏈路，0 表示兩節(jié)點之間不存在通信鏈路。我們將通信網(wǎng)絡(luò)中的端到端流量數(shù)據(jù)定義為XN×N×H，作為預測模型的輸入特征，其中H表示輸入歷史流量序列的長度。對于t時刻的端到端流量信息，我們可以將其表示為Xt∈?N×N×i。

因此，網(wǎng)絡(luò)G的流量預測任務(wù)可以看作為，在綜合分析歷史流量信息XN×N×H下，通過映射函數(shù)f來預測下一T時刻網(wǎng)絡(luò)流量的過程，表示如下：

式中：n是歷史流量數(shù)據(jù)的長度，T是需要預測的流量序列的長度。

1.2 實驗數(shù)據(jù)集

GEANT：該數(shù)據(jù)集是由薩里大學研究團隊收集并整理的來自GEANT 網(wǎng)絡(luò)的流量信息，GEANT 網(wǎng)絡(luò)將整個歐洲的國家研究和教育網(wǎng)絡(luò)（NRENs）互相連接起來，其主要由23個路由器，38 條鏈路組成。GEANT 數(shù)據(jù)集每隔15 min 記錄一次，時間跨度為5個多月，共167天。

Abilene：Abilene 開源數(shù)據(jù)集描述了美國主干網(wǎng)的12 個節(jié)點之間的流量信息，網(wǎng)絡(luò)節(jié)點間存在15 條鏈路，該數(shù)據(jù)集時間跨度從2004 年5月1日到2004年9月10日。

2 研究方法

2.1 ARIMA模型

Hyun 等［6］早期提出了差分整合移動平均自回歸模型（ARIMA），通過分析網(wǎng)絡(luò)流量時間序列的自相關(guān)性，可以捕捉到網(wǎng)絡(luò)流量的時間特性，ARIMA（p，d，q）模型可表示為

式中：L是滯后算子，d∈?,d> 0。

ARIMA 模型要求時間序列是平穩(wěn)的，若為非平穩(wěn)時間序列，則需要將時間序列轉(zhuǎn)換為平穩(wěn)時間序列，并求取最佳的階層和階數(shù)。

2.2 LSTM長短時記憶網(wǎng)絡(luò)

LSTM 與一般的前饋神經(jīng)網(wǎng)絡(luò)不同，LSTM能夠合理運用當前輸入時刻及以前的特征信息，能夠處理好時間維度的特征，常被用于時間序列預測問題。

如圖1所示，LSTM 由遺忘門、記憶門以及輸出門組成。遺忘門的作用是選擇性過濾掉之前單元狀態(tài)中的某些分量，避免過多的記憶信息影響網(wǎng)絡(luò)。記憶門是用來提取當前輸入數(shù)據(jù)的有效信息，并將篩選后的信息并入到單元狀態(tài)的控制單位。輸出門是用于計算當前時刻輸出值的神經(jīng)層。LSTM模型可表示為

圖1 LSTM長短時記憶網(wǎng)絡(luò)

2.3 GAT?LSTM模型

圖注意力網(wǎng)絡(luò)GAT 是VELICKOVIC P 等［9］于2018年提出的一種圖神經(jīng)網(wǎng)絡(luò)模型，該模型將注意力機制引入到圖神經(jīng)網(wǎng)絡(luò)中，每一層通過鄰居對新特征的貢獻度進行特征聚合，以此生成節(jié)點的新特征，能夠有效學習信息的空間特征。

如圖2所示，GAT?LSTM 模型通過多組GAT學習網(wǎng)絡(luò)流量的空間特征并賦給網(wǎng)絡(luò)中的節(jié)點，LSTM 將帶有空間特征的時間序列預測輸出，其模型實現(xiàn)過程如下：

圖2 GAT?LSTM 架構(gòu)

首先，我們定義t時刻輸入的任意單個時間片的流量數(shù)據(jù)為Xt={h1,h2, …,hN}，其中hi∈?N×F，N是節(jié)點個數(shù)，F(xiàn)是節(jié)點特征的維度，通過式（7）、（8），我們可以得到不同節(jié)點之間的注意力系數(shù)αi,j：

式中：ei,j表示節(jié)點i對節(jié)點j的權(quán)重；a→∈?2F'是神經(jīng)網(wǎng)絡(luò)中連接層與層之間的權(quán)重矩陣；W∈?NF×F'是待學習的權(quán)重矩陣；‖ 表示連接操作；?T表示轉(zhuǎn)置；Ni表示節(jié)點i的鄰居節(jié)點集合。

單個時間片的輸出可以通過k組獨立的注意力機制來拼接每一組注意力聚合的結(jié)果，并延遲最終的非線性函數(shù)，其過程表示如下：

GAT?LSTM 模型對于當前時刻輸入歷史流量中的每一個時間片都通過多組GAT 提取空間特征，并將其t時刻的輸出定義為

式中：Ls=H是歷史流量數(shù)據(jù)的長度；fs=F'是經(jīng)過多組GAT后節(jié)點特征的維度。

GAT?LSTM 模型將St序列送入到LSTM 模型中獲取最終輸出，可表示如下：

式中：LSTM表示經(jīng)過LSTM模型。

3 實驗分析

3.1 評價指標

為了定量分析ARIMA、GAT、LSTM、GAT?LSTM 模型的評估性能，我們選擇了平均絕對誤差MAE、均方根誤差RMSE、誤差ERROR、決定系數(shù)R2四個評價指標去評估真實流量與預測流量的差異，R2越接近1模型性能越好，RMSE、MAE、ERROR 越接近于0，模型性能越好。下述評價指標的計算公式中，Y?t表示預測值，Yt表示真實值，Yˉ表示真實值的平均值，n是真實值的數(shù)量。

3.2 結(jié)果分析

實驗中，本文將網(wǎng)絡(luò)流量數(shù)據(jù)集歸一化到［0, 1］中，并按照7∶2∶1的比例劃分為訓練集、驗證集和測試集。同時用歷史的十組數(shù)據(jù)去預測未來15 min，30 min，45 min，60 min的流量。本文設(shè)置學習率為0.001，batch size 為64，優(yōu)化器采用Adam 優(yōu)化器，訓練迭代次數(shù)為500 次，GAT?LSTM 模型中注意力頭數(shù)設(shè)置為n=2，神經(jīng)元個數(shù)設(shè)置為［8, 16, 64］。

表1顯示了GAT?LSTM 模型與傳統(tǒng)基線模型在數(shù)據(jù)集GEANT和Abilene下，預測未來15 min，30 min，45 min，60 min 的性能對比。從表1 可以看見，ARIMA 的預測性能最差，例如基于數(shù)據(jù)集GEANT 下的15 min預測任務(wù)中，ARIMA 的RMSE 大約是0.044117，R2大約是0.525201，這是因為ARIMA 作為經(jīng)典的時間序列預測模型，本質(zhì)上僅能提取網(wǎng)絡(luò)流量序列的時間特性。相比于ARIMA，基于神經(jīng)網(wǎng)絡(luò)的模型具有更好的預測性能，這是因為神經(jīng)網(wǎng)絡(luò)能夠較好地提取網(wǎng)絡(luò)流量序列的非線性關(guān)系和空間特征。GAT?LSTM同時考慮了網(wǎng)絡(luò)流量序列的空間依賴性和時間相關(guān)性。因此相比于傳統(tǒng)的ARIMA，GAT?LSTM模型獲得了更好的預測性能。

表1 評價指標

為了評估GAT?LSTM 捕獲網(wǎng)絡(luò)流量序列的能力，如圖3、圖4 所示，我們將GAT?LSTM 與ARIMA 在數(shù)據(jù)集GEANT 和Abilene 上不同的預測范圍內(nèi)進行對比。結(jié)果表明，相比于只考慮了時間特征的模型（ARIMA），GAT?LSTM 在不同的預測尺度上都具有更好的預測性能，并且隨著預測尺度的增大，GAT?LSTM模型能夠保持穩(wěn)定的預測性能，相比于ARIMA，GAT?LSTM更適合應(yīng)用于長期預測。

圖3 基于數(shù)據(jù)集GEANT上的時空預測能力

圖4 基于數(shù)據(jù)集Abilene上的時空預測能力

為了更直觀地觀察GAT?LSTM 與傳統(tǒng)基線模型預測性能的對比，我們從數(shù)據(jù)集GEANT中抽取出一條網(wǎng)絡(luò)流量進行可視化分析。圖5、圖6 分別展示了GAT?LSTM 和ARIMA 基于數(shù)據(jù)集GEANT 和Abilene 下30 min 預測任務(wù)的性能。從圖中可以看出，GAT?LSTM 能夠準確描述網(wǎng)絡(luò)流量序列的局部最小值/最大值，ARIMA 隨著預測尺度的增加，預測局部最大值/最小值的性能降低。

圖5 基于數(shù)據(jù)集GEANT下30 min的預測性能

圖6 基于數(shù)據(jù)集Abilene下30 min的預測性能

4 結(jié)語

本文通過組合LSTM 和GAT，形成了GAT?LSTM 模型。將該模型應(yīng)用于網(wǎng)絡(luò)流量數(shù)據(jù)集GEANT 和Abilene中，并與傳統(tǒng)的時間預測模型進行了比較，就結(jié)果而言，GAT?LSTM 獲得了較好的預測性能。同時，為了驗證GAT?LSTM 模型對于時空特征的敏感性，本文以RMSE 為評價指標，實驗證明相比于單一特征提取的模型，GAT?LSTM 能夠更好地學習到時間序列的時空特征。綜上，GAT?LSTM 模型在一定程度上補足了現(xiàn)有研究的不足，同時也能為網(wǎng)絡(luò)流量預測精度提升提供必要的參考依據(jù)。