大型IP網絡流量矩陣分析預測的探討研究

摘要： 高效、準確的網際協議（internet protocol， IP）網絡流量流向分析預測是網絡規劃建設的基礎。通過部署流量采集分析系統，運營商可輕松獲取網絡總流量、節點流量、節點分方向流量等較完備的歷史基礎數據，為流量分析預測提供關鍵的輸入。IP網絡流量分析預測方法主要包括兩類：傳統統計模型和神經網絡模型，近年提出的NeuralProphet模型因結合兩者優點而得到廣泛關注和應用。首次基于NeuralProphet模型對大型運營級IP網絡源節點到目的節點的流量流向進行直接預測，并采用改進的損失函數優化模型訓練，預測結果表明NeuralProphet模型能夠更科學、準確地預測IP網絡流量矩陣，整體預測精度提升了8.7%，同時模型擴展性和魯棒性也具有更佳的表現，可以更好地滿足IP網絡規劃建設和運行維護的實際需求。

關鍵詞： 流量矩陣; 源節點到目的節點流量流向; 節點流量; 預測模型; 自回歸

中圖分類號： TN 915

文獻標志碼： A

DOI：10.12305/j.issn.1001-506X.2024.06.35

Research on analysis and prediction of traffic matrix for large-scale IP network

WEI Xuan¹， LIU Zhihua^1，*， LI Qing²， HE Xiaoming¹， HUANG Junya¹

（1. Guangdong Research Institute of China Telecom Corporation Limited， Guangzhou 510630， China; 2. Research Institute of China Telecom Corporation Limited， Shanghai 200123， China）

Abstract： Efficient and accurate analysis and prediction of traffic flow direction for Internet protocol （IP） network are the basis of network planning and construction. By deploying a traffic collection and analysis system， operators can easily obtain comprehensive historical data such as network total traffic， node traffic， and node directional traffic， which provides key inputs for traffic analysis and prediction. Methods of traffic analysis and prediction for IP network are generally divided into two categories： traditional statistical model and neural network model. The NeuralProphet model proposed in recent years has been widely applied due to its combination of the advantages of the above models. It is the first time to directly predict the origin-destination traffic flow of large-scale carrier-grade IP network based on the NeuralProphet model， and adopts the improved loss function to optimize model training. The prediction results show that the NeuralProphet model can predict traffic matrix of IP network more scientifically and accurately， and the overall prediction accuracy was improved by 8.7%. Meanwhile， the model has better scalability and robustness， which can better meet the actual needs of IP network planning and maintenance.

Keywords： traffic matrix; origin-destination traffic flow; node traffic; prediction model; auto-regression

0 引 言

隨著大量互聯網業務應用的風起云涌、層出不窮，運營級網際協議（internet protocol， IP）承載網的業務流量也長期持續暴漲，目前總體流量仍以約20%的年增長率高速增長。為了滿足上層應用和業務快速發展的承載需求，運營商必須提前策劃和布局IP網絡的整體結構、設備選型、鏈路帶寬設計等重要事項，而高效、準確的IP網絡流量流向分析預測則是以上網絡規劃、擴容建設等決策工作的前提和依據，同時也是及時發現網絡異常情況、處理突發故障、保障IP網絡長期穩定、可靠運行的關鍵。

流量數據是IP網絡運營管理的重要基礎數據，通過采集和監測流量數據，運營商可以了解整個網絡的運行態勢、網絡負載情況等，并為未來網絡的規劃和建設運營提供數據支持。目前，大型運營級IP網絡流量的常規監測采集方式主要有兩種：一種基于簡單網絡管理協議（simple network management protocol， SNMP）進行流量采集^［1-3］，一種基于xFlow流技術進行網絡流量流向的采集^［4-6］。作為一種最常用的網絡基本流量采集方法，SNMP通過采集網絡節點或者鏈路的SNMP信息來獲取網絡關鍵點的流量數據。SNMP是標準的傳輸控制協議/IP（transmission control protocol/IP， TCP/IP）網絡管理協議，能夠支持所有的網絡設備，部署相對靈活、簡單，但缺點是功能單一、信息量少，缺少流量的來源和去向等關鍵信息，因而只適用于流量大小的采集而無法進行流量流向的分析。基于xFlow流技術的數據采集是利用網絡設備中各類netFlow、sFlow等網絡流量采集分析方法，通過抽樣技術（按不同需求抽樣比從100到10 000不等）記錄設備端口或網絡鏈路中包含五元組、業務類型、地址池、自治系統（autonomous system， AS）號或路由信息在內的流量大小，從而可為流向、流量及業務分布等分析提供詳細的數據素材，適用于各類網絡流量的監測和分析。但xFlow流技術需要設備開啟xFlow功能，xFlow對設備CPU、存儲等資源的占用會造成轉發性能的部分損失，另外還需要同時部署較大規模的流量分析系統。因此，綜合考慮成本代價和運營管理目標之間的平衡，相對于SNMP從一開始就進行地毯式的廣泛部署，xFlow流技術近十年才開始主要在大型運營級IP網絡的網絡接入點、網絡出口點等關鍵節點進行實施開啟。通過部署SNMP和xFlow技術，運營商可以方便地獲取到網絡總流量、節點總流量、節點分方向流量等較完備的歷史基礎數據，為后續的IP網絡規劃和運營提供了決策依據。

IP互聯網本質是應用驅動型的網絡，在海量、瞬息萬變的短尾應用與用戶行為日益復雜的環境下，捕捉和分析大量應用的總體流量特征并準確預測流量流向分布成為一個亟需攻克的難題。IP網絡流量所具有的自相似性、長相關性、混沌性、突發性等新特點也導致傳統泊松流量模型無法再適用^［7-8］，因而需要在實踐中不斷研究探索以尋找更科學的理論模型和預測方法。迄今為止，應用于IP網絡流量分析預測的模型大體分為兩類：傳統統計方法^［9-13］和神經網絡模型方法^［14-20］。傳統統計模型因難以描述流量的非線性而表現欠佳，而神經網絡模型盡管能較好地捕捉非線性特性，但普遍存在“黑盒子”的弊端，且對數據量有較高要求，這對于具有較少歷史數據量（如按月、年采集）的長期網絡流量預測是一個較大的挑戰。另外，目前這些方法大多只適用于網絡總流量、節點流量大小的預測，而對于源節點到目的節點（origin-destination， OD）的流量矩陣或OD流量流向的預測尚處于起步階段。相對于網絡總流量、節點流量，流量矩陣的研究至關重要，因為所有流量的分析預測最終都需要轉化為明確的流量流向分布，才能在實際的帶寬規劃或工程運營中真正發揮作用。

在xFlow技術大范圍部署之前，運營商只能直接獲取和分析網絡節點流量的大小，流量流向分布的獲取必須通過一些近似方法（如吸引系數法、矩陣估計法等^［21-22］）來構造節點間的比例關系，然后再將節點流量按比例分配到比例矩陣中，從而得到整個運營級IP網絡的流量矩陣。這些方法通常比較粗糙，流量矩陣的預測主要基于節點流量來進行，人為構造的比例矩陣成為模型誤差的主要來源。而xFlow的部署為基于直接獲取的網絡流量流向分布來進行探索研究創造了條件，運營級IP網絡流量矩陣的分析預測得以進入到嶄新的發展階段。在此基礎上，本文首次基于NeuralProphet模型直接對中國電信大型運營級IP網絡的OD流量流向進行預測，并采用改進的Huber函數作為損失函數，從而加快和優化了模型的訓練過程。同時，對比基于傳統時間序列分析的差分整合移動平均自回歸（auto-regressive integrated moving average， ARIMA）模型和Prophet模型預測節點流量、進而通過按比例分配得到預測流量矩陣的其他兩種方法，預測結果表明NeuralProphet模型兼具傳統統計模型的可解釋性和神經網絡的強大擴展性，能夠更科學地預測IP網絡流量矩陣并獲得準確性、擴展性和魯棒性更佳的結果。

1 預測方法

1.1 NeuralProphet模型

NeuralProphet模型是一種結合了傳統統計模型和神經網絡模型優點的新型混合模型^［23］，繼承了其前身Prophet模型^［24］及其他時間序列模型的模塊化分解的核心思想，模型本質上將一個時間序列分解為多個獨立的不同組成模塊，每個組成模塊都有各自的輸入和建模過程，為預測模型貢獻相應的組成分量。NeuralProphet模型的各個模塊如下所示：

?（t）=T（t）+S（t）+E（t）+F（t）+A（t）+L（t）（1）

式中：?（t）是所研究的目標時間序列;T（t）是趨勢分量;S（t）是季節分量;E（t）是事件和節假日效應;F（t）是外生變量在未來時間t的回歸效應;A（t）是基于過去觀測的時間t的自回歸（auto-regressive， AR）效應;L（t）是t時刻外生變量滯后觀測的回歸效應。

對應于本文所研究的大型IP網絡流量矩陣的分析預測，由于流量采集的周期為月份數據，且并未考慮其他外生變量的滯后回歸及未來影響的效應，因此此時NeuralProphet模型沒有節假日效應E（t）、未來回歸項F（t）及滯后回歸項L（t），式（1）可以簡化為

?（t）=T（t）+S（t）+A（t）（2）

1.1.1 趨勢分量T（t）

趨勢分量的經典建模方法可以歸結為求解偏移量m和增長率k的問題，NeuralProphet模型允許增長率在多個位置上發生變化，這些位置稱之為變點，此時趨勢分量被建模為連續分段線性函數系列。如果變點選擇得當且數量充足，理論上任何非線性增長都可以通過分段線性進行擬合，這使得分段線性增長趨勢可以適用于線性或非線性的任何場景，同時具有很好的解釋性。由于分段線性函數中的偏移量m和增長率k其實是隨著時間而變化的，因此定義時間相關的增長率δ（t）和偏移量ρ（t），此時基于分段線性函數的趨勢增長模型如下所示：

T（t）=δ（t）·t+ρ（t）=（δ₀+Γ（t）^Tδ）·t+（ρ₀+Γ（t）^Tρ）（3）

式中：δ=（δ₁，δ₂，…，δ_nc），ρ=（ρ₁，ρ₂，…，ρ_nc），Γ（t）=（Γ₁（t），Γ₂（t），…，Γ_nc（t）），Γ（t）為二元向量：

Γ_j（t）=1， t≥c_j

0， 其他

變點集合C={c₁，c₂，…，c_nc}，n_c為變點的數量，δ₀和ρ₀分別為初始增長率和初始偏移量。

1.1.2 季節性分量S（t）

傅里葉級數是季節性建模的好工具，因為它可以產生易于解釋且穩定的平滑函數，非常適合應用于各種不同周期季節性數據的仿真擬合。NeuralProphet中的季節性正是使用傅里葉級數來實現的，每一個具有周期性p的季節項S_p（t）可由傅里葉項來定義：

S_p（t）=∑kj=1a_jcos2πjtp+b_jsin2πjtp （4）

式中：p是時間序列的周期;k為具有周期性p的季節性傅里葉項的級數;a_j、b_j分別是余弦函數、正弦函數的加權系數;每一個具有周期性p的季節分量與 2k個系數相關聯，此時季節分量的問題轉化為確定參數p、k并求解最優系數β=（a₁，b₁，…a_k，b_k）^T的問題。在一個多周期季節性的場景中，可以為每個季節性定義不同的p值和k值，NeuralProphet模型則根據數據的采集頻率和數據長度自動激活每日、每周、每月或每年的周期季節性。

1.1.3 AR分量A（t）

對于一個經典的AR時間序列模型而言，p階AR的建模過程可以認為是若干個過去數據的線性組合：

y_t=c+∑pi=1w_i.y_t－i+ε_t （5）

式中：w_i為每個過去值的權重系數;c為截距;ε_t為噪聲。

不同于經典AR模型，NeuralProphet模型中引入了AR網絡（AR network， AR-Net），AR分量A（t）通過AR前饋神經網絡AR-Net來實現。AR-Net不僅可以采用線性建模，也可以采用非線性的深度AR（deep-AR）建模，這使得NeuralProphet模型能夠適用于各種復雜多變的應用場景。如圖1所示，圖1（a）是與經典AR等效的線性AR建模的神經網絡架構，AR模塊不包含隱藏層，而是一個有著p個輸入、h個輸出的單層神經網絡，此時將時間序列的最后p個觀測值y_t-1，y_t-2，…，y_t-p作為輸入，相應權重系數為w₁，w₂，…，w_p;圖1（b）是受到機器學習模型啟發，選擇了添加l個尺寸為d的隱藏層的AR-Net架構，AR-Net第一層模仿了經典AR的表達，時間序列的最后p個觀測值作為第一層的輸入，而中間每個隱藏層的輸出都通過一個激活函數模塊，這里為整流線性單元（rectified linear unit， ReLU），最后一層不經過激活函數模塊，輸出h個序列。AR-Net添加隱藏層可以完成非線性動力學的建模并實現更精準的預測，但代價是降低了模型的可解釋性。

對于隱藏層尺寸為 d 的l個隱藏層，AR-Net模塊每層的輸出如下：

第1層：a₁=f_a（W₁x+b₁），其中x=（y_t－1，y_t－2，…，y_t－p）;

中間隱藏層：a_i=f_a（W_ia_i－1+b_i），i∈［2，3，…，l］;

最后一層：y=W_l+1a_l。

其中，f_a（x）為激活函數，且f_a（x）=ReLU（x）=x，x≥0

0，xlt;0，b_i∈R^d為隱藏層i的偏移量，除第1層權重向量W₁∈R^d×p及最后一層權重向量W_l+1∈R^h×d外，其余中間隱藏層的權重向量W∈R^d×d。

1.2 NeuralProphet模型對Prophet模型的改進

NeuralProphet模型與其前身Prophet模型相比，相似的組成部分有趨勢分量、季節分量、節假日特殊事件分量、未來回歸分量等，不同之處在于增加了AR分量和外生滯后回歸分量。和許多“黑盒子”的神經網絡不同，NeuralProphet保留了 Prophet 的所有優勢，而且通過引入AR-Net和超強的Pytorch后端這兩個變革式的改進，將神經網絡的可擴展性與傳統AR模型的可解釋性進行了完美結合，推動模型整體性能產生了質的飛躍。重磅級全自動AR-Net的出現，使得AR模塊借助神經網絡并貼合歷史數據的基本特征，更快捷精準地擬合客觀現實，提高了模型準確性和魯棒性。此外， 由于Pytorch的應用，NeuralProphet模型不再局限于線性回歸，而可采用適應性更強的ReLU非線性深度回歸并基于隨機梯度下降（stochastic gradient descent， SGD）進行模型參數優化，極大地加快了建模的速度和效率。

2 流量流向分析與預測

2.1 流量數據集

2.1.1 數據來源

通過在中國電信省際IP網絡的出口節點大規模部署xFlow流量采集設備及采集分析系統，得到了大型運營級省際IP網絡的歷史流量流向矩陣報表數據，報表輸出時間顆粒度為月度數據，流量采集時間點為從2015年5月至2023年3月的共計95個時間點。每個月的流量矩陣報表共包含了16個省際節點之間的16×16（即256個）OD流量流向，原始流量矩陣的數據格式如表1所示，表中第i行、第j列元素表示第i個節點流出到第j個節點的流量，第i行代表了第i個節點流出到其他各節點方向上的流量，第i行流量之和則代表了第i個節點的節點流量。表1中對角線上的元素表示節點內部的流量，這是由于中國電信省際節點除了轉發省際流量外，同時還需要負責轉發省內不同城域網之間的流量。

2.1.2 數據格式轉換

原始歷史流量數據為95個如表1所示的16×16的原始矩陣報表格式，但這樣的數據格式不方便后續的時間序列分析和流量預測，因此考慮先將所有的矩陣報表進行格式轉換及數據合并，形成如表2所示的數據結構。表2中，第1列是時間，剩余的每列代表了表1中每個OD對（即每個節點方向對）之間的歷史流量時間序列，例如表2第4列（“N1～N3”列）表示流向為節點N1到節點N3的所有歷史采集時間下（2015年5月～2023年3月）的流量序列。此時，95個形如表1的16×16的流量矩陣數據轉換為形如表2的95行（時間點）256（16×16）列數據的流量流向時間序列。

2.1.3 數據預處理

通常而言，在正式進行統計分析和預測前需要對數據集進行適當的數據清洗，即數據預處理工作，主要包括補充數據缺失值以及對異常值進行識別及剔除。

對于本文的數據集，缺失值主要有兩種情況，一種是某個時間點的所有流量數據的集體缺失，另一種是某個時間點的個別節點或個別節點個別方向的流量數據缺失。第一種情況比較罕見，一般是由采集分析系統的整體故障或工程變更而導致;第二種情況則比較常見，通常由采集系統局部或單點原因引起。無論哪種情況的數據缺失，目前主要采用傳統的插值法來補充所缺失的數據。圖2展示了用插值法對節點N2及節點N9在時間點38以及時間點82、83缺失值的填充。

對于異常值的識別和剔除需要非常謹慎，因為錯誤的判斷可能會造成正常信息的損失。依據對自身網絡的了解和長期數據統計的相關經驗，目前仍建議采用最簡單有效的拉伊達準則（又稱3 s準則）來進行異常值的判斷，即當數值超出標準差3倍時初步判定為異常值，同時最好能夠結合網絡實際情況及工程運維經驗來進行輔助判斷。可以看到，圖2中N9節點在65時間點流量有一個極大的躍升，但后續流量并未回落，而是以此為基點穩步增長。經與當地運維部門核實，這是由于當時網絡規模擴容調整導致的真實流量的暴增，并不屬于異常情況。

通常傳統時間序列模型（如ARIMA等）容易受歷史數據缺失或異常的干擾影響而導致預測性能下降，但NeuralProphet模型卻因AR模塊自帶糾偏能力而表現出極強的適應性，特別適合這種存在異常波動的IP流量數據的預測建模。

2.2 流量特征分析

2.2.1 節點流量分布

將每月流量矩陣的每行之和作為每個節點的節點流量，將流量矩陣16行分別求和后得到所有16個節點的節點流量。將95個月份的流量矩陣做同樣的運算，得到16個節點的95個月份的節點流量，以及每個節點的95個時間點的平均節點流量。按節點流量由大到小排序畫圖，如圖3所示。

分析16個節點的節點流量，發現每個時間點的節點流量及平均節點流量有如下特點：排名前3位的節點流量均超總流量的10%，且前3位的節點流量之和與總流量的占比高達49%，而其余13個節點的合計流量僅占總流量的51%。由此可見，IP網絡的流量分布具有區域匯聚效應，少量大流量節點貢獻了全網50%的流量。因此，在進行節點流量預測時，應盡量保證大流量節點的預測性能，模型超參數的選取在兼顧公平的同時適當向大流量節點傾斜。

2.2.2 OD流量流向分布

計算95個時間點的歷史流量矩陣的平均流量矩陣，得到平均流量矩陣各個元素（即各個源-目的對）之間的流量。進一步計算每個元素占網絡總流量的比例，并按比例由高到低進行排列畫圖，結果如圖4所示。圖4中，占比總流量大于3%的OD流個數為11，11個OD流合計流量占比高達45%，即約有4%（11/256）的OD流的流量占據全網流量的45%;流量占比大于1%的OD流個數為21，而合計流量占比為60%，即約有8%（21/256）的OD流的流量占據了全網60%的流量。這種現象表明，該IP網絡的流量分布是非均衡的，小部分局向間的流量占比較大，對全網流量起到關鍵的主導和引領作用。在網絡規劃階段及實際網絡運維中應當對這些關鍵局向給予重點關注，在流量預測過程中應優先考慮這些局向預測的準確性，并以此作為模型超參數優化調整的關鍵依據。

2.2.3 OD流量占節點流量的比例

將原始流量矩陣的每行之和作為每個節點的節點流量，用每一行的每個流量矩陣元素除以該行之和（即該節點流量），得到該元素占該節點流量的比例。經過類似計算，得到一個原始流量矩陣的16行的OD流相對節點流量的占比，以及95個時間點的原始流量矩陣的每個OD流相對節點流量的占比。對不同時間點的同一行的OD流量占比進行分析對比，可以發現每個節點的16個OD流的流向流量比例在不同歷史時間點幾乎保持穩定不變。圖5以節點3為例，顯示了節點3的16個OD流占節點流量的比例，圖中不同時間的比例曲線基本重疊在一起。而其他節點也存在相同的特性。利用這個特性，可以簡化流量矩陣的預測過程：先通過恰當的方法預測所有節點的節點流量，再將節點流量按比例分配到各個源-目的局向中，即可得到預測流量矩陣。在下文對比實驗中，ARIMA方法和Prophet模型均基于此特性對節點流量進行預測，在將節點流量進行分配后，獲得最終的流量矩陣。

2.3 分析預測過程

2.3.1 總體流程

首次嘗試利用NeuralProphet模型對大型運營級IP網絡流量矩陣進行分析預測。此前，主要采用多元回歸趨勢外推法、ARIMA方法以及Prophet模型對節點流量進行預測，而本次與之前不同的是，基于NeuralProphet模型首次對流量矩陣（即每個OD流）進行了單獨預測。幾種方法相應的預測結果將在后文進行展示和對比。流量分析預測的完整過程和具體流程如圖6所示。

流量分析預測的完整過程和具體流程主要分為以下5個步驟。

步驟 1 數據采集

通過部署xFlow等采集分析系統采集IP網絡的流量數據，目前共采集95個歷史流量矩陣的月數據。遵循8∶2原則，選取前77個時間點的數據集作為訓練集，后18個時間點的數據作為預測集，即將經過77個時間點的訓練集訓練后得到的模型用于預測后18個時間點的預測集，以預測集的預測結果進行預測效果的評估和對比。

步驟 2 數據預處理

數據預處理主要包括前文提到過的缺失值補充、異常值去除等數據清洗工作，同時需對流量數據做一些數據格式轉換的處理，以及按行求和計算節點流量，計算OD流占節點流量比例等，為后續的流量預測過程做好相應的準備。

步驟 3 流量預測

重點基于NeuralProphet模型對流量矩陣的256個OD流進行訓練和預測，通過NeuralProphet模型強大的AR能力更好地擬合歷史流量并得到適用性更強、效果更好的模型。為了與之前使用的方法進行對比，也給出了ARIMA和Prophet模型的預測結果。

3種方法的相同之處在于，都需要經歷模型反復訓練、參數迭代優化的過程才能得到最優的模型。不同之處在于，ARIMA主要是對時間序列模型p、d、q參數的確定，Prophet模型主要是對變點數量、趨勢參數和季節參數的選取，而NeuralProphet模型除了Prophet模型的基本參數外，更多的是對AR模塊參數的訓練以及神經網絡超參數的確定。

NeuralProphet模型允許使用者根據專業經驗和研究需要自行定義模型的損失函數和度量策略。本實驗采用改進的Huber函數^［25］作為NeuralProphet模型的損失函數：

L_δ（y，?）=12δ（y－?）²， |y－?|lt;δ

|y－?|－δ2， |y－?|≥δ（6）

損失函數中的超參數δ的最優值可通過交叉驗證法來選取。在默認情況下，δ=1，對于本次研究的IP網絡流量流向，經反復迭代仿真后確定δ=3時具有最優的效果。圖7是損失函數隨迭代次數變化的曲線，可見δ=3時損失函數收斂較快，且收斂后損失值較δ=1及δ=2時小。

需要指出的是，ARIMA和Prophet模型是基于節點流量進行的，預測的工作量由256個時間序列縮減為16個，得到節點預測流量后再將其按比例分配到OD流比例中，最終得到預測流量矩陣，這是目前實際工程實踐中常用的簡化方法。

步驟 4 結果分析

將NeuralProphet模型的預測結果與ARIMA、Prophet模型的預測結果進行分析對比，以確定該IP網絡流量矩陣預測的最優方案。在預測精度滿足要求的前提下，可根據實際工程需要，綜合考慮運算效率和模型復雜度而選擇效果次優但更簡單實用的模型。

步驟 5 后評估

運營級IP網絡的流量預測工作是一個長期持續和不斷修正的過程，在新數據不斷采集擴充的情況下，可以通過新數據的反饋和驗證來優化原有模型及參數，形成閉環的預測后評估修正機制，從而提升IP網絡規劃和運營工作的質量。

2.3.2 性能指標

通常可采用誤差平方和（sum of square error， SSE）、均方根誤差（root mean square error， RMSE）、平均絕對誤差（mean absolute error， MAE）或平均絕對百分誤差（mean absolute percentage error， MAPE）等性能指標來評價預測模型的效果。為了便于比較，本文主要采用MAPE作為誤差評價指標，MAPE包括節點流量預測誤差和流量矩陣預測誤差。t時刻節點流量預測誤差和流量矩陣預測誤差分別定義如下：

MAPE_node=100%×1N×∑Ni=1|y_i（t）－?_i（t）|y_i（t）（7）

MAPE_TM=100%×1N²×∑Ni=1∑NJ=1|z_ij（t）－zˇ_ij（t）|z_ij（t）（8）

式中：N是流量矩陣的節點數，本文中N=16;?_i（t）是t時刻節點i的預測流量，y_i（t）是t時刻節點i的實際流量;zˇ_ij（t）是t時刻節點i到節點j的OD流的預測流量，z_ij（t）是t時刻節點i到節點j的OD流的實際流量;節點i、j∈［1，16］。眾所周知，MAPE越小，預測性能越好。

3 結果分析

基于改進的損失函數，利用NeuralProphet模型首次對中國電信大型運營級IP網絡流量流向進行預測并取得了較滿意的效果。下面分別從以下幾個方面對比ARIMA、Prophet模型的預測結果：節點預測誤差、OD流量流向預測誤差、流量矩陣整體預測性能。

3.1 節點流量預測誤差隨時間的變化

圖8是節點流量預測誤差MAPE隨時間變化的曲線圖。

由圖8可見，3種預測模型的MAPE隨預測時長的增加而增大，但傳統ARIMA預測誤差的變化相對另外兩種模型的誤差變化要大得多，ARIMA的預測誤差從預測時長為1個月的7%，增加為預測時長為18個月的48%，而Prophet和NeuralProphet則分別從3%、1%增加到22%、15%。由此可見，NeuralProphet模型由于AR模塊的引入和神經網絡的加持，可以較大地提升節點流量預測的準確性。

3.2 OD流量流向預測誤差隨時間的變化

流量矩陣中OD流預測MAPE誤差隨預測時長從1～18月的變化曲線如圖9所示。與節點流量誤差類似，3種方法的OD流預測誤差均隨時間的增大而增加，其中傳統ARIMA模型的誤差從8%增加到53%，而Prophet和NeuralProphet模型的預測誤差隨時間的變化更加平穩，分別從4%和2%增加到29%和21%。可見，NeuralProphet模型的預測誤差較其他兩種模型更小，因此對于OD流量流向的預測，NeuralProphet模型具有更好的預測效果。

3.3 單個OD流量流向預測結果的對比

以一個OD流量流向的預測結果作為示例，圖10展示了3種模型的預測結果與流量真實值的對比。

由圖10可見，3種方法對于訓練集數據的擬合效果差異不大，都能較好地貼合真實值，但訓練模型在預測集的表現卻差異巨大，只有NeuralProphet模型能夠符合真實流量的趨勢走向并與真實值吻合較好;而Prophet模型雖然在訓練集上可以通過分段線性進行準確地擬合，但由于缺乏測試集的“拐點”信息，容易受到訓練集最后一個變點的影響，導致預測集上擬合曲線不可避免地偏離真實曲線;ARIMA模型也存在類似的問題，由于訓練集最后幾個數值的突降跳躍，導致預測集上的擬合曲線也一路向下，愈發遠離真實曲線。通過對比發現，由于全自動AR-Net的引入，NeuralProphet模型對測試集的預測以歷史數據作為“基準線”，較好地糾正了Prophet模型趨勢項的缺陷，因此模型對于流量的異常或突變容忍度更高，容錯性和泛化能力表現更為優異，模型的魯棒性和穩健性也得到進一步提升。

3.4 流量矩陣預測結果整體對比

為了整體評估流量流向矩陣預測的性能和準確性，畫出3種模型下預測時長為18個月的預測結果與流量矩陣真實值的對比圖，如圖11所示。圖11（a）為ARIMA模型的結果，圖11（b）為Prophet模型的結果，圖11（c）為NeuralProphet模型的結果。不難看到，對于16×16的IP流量流向矩陣而言，NeuralProphet模型的預測性能優于Prophet和ARIMA模型，NeuralProphet模型的256個OD流預測值與真實值的吻合程度遠高于另外兩個模型。

表3是3種預測模型在預測時長為第18個月時的預測結果的評價指標對比，NeuralProphet模型的各項性能指標都比另兩種模型好，可見NeuralProphet模型更適用于這張大型運營級IP網絡流量流向的預測。

4 結束語

針對IP網絡流量快速增長且隨機性、突發性強等特點，本文基于NeuralProphet模型對中國電信大型運營級IP網絡的流量流向進行了詳盡的分析和預測，同時也對比了傳統ARIMA模型和早期的Prophet模型。實踐結果表明，NeuralProphet的模型兼具傳統時間序列分析方法的可解釋性和神經網絡方法的強大高效性，能夠得到準確性、擴展性和魯棒性更佳的預測結果，可以更好地滿足IP網絡規劃建設和運行維護的需求。不過，目前的方法基于單個OD流時間序列來進行，對于超大規模的網絡存在的運算量急劇擴張的問題，如全國31個省的省際流量流向，需分析預測31×31（即961）個OD流序列，而對于由全國300多個城域網組成的城域網間流量，運算量則擴大到約10萬個OD流序列，這在對時限性要求較高的緊急運維調度等場景中局限性較大，因此降低運算量的節點流量預測仍具有實際工程應用價值，而將流量流向矩陣進行整體一次性預測、而非轉換為N²個OD流時間序列的分析預測方法也亟需研究，且意義深遠。

可以預見，隨著各種新型應用的不斷涌現，未來IP 網絡流量的增長和分布仍具有極大的不確定性，今后的流量流向分析預測和網絡結構優化將面臨更大的挑戰，結合深度學習等人工智能方法且方便現網高效使用的流量分析預測模型將成為未來的主流和重點研究方向^［26-33］，需要繼續深入研究和學習探索。

參考文獻

［1］SAFRIANTI E， SARI L O， SARI N A. Real-time network device monitoring system with simple network management protocol （SNMP） Model［C］∥Proc.of the 3rd International Confe-rence on Research and Academic Community Services， 2021： 122-127.

［2］SHMELKIN I， SPRINGER T. On adapting SNMP as communication protocol in distributed control loops for self-adaptive systems［C］∥Proc.of the IEEE International Conference on Autonomic Computing and Self-organizing Systems， 2021： 61-70.

［3］董興強， 李曉冰. 電信運營商網絡流量采集模型研究及應用［J］. 移動通信， 2020， 44（3）： 67-71.

DONG X Q， LI X B. Research and application of telecommunication operator network traffic collection model［J］. Mobile Communications， 2020， 44（3）： 67-71.

［4］YANG B W， LIU D. Design of IP network traffic acquisition system based on xFlow［C］∥Proc.of the IEEE 8th Joint International Information Technology and Artificial Intelligence Conference， 2019： 1631-1634.

［5］NIE L S， WANG H Z， JIANG X， et al. Traffic measurement optimization based on reinforcement learning in large-scale ITS-oriented backbone networks［J］. IEEE Access， 2020， 8： 36988-36996.

［6］WANG M， LU Y Q， QIN J C. Source-based defense against DDoS attacks in SDN based on sFlow and SOM［J］. IEEE Access， 2021， 10： 2097-2116.

［7］榮紅佳， 盛虎， 閆秋婷. 基于改進R/S估計算法的網絡流量長相關性分析［J］. 大連交通大學學報， 2021， 42（2）： 114-119.

RONG H J， SHENG H， YAN Q T. Analysis of network traffic long correlation based on improved R/S estimation algorithm［J］. Journal of Dalian Jiaotong University， 2021， 42（2）： 114-119.

［8］ERRAMILLI A， ROUGHAN M， VEITCH D， et al. Self-similar traffic and network dynamics［J］. Proceedings of the IEEE， 2002， 90（5）： 800-819.

［9］OLGA V， FERNANDO R， LUIS J H， et al. New developments in time series and forecasting［J］. Engineering Proceedings， 2023， 39（1）： 135-148.

［10］王婧， 鮑貴. 貝葉斯統計與傳統統計方法的比較［J］. 統計與決策， 2021， 37（1）： 24-29.

WANG J， BAO G. Comparison between bayesian statistics and traditional statistical methods［J］. Statistics amp; Decision， 2021， 37（1）： 24-29.

［11］LIU H， ZHANG X Y， YANG Y X， et al. Hourly traffic flow forecasting using a new hybrid modelling method［J］. Journal of Central South University， 2022， 29（4）： 1389-1402.

［12］LIAO L C， HU Z Y， HSU C Y， et al. Fourier graph convolution network for time series prediction［J］. Mathematics， 2023， 11（7）： 122-131.

［13］XU G Q， XIA C S， QIAN J， et al. A network traffic prediction algorithm based on Prophet-EALSTM-GPR［J］. Journal on Internet of Things， 2023， 4（2）： 173-182.

［14］VACCARI I， CARLEVARO A， NARTENI S， et al. Xplainable and reliable against adversarial machine learning in data analytics［J］. IEEE Access， 2022， 10： 83949-83970.

［15］史朝衛， 孟相如， 康巧燕， 等. 基于混合流量預測的虛擬網絡拓撲重構方法［J］. 系統工程與電子技術， 2021， 43（5）： 1382-1388.

SHI C W， MENG X R， KANG Q Y， et al. Virtual network topology reconfiguration approach based on hybrid traffic［J］. Systems Engineering and Electronics， 2021， 43（5）： 1382-1388.

［16］YAO E Z， ZHANG L J， LI X H， et al. Traffic forecasting of back servers based on ARIMA-LSTM-CF hybrid model［J］. International Journal of Computational Intelligence Systems， 2023， 16（1）： 244-256.

［17］王菁， 文曉東， 王春枝. 基于動態擴散卷積交互圖神經網絡的網絡流量預測［J］. 計算機應用研究， 2023， 40（1）： 97-101.

WANG J， WEN X D， WANG C Z. Network traffic prediction based on dynamic diffusion convolutional interaction graph neural network［J］. Application Research of Computers， 2023， 40（1）： 97-101.

［18］YANG Y G， GENG S P， ZHANG B C， et al. Long term 5G network traffic forecasting via modeling non-stationarity with deep learning［J］. Communications Engineering， 2023， 2（1）： 135-142.

［19］ETNGU R， TAN C S， CHEE T C， et al. AI-assisted traffic matrix prediction using GA-enabled deep ensemble learning for hybrid SDN［J］. Computer Communications， 2023， 203（2）： 1124-1131.

［20］RAU F， SOTO I， ZABALABLANCO D， et al. A novel traffic prediction method using machine learning for energy efficiency in service provider networks［J］. Sensors， 2023， 23（11）： 155-167.

［21］SWETHA K， PRABU U， ANGEL G， et al. A study on traffic matrix estimation techniques in software-defined networks［C］∥Proc.of the 6th International Conference on Electronics， Communication and Aerospace Technology， 2022： 604-611.

［22］JIANG D D， HU G M. A novel approach to large-scale IP traffic matrix estimation based on RBF neural network［C］∥Proc.of the 4th International Conference on Wireless Communications， Networking and Mobile Computing， 2008.

［23］TRIEBE O， HEWAMALAGE H， PILYUGINA P， et al. NeuralProphet： explainable forecasting at scale［EB/OL］. ［2023-04-10］. https：∥arxiv.org/pdf/2111.15397.pdf.

［24］TAYLOR S J， LETHAM B. Forecasting at scale［J］. The American Statistician， 2018， 72（1）： 37-45.

［25］孫慧慧， 劉強. 基于改進Huber損失的部分線性模型穩健經驗似然推斷［J］. 系統科學與數學， 2022， 42（5）： 1330-1343.

SUN H H， LIU Q. Robust empirical likelihood inference of partial linear models based on improved huber loss［J］. Systems Science and Mathematical Sciences， 2022， 42（5）： 1330-1343.

［26］WU X Y， FU S D， HE Z J. Research on short-term traffic flow combination prediction based on CEEMDAN and machine learning［J］. Applied Sciences， 2022， 13（1）： 1121-1132.

［27］JEBA N， RATHI S. Attention-based multiscale spatiotemporal network for traffic forecast with fusion of external factors［J］. ISPRS International Journal of Geo-Information， 2022， 11（12）： 323-330.

［28］LIN L， LI W Z， ZHU L. Data-driven graph filter-based graph convolutional neural network approach for network-level multi-step traffic prediction［J］. Sustainability， 2022， 14（24）： 211-219.

［29］DALAL A， IMTIAZ A， EBRAHIM A. Deep learning based network traffic matrix prediction［J］. International Journal of Intelligent Networks， 2021， 2（1）： 135-142.

［30］YANG W C， RUI H， ZHAO Q H. A sequence-to-sequence traffic predictor on software-defined networking［J］. International Journal of Web and Grid Services， 2021， 17（3）： 1210-1221.

［31］SAYED S A， YASSER H A， AHMED H H. Artificial intelligence-based traffic flow prediction： a comprehensive review［J］. Journal of Electrical Systems and Information Technology， 2023， 10（1）： 144-153.

［32］XIONG P P， CHEN S T， YAN S L. Time-delay nonlinear model based on interval grey number and its application［J］. Journal of Systems Engineering and Electronics， 2022， 33（2）： 370-380.

［33］LYU S T， LI X H， FAN T， et al. Deep learning for fast channel estimation in millimeter-wave MIMO systems［J］. Journal of Systems Engineering and Electronics， 2022， 33（6）： 1088-1095.

作者簡介

韋 烜（1974—），女，高級工程師，碩士，主要研究方向為IP網絡規劃與運營技術、下一代互聯網。

劉志華（1970—），男，高級工程師，碩士，主要研究方向為云網融合技術、下一代互聯網、網絡安全。

李 青（1973—），男，高級工程師，碩士，主要研究方向為核心網與業務平臺技術、云計算/大數據運營技術。

何曉明（1968—），男，高級工程師，博士，主要研究方向為IP網絡技術、移動互聯網技術。

黃君雅（1993—），女，工程師，碩士，主要研究方向為下一代互聯網、網絡安全。