基于時間序列分析及機器學習的移動網絡業(yè)務量預測技術

江元 楊波 趙東來 鄭黎明 武悅 王鋼

摘 要：隨著NB-IoT及5G網絡建設的不斷拓展，越來越多的物聯(lián)網設備通過公共移動通信網絡接入，傳輸數(shù)據至云計算服務器進行集中處理。通過移動通信網絡承載物聯(lián)網數(shù)據及業(yè)務，為車聯(lián)網、廣域感知及可穿戴設備等需要在更廣范圍內進行數(shù)據傳輸?shù)膱鼍疤峁┯行У耐ㄐ攀侄危瑫r也對移動網絡自身提出了更高的要求，帶來了網絡流量的爆炸性增長。因此，對業(yè)務量的提前預測成為物聯(lián)網時代移動通信網絡的迫切需求。文中主要通過時間序列分析技術及機器學習方法對網絡業(yè)務量及網絡終端數(shù)量進行預測，并利用真實移動通信網絡中業(yè)務量及終端數(shù)量進行仿真和驗證，證明了所提方法的有效性，此外也證明了基于神經網絡的機器學習方法在業(yè)務量及終端數(shù)量預測中相較傳統(tǒng)方法具有更高的預測準確性。

關鍵詞：物聯(lián)網;時間序列分析;機器學習;神經網絡;業(yè)務量預測;激活函數(shù)

中圖分類號：TP391.7文獻標識碼：A文章編號：2095-1302（2020）06-00-04

0 引 言

物聯(lián)網是一系列技術工具的組合，從物聯(lián)網作為數(shù)據收集、傳輸、處理及利用的視角來看，物聯(lián)網可以大致分為四層，即基于傳感器技術的感知層、基于通信及網絡技術的傳輸層、基于云計算與存儲的數(shù)據層及提供各類服務的應用層[1]。傳輸層是物聯(lián)網技術中極其重要的一個環(huán)節(jié)，傳統(tǒng)物聯(lián)網主要通過私有、局部的網絡進行數(shù)據傳輸，這在很大程度上限制了物聯(lián)網技術的發(fā)展。私有網絡區(qū)域較為狹窄，無法承載車聯(lián)網、可穿戴設備及大范圍內的智能感知業(yè)務，沒有泛在接入的移動互聯(lián)網就不會有當前豐富的移動互聯(lián)網業(yè)務，同樣只有通過更大范圍的泛在物聯(lián)網接入，才能促進物聯(lián)網技術的真正普及。

我國基于公共移動網絡的物聯(lián)網接入技術及系統(tǒng)近年來越來越受矚目[2-3]。從2018年起，中國三大運營商開始大規(guī)模部署基于移動網絡的窄帶物聯(lián)網技術NB-IoT系統(tǒng)，2019年

我國又開始大規(guī)模進行5G網絡建設。其中5G網絡應用的一個主要場景—增強型機器類型通信（eMTC），主要面向物聯(lián)網場景，提供每平方千米一百萬臺終端的連接能力，將極大促進物聯(lián)網相關技術及產業(yè)的發(fā)展[4-5]。同時，隨著物聯(lián)網設備接入能力的提升，網絡也面臨著吞吐量指數(shù)增長的壓力，因此針對業(yè)務預測的網絡優(yōu)化成為穩(wěn)定支撐海量終端的關鍵。本文在此背景下對這一問題進行探索，通過時間序列分析及機器學習方法來完成基于歷史數(shù)據的業(yè)務預測。

1 業(yè)務量預測基本模型

1.1 乘積ARIMA模型

ARIMA模型是最常用的時間序列分析方法，被廣泛應用于各類時間序列分析的應用中[6]。序列的季節(jié)性是指序列具有長度固定的周期，不同周期的同一時刻之間具有一定的關系，ARIMA模型就考慮了相鄰或相似序列之間的相關性。假定S為序列周期，，考慮季節(jié)性滯后的簡單季節(jié)模型為：

式中：;;{Φi}與{Θj}是季節(jié)性AR與MA的系數(shù)。假設季節(jié)影響與其他影響之間是乘積關系，構造乘積ARIMA模型，不僅僅在季節(jié)性滯后具有相關性，在相近的序列值之間也有關聯(lián)特征，通常表示為，模型公式：

通常模型建立包括以下6個基本步驟：

（1）采用定性觀察與定量檢驗相結合的方法識別時間序列平穩(wěn)性;

（2）若時間序列不平穩(wěn)，則用差分變換等方法進行處理，完成后再次判斷序列平穩(wěn)性;

（3）根據自相關函數(shù)與偏相關函數(shù)大致判斷階數(shù)范圍，聯(lián)合準則函數(shù)找到最優(yōu)階數(shù)，完成模型識別;

（4）進行模型的參數(shù)估計;

（5）得到擬合模型后的殘差序列，分析殘差序列的特性，判斷殘差是否滿足白噪聲的特性;

（6）已經通過檢驗的模型進一步對未來進行預測，分析預測誤差。

1.2 Holt-Winters模型

Holt-Winters是基于指數(shù)平滑的一種，包括加法季節(jié)和乘法季節(jié)兩種模型[7]。當季節(jié)變量在整個序列中大致不變時，加性模型更有效;當季節(jié)變量隨時間序列成比例變化時，乘積Holt-Winters模型更適用。Holt-Winters模型對序列在不同時間點的水平成分為lt，斜率成分為bt和季節(jié)性成分為st。具有線性時間趨勢符合加法模型特性的序列可以使用基于加法的Holt-Winters模型，時間序列xt平滑后的序列x't由下式得出：

式中：;m為季節(jié)性周期;lt表示序列的水平部分;bt表示趨勢成分;St為季節(jié)成分;h為預測時向后推遲的時間點，其值大于0;x't+h|t是h步后的預測值。參數(shù)α，β和γ的取值為[0，1]，這三個值的取值與1越相近，說明與當前觀測點越近的值對未來預測值的影響就越大。序列的平滑性由當前時間點上的取值水平分量、趨勢成分分量和季節(jié)性成分分量共同決定。

基于乘法的Holt-Winters季節(jié)模型適用于有線性時間趨勢和符合乘法模型特性的序列。時間序列xt平滑后的序列x't由下式得出：

Holt-Winters模型基于迭代關系，需要對初始值進行初始化設定，然而對于Holt-Winters模型來說，初始值的選取與設定對最終模型參數(shù)的影響不大，經過多次迭代后，初始值將會被逐漸忘卻，對最終結果造成的影響就會越來越小。一般來說，對于理想狀態(tài)，Holt-Winters模型類似具有無限長的記憶，觀測值的權值以指數(shù)規(guī)律遞減。在本文研究中，主要采用基于加法的Holt-Winters模型。

1.3 BP神經網絡模型

反向傳播網絡（Back-Propagation Network，BPN）是被廣泛使用的一種人工神經網絡模型，是具有監(jiān)督學習的前饋神經網絡的一種[7]。訓練數(shù)據集作為輸入提供給人工神經網絡，神經元的初始權重通常是隨機設定的。在迭代學習過程中，運行前饋算法從而得到輸出結果，通過其與實際輸出結果比較得到誤差值，誤差函數(shù)反映出當前學習的質量水平，將誤差從輸出層至輸入層進行反向傳播，通常采用梯度最速下降的方法來逐步迭代，從而對誤差函數(shù)進行最小化處理，最后根據后層傳遞的誤差對權重及閾值進行更新，反復重復這一過程直至誤差滿足要求或超過預設的迭代次數(shù)[8]。相比較AIRMA和Holt-Winters等傳統(tǒng)方法，神經網絡的學習過程通常需要循環(huán)往復多次，同時也需要更多的數(shù)據來保證模型訓練結果的有效性。學習復雜性增加的主要原因在于神經網絡模型待確定權重分量較多，模型具有更高的自由度。神經網絡的預測性能取決于隱藏神經元的數(shù)目與權重的選擇，一般來說更多的神經元可以獲取更好的擬合效果，但同時也加大了網絡過擬合的風險[9]。前饋神經網絡拓撲圖如圖1所示。

利用人工神經網絡的學習能力可以使得神經網絡逼近其要仿真的真實系統(tǒng)，神經網絡不僅可以對線性模型進行逼近，在模型具有較強的非線性情況下也能進行良好的逼近。同時神經網絡算法無需了解系統(tǒng)內部信息，待逼近系統(tǒng)可以看作一個黑盒，只需獲得一定數(shù)量輸入與輸出數(shù)據就可以通過擬合重構系統(tǒng)。因此如果系統(tǒng)輸出受到多種互相耦合的輸入關系影響，這種情況下線性方法一般很難獲得滿意性能，而神經網絡模型通常可以解決這類問題。對于一般性問題，包含一個隱含層的三層神經網絡通常可以用來訓練非線性關系的數(shù)據集，獲得足夠逼近的系統(tǒng)，因此本文選取三層BP神經網絡。

在本文研究的問題中，由于輸入數(shù)據在網絡忙時和閑時業(yè)務量相差較大，輸入數(shù)據取值范圍跨度大，很容易出現(xiàn)神經網絡在訓練時耗時過長、收斂速度變慢的情況，此外，取值較大的數(shù)據在訓練中可能起到比取值小的數(shù)據更大的影響，因此在數(shù)據取值較小情況下同樣數(shù)值的偏差相對比例更大，將對預測模型的性能產生較大影響。本文在訓練前對原始數(shù)據進行預處理[10]，將原始數(shù)據映射至神經網絡激活函數(shù)的值域區(qū)間內，本文通過預處理將數(shù)據映射到（0，1）之間，與使用的logsig激活函數(shù)相適應。

神經網絡訓練及推理通常需要經過如下步驟。

（1）初始化網絡，設定各參數(shù)的初始值。根據輸入序列得到網絡輸入層的節(jié)點數(shù)目d，隱含層的節(jié)點數(shù)目q，以及輸出層的節(jié)點數(shù)目l。訓練集，初始設定bh是第h個神經元的輸出結果，輸入層與隱含層的權值為vih，隱含層與輸出層之間的權值為whj。初始設定輸出層閾值，其中第j個神經元的閾值為θj，第h個神經元的偏置為γh。隱含層第h個神經元的總輸入為，輸出層第j個神經元總輸入為，確定神經元的激勵函數(shù)，設定學習速率η。

（2）計算輸出層的輸出：

（3）計算在（xk， yk）處的均方誤差：

（4）根據得到的均方誤差采用梯度下降法更新權值：

（5）基于誤差進行閾值更新：

（6）判斷累積均方誤差是否已經在預先設定的目標值以下，或者當前迭代次數(shù)是否已經超出設定的界限值，從而判斷當前權值更新迭代過程能否結束，若未達到迭代停止條件，則需要返回步驟（2）繼續(xù)執(zhí)行訓練過程。

1.4 預測性能評估指標

可以采用相對誤差評估預測結果同實際情況的偏差，即實際值與預測值之間的偏差占實際值的百分比。實際值用變量xt表示，擬合值使用變量表示，相對誤差為：

評估預測模型特性通常采用統(tǒng)計量來進行，在實際預測任務中，評估預測模型性能通常可以采用如下3個統(tǒng)計指標衡量。

平均絕對誤差MAE能更好地反映預測誤差的實際情況：

均方根誤差RMSE越小，說明預測模型能更加精確地描述實驗數(shù)據：

平均百分比誤差MAPE：

2 性能仿真

業(yè)務量的量綱為愛爾蘭，業(yè)務量的值與設備業(yè)務發(fā)起的次數(shù)、每次業(yè)務所用時長以及并發(fā)設備數(shù)量有關，由于以上三個因素是伴隨用戶行為而變化的，所以愛爾蘭跟隨時間變動，可將其看作一個隨機過程。信道被用戶或設備占用的程度可由話務量得出，業(yè)務量等于平均呼叫時間與成功呼叫次數(shù)的乘積。

本文采用的數(shù)據為某移動運營商在給定區(qū)域內的話務量數(shù)據。話務量數(shù)據如圖2所示，發(fā)現(xiàn)業(yè)務量隨著時間的變化產生較大的波動。

圖3所示為基于乘積ARIMA模型的業(yè)務量預測評估結果，可以看出基于ARIMA模型的預測結果較為接近業(yè)務的真實值，但整體距離真實值具有一定的偏離，這一問題在業(yè)務量線性變化的情況下較為明顯。

圖4所示為基于加法Holt-Winters模型的業(yè)務量預測評估結果，可以看出相比基于ARIMA模型的預測結果，其更為接近業(yè)務的真實值，性能優(yōu)于ARIMA模型。

圖5所示為基于BP神經網絡模型的業(yè)務量預測評估結果，可以看出BP神經網絡模型能夠提供相比前兩種時間序列分析方法更好的預測性能，預測值曲線總體上非常接近真實值曲線。

表1所列為三種方法的性能統(tǒng)計，在MAE，RME及MAPE三種指標的衡量下，基于機器學習的BP神經網絡方法相比時間序列方法均有較為明顯的改善，其更適用于移動通信網絡業(yè)務量的預測。

3 結 語

本文探討了時間序列分析及機器學習方法在網絡流量預測方面的應用，對兩種時間序列模型及神經網絡模型進行了介紹，給出了上述方法在網絡流量預測中應用的案例。本文采用實際的移動通信網絡數(shù)據進行驗證，通過給出模型完成了話務量的模型擬合過程，發(fā)現(xiàn)三種模型均能取得較為滿意的結果，其中BP神經網絡方法預測性能優(yōu)于基于時間序列分析模型方法。

參考文獻

[1]劉云浩.物聯(lián)網導論（第2版）[M].北京：科學出版社，2013.

[2]趙玉霞.5G與物聯(lián)網發(fā)展趨勢分析[J].電子技術與軟件工程，2016（22）：17.

[3] LI Fungchang. 5G and IoT[C]// 2016 International Symposium on VLSI Technology，Systems and Application （VLSI-TSA），2016.

[4] Rashmi Sharan Sinha，Yiqiao Wei，Seung Hoon Hwang.A survey on LPWA technology： LoRa and NB-IoT [J]. Ict express，2017，3（1）：14-21.

[5] Bockelmann Carsten，Pratas Nuno K，Wunder Gerhard，et al.Towards massive connectivity support for scalable mMTC communications in 5G networks [J]. IEEE Access，2018：99.

[6] YE X. The Application of ARIMA Model in Chinese Mobile User Prediction[C]// IEEE International Conference on Granular Computing.IEEE Computer Society，2010：586-591.

[7] KALEKAR P S.Time series Forecasting using Holt-Winters Exponential Smoothing [Z]. Kanwal Rekhi School of Information Technology，2004.

[8] Hecht-Nielsen R.Theory of the back propagation neural network[C]// Neural Networks，1989. IJCNN.，International Joint Conference on.IEEE，1989：593-605.

[9] Igor V Tetko，David J Livingstone，Alexander I Luik. Neural network studies. 1. comparison of overfitting and overtraining [J]. Journal of chemical information & computer sciences，1995，35（5）：826-833.

[10] JIA J C，CHONG C C.Distributed normalisation input coding to speed up training process of BP-neural network classifier [J]. Electronics letters，1995，31（15）：1267-1269.