基于時(shí)間序列的流量預(yù)測算法綜述

楊國麗

（北方工業(yè)大學(xué)，北京 100043）

0 引言

隨著我國經(jīng)濟(jì)的不斷發(fā)展，我們的生活也變得越來越便捷，生活水平的顯著提高，使得對城鎮(zhèn)的管道系統(tǒng)的要求逐漸加大[1]；同時(shí)交通事業(yè)的迅猛發(fā)展，使得交通道路的堵塞情況愈加嚴(yán)峻，造成通行率低下、交通安全事故頻頻發(fā)生的問題；并且計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展也促進(jìn)了各類應(yīng)用的產(chǎn)生，這對網(wǎng)絡(luò)的性能及服務(wù)質(zhì)量有了更高的要求等，于是各種問題也漸漸凸顯了出來。

1 研究背景及意義

不論是管道流量、交通流量還是網(wǎng)絡(luò)流量，全面準(zhǔn)確地流量分析與預(yù)測，對于之后的優(yōu)化及其服務(wù)質(zhì)量抑或是管控工作都是極其重要的，是實(shí)現(xiàn)服務(wù)質(zhì)量保證的一種重要基礎(chǔ)技術(shù)，也是發(fā)揮大數(shù)據(jù)輔助決策功能的重要基礎(chǔ)，所以我們進(jìn)行實(shí)時(shí)、準(zhǔn)確的流量預(yù)測研究是具有非常重要的現(xiàn)實(shí)意義。為給排水管道、交通路線優(yōu)化，抑或是網(wǎng)絡(luò)基站站址的規(guī)劃提供依據(jù)，我們對傳統(tǒng)的時(shí)間序列預(yù)測進(jìn)行了介紹和對比，基于深度學(xué)習(xí)的建模的準(zhǔn)確性是流量預(yù)測的關(guān)鍵。

不論哪種流量形式我們都可從時(shí)間維度來考慮將其看作時(shí)間序列問題相關(guān)的預(yù)測，而不管交通流量、管道流量還是網(wǎng)絡(luò)流量，這些流量的變化形式都是一個(gè)實(shí)時(shí)、非平穩(wěn)的一個(gè)隨機(jī)的過程，并且都具有復(fù)雜性和不穩(wěn)定性等時(shí)間序列數(shù)據(jù)的基本特征，所以針對序列數(shù)據(jù)的特征如何提高流量預(yù)測精度一直是眾多學(xué)者一直關(guān)注并在研究的問題。

Kalpakis等人提出了運(yùn)用自回歸移動平均模型求和來表示時(shí)間序列，并為這個(gè)表示方法定義了一個(gè)相似性度量方式[2]；王婷婷等人提出了利用灰色馬爾科夫模型對機(jī)場的進(jìn)出流量進(jìn)行了預(yù)測[3]；R.Vinayakumar, K.P.Soman and P. Poornachandran提出了應(yīng)用LSTM長短期記憶網(wǎng)絡(luò)模型對骨干網(wǎng)流量去進(jìn)行預(yù)測[4]；覃明貴是提出了將神經(jīng)網(wǎng)絡(luò)與交通流量序列分割組合起來的一種組合預(yù)測模型，及時(shí)準(zhǔn)確的預(yù)測出道路交通狀態(tài)[5]；芮蘭蘭,李欽銘設(shè)計(jì)了基于極限學(xué)習(xí)機(jī)和交通流量序列分割的一種組合模型[6]，他們是先用K-means對交通流量數(shù)據(jù)序列在時(shí)間上進(jìn)行一個(gè)序列分割，其次利用ELM預(yù)測了短時(shí)交通流量序列進(jìn)行；總之，現(xiàn)階段時(shí)間序列數(shù)據(jù)它正以一種難以估計(jì)的速度產(chǎn)生于生活的每個(gè)領(lǐng)域，國內(nèi)外學(xué)者關(guān)于時(shí)間序列數(shù)據(jù)的預(yù)測方法一直不斷進(jìn)步與更新，隨著社會與工業(yè)的不斷發(fā)展，時(shí)間序列數(shù)據(jù)在不同環(huán)境，不同狀況下存在很大的差異，且大數(shù)據(jù)時(shí)代的急劇增長，數(shù)據(jù)規(guī)模的越來越大，這使得我們對時(shí)間序列數(shù)據(jù)的預(yù)測精度有了更高的要求，我們需要建立一套準(zhǔn)確的模型。

2 時(shí)間序列

我們傳統(tǒng)的流量預(yù)測方式主要都是將流量數(shù)據(jù)整形成一個(gè)流量的時(shí)間序列，即將流量預(yù)測問題規(guī)劃成基于時(shí)間序列的預(yù)測問題。時(shí)間序列預(yù)測主要是根據(jù)已有的時(shí)間序列數(shù)據(jù)預(yù)測該數(shù)據(jù)未來某個(gè)時(shí)間段的變化趨勢，通過對擁有的時(shí)間序列數(shù)據(jù)進(jìn)行分析以及特征的提取，提取出來其中的變化特征，建立一個(gè)合適的數(shù)學(xué)模型，并將其運(yùn)用到我們要預(yù)測的數(shù)據(jù)中去，由此規(guī)律來預(yù)測未來的數(shù)據(jù)可能會發(fā)生的變化趨勢[7]。

針對流量預(yù)測問題，已有國內(nèi)外學(xué)者展開了深入的研究，且取得不錯(cuò)的工作成果，針對流量預(yù)測這類時(shí)間序列的預(yù)測問題，我們傳統(tǒng)的預(yù)測方法大致有兩種[8]，一種是經(jīng)典的線性回歸模型，比如差分自回歸移動平均模型，另一種是非線性預(yù)測模型，主要是基于機(jī)器學(xué)習(xí)的預(yù)測模型，比如神經(jīng)網(wǎng)絡(luò)，梯度提升回歸樹，主持向量機(jī)等，且眾多實(shí)驗(yàn)顯示線性預(yù)測方法的預(yù)測效果遠(yuǎn)沒有非線性預(yù)測方法好。

2.1 經(jīng)典線性流量預(yù)測模型

時(shí)間序列就是按照時(shí)間的順序記錄的一系列有序的數(shù)據(jù)，這些有序數(shù)又可以分為平穩(wěn)不平穩(wěn)，基于時(shí)間序列的線性模型有比較多的種類，例如自回歸滑動平均模型ARMA、移動平均模型（MA）、自回歸模型AR等平穩(wěn)序列模型以及非平穩(wěn)序列ARIMA模型等[9-10]。

線性預(yù)測模型的理論基礎(chǔ)是對于平穩(wěn)非白噪聲序列，我們通常會構(gòu)建一個(gè)線性序列模型，接著要去擬合它的發(fā)展，然后以此來提煉并獲取到序列數(shù)據(jù)中蘊(yùn)含的有用信息。在針對平穩(wěn)序列{xt}進(jìn)行預(yù)測時(shí)，其自回歸移動平均（ARMA）模型可表示為：

我們在運(yùn)用ARMA模型進(jìn)行預(yù)測的前提是序列要求是穩(wěn)定的，并且序列的均值和方差不會隨著時(shí)間變化。在許多實(shí)際問題中，觀察到的時(shí)間序列不是穩(wěn)定的序列，不過可以通過以下方式進(jìn)行轉(zhuǎn)換：對不平穩(wěn)的序列進(jìn)行差分處理，就能轉(zhuǎn)化為相對穩(wěn)定的序列。我們常使用的方法是先差分在進(jìn)行ARMA建模，這就是ARIMA模型[11]。

但此種預(yù)測模型通常在短時(shí)間序列數(shù)據(jù)中計(jì)算比較簡單，隨著我們需要預(yù)測的數(shù)據(jù)量逐漸增大，數(shù)據(jù)也愈加復(fù)雜，數(shù)據(jù)中時(shí)間序列的非線性特征更加明顯，由于流量的復(fù)雜性和不確定性，傳統(tǒng)方法的預(yù)測精度遠(yuǎn)遠(yuǎn)不夠。

2.2 基于機(jī)器學(xué)習(xí)預(yù)測模型

機(jī)器學(xué)習(xí)其實(shí)就是人們讓機(jī)器去解析數(shù)據(jù)并找到規(guī)律，然后通過它找到的規(guī)律去對新的序列數(shù)據(jù)進(jìn)行處理，從中提取到某種有用的信息和規(guī)律，并利用學(xué)習(xí)到的規(guī)律對未知的數(shù)據(jù)進(jìn)行預(yù)測。作為一種數(shù)據(jù)驅(qū)動算法，它具有高度擬合以及非線性估計(jì)能力的機(jī)器學(xué)習(xí)模型正成為流量預(yù)測的主流技術(shù)，比如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量機(jī)（SVR）等，其中神經(jīng)網(wǎng)絡(luò)是一種大的非線性機(jī)器學(xué)習(xí)模型。在神經(jīng)網(wǎng)絡(luò)中，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的最主要特點(diǎn)就是在時(shí)間維度上建模，每個(gè)輸入變量都對應(yīng)一個(gè)時(shí)間步和多個(gè)特征，它是通過在網(wǎng)絡(luò)中構(gòu)建循環(huán)來對數(shù)據(jù)的時(shí)間維度建模，這樣一來它在時(shí)間序列數(shù)據(jù)中就可以展現(xiàn)出來更好的適應(yīng)性[12]。

3 LSTM原理及特點(diǎn)

長短期記憶模型（LSTM）它是一種特殊的RNN模型，它主要是為了解決RNN模型梯度消失這一問題而提出的[13],其主要特點(diǎn)是它的時(shí)間記憶單元中具有多層隱藏層，通過門機(jī)制來控制信息傳遞的累積速度，且可以有選擇地從前一時(shí)間狀態(tài)中去遺忘或加入新的信息，可以有效地改進(jìn)原始RNN存在的長依賴問題，以此來增強(qiáng)數(shù)據(jù)擬合的效果。

它是在RNN的隱藏層中添一個(gè)長短期記憶單元，循環(huán)結(jié)構(gòu)中有著一組記憶單元與三種門結(jié)構(gòu)來對歷史信息進(jìn)行添加或刪除，這三個(gè)門分別稱為遺忘門、輸出門和輸入門，LSTM神經(jīng)網(wǎng)絡(luò)如圖1所示：

圖1 LSTM結(jié)構(gòu)圖

在上圖所示結(jié)構(gòu)里，f(t)是遺忘門的輸出信息遺忘門功能是來決定在上一時(shí)間狀態(tài)中傳遞過來的信息有哪些信息是可以被丟棄掉的。輸入門是決定添加哪些信息，它有兩部分組成：一部分是使用了sigmoid函數(shù)，它的輸出為i(t)；而另一部分是使用tanh激活函數(shù)得到備選信息g(t)。計(jì)算公式如下：

下面再對s(t-1)更新，就構(gòu)成了新的長期狀態(tài)信息s(t)，它是通過遺忘門來選擇忘記從上一步傳來的舊信息，通過輸入門選擇更新添加一部分新的信息獲取到的。S(t)的計(jì)算公式為：

s(t)=S(t-1)⊙f(t)+i(t)⊙g(t)

輸出門的作用在于有它控制的記憶有多少可以用于下一狀態(tài)的信息更新中O(t)和將要傳遞給下一步的短期隱藏狀態(tài)信息h(t)，當(dāng)前神經(jīng)元O(t)的計(jì)算公式為：

最終輸出結(jié)果則要利用上一時(shí)間狀態(tài)的短期狀態(tài)值，長期狀態(tài)值和當(dāng)前輸入值的保留部分來綜合計(jì)算得出。公式如下：

h(t)=O(t)⊙tanh(s(t))

其中Wf，Uf，bf遺忘門隱藏層的神經(jīng)元權(quán)重和偏置量，Wi，Ui，bi，Wg，Ug，bg為輸入門的隱藏層權(quán)重和偏置量，Wo，Uo，bo為輸出層的隱藏層權(quán)重和偏置量，用⊙表示Hadarmad乘積，在一定程度上LSTM的門機(jī)制可以過濾掉一些與常規(guī)信息不同的內(nèi)容，由此我們就可以消除掉訓(xùn)練數(shù)據(jù)中那些隨機(jī)的偶然信息對測試數(shù)據(jù)預(yù)測精度的影響。

4 基于LSTM的組合預(yù)測模型

由于流量的復(fù)雜和不規(guī)律的曲線形態(tài)以及其突發(fā)性，采用單一模型進(jìn)行預(yù)測的效果不會很理想，目前能夠?qū)α髁窟M(jìn)行一個(gè)好的預(yù)測的算法大都是基于深度學(xué)習(xí)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的算法的混合模型，能夠更加有效的利用各種模型的優(yōu)點(diǎn)[14]。

黃國倫[15]等人新提出一種基于支持向量回歸（SVR）和長短期記憶（LSTM）的新型組合預(yù)測模型，這一模型主要針對網(wǎng)絡(luò)流量數(shù)據(jù)的隨機(jī)性和波動性特點(diǎn)，來提高流量預(yù)測的精度。這一模型的預(yù)測過程主要是，它首先通過變分模態(tài)分解（VMD）對流量序列的固有模態(tài)進(jìn)行提取，以此來減少噪聲的隨機(jī)性影響，再利用 LSTM模型對各本征模態(tài)進(jìn)行擬合，學(xué)習(xí)到流量數(shù)據(jù)在時(shí)間上的分布規(guī)律，最后再分析它在流量方面的影響因素，利用 SVR 去擬合殘差余量，讓所有子預(yù)測模型進(jìn)行一個(gè)整合疊加，如此一來該模型就可以有效將模型預(yù)測精度提高。

針對流量的突發(fā)性以及隨機(jī)性特征，黃林、王電鋼等人提出了一種基于LSTM的并行LSTM預(yù)測器。他們主要針對的是在具有強(qiáng)突發(fā)性特征的短期流量預(yù)測中預(yù)測性能明顯下降的問題，他們讓其中一個(gè)作為主預(yù)測器，另一個(gè)用于檢測流量數(shù)據(jù)變化中的突發(fā)時(shí)刻，然后讓這兩個(gè)預(yù)測器進(jìn)行內(nèi)部狀態(tài)的一個(gè)交換，由此來對預(yù)測精度進(jìn)行一個(gè)改進(jìn)。現(xiàn)階段在時(shí)間序列預(yù)測問題中，有越來越多的學(xué)者使用了LSTM與RNN或其他傳統(tǒng)神經(jīng)網(wǎng)絡(luò)混合起來的模型，比如江務(wù)學(xué)針對網(wǎng)絡(luò)流量進(jìn)行預(yù)測提出了改進(jìn)的雙線性化遞歸神經(jīng)網(wǎng)絡(luò)模型方法[16]。總而言之，多個(gè)實(shí)驗(yàn)表明組合模型預(yù)測作為一組相對比較新穎的模型，它要比單個(gè)模型的預(yù)測效果要更好，組合模型預(yù)測方法也將是未來提高流量預(yù)測精度的趨勢。

5 總結(jié)

隨著我們對流量預(yù)測工作的研究，本文闡述并對比了經(jīng)典的線性流量預(yù)測方法與基于機(jī)器學(xué)習(xí)算法的非線性預(yù)測模型算法。時(shí)間序列與方法雖然經(jīng)歷了長時(shí)間的發(fā)展，但數(shù)據(jù)規(guī)模的急劇增長，給傳統(tǒng)的預(yù)測方法帶來了極大的挑戰(zhàn)，流量序列的復(fù)雜性和不確定性以及隨機(jī)突發(fā)性等基本特征，傳統(tǒng)的時(shí)間序列預(yù)測方法的預(yù)測精度遠(yuǎn)遠(yuǎn)不夠，近年來的研究成果表明，基于LSTM的預(yù)測模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的組合模型較于單一預(yù)測模型有著更理想的預(yù)測效果，組合模型的預(yù)測已然成為新的預(yù)測趨勢，也為進(jìn)一步的研究指明了方向，其勢必將得到越來越廣泛的研究與應(yīng)用，也需要研究者進(jìn)一步努力。