基于并行多尺度卷積記憶殘差網(wǎng)絡(luò)的物聯(lián)網(wǎng)流量預(yù)測

陸勤政 朱曉娟

【摘? ?要】? 針對現(xiàn)有物聯(lián)網(wǎng)流量預(yù)測方法中特征提取不足、丟失重要信息、預(yù)測準(zhǔn)確度不高的問題，提出了一種基于并行多尺度卷積記憶殘差網(wǎng)絡(luò)的物聯(lián)網(wǎng)流量預(yù)測方法。首先，采用并行結(jié)構(gòu)，CNN提取多尺度的局部特征得到包含有局部特征的序列，LSTM和BiLSTM分別提取前向的時(shí)間關(guān)系和前后向的時(shí)間關(guān)系得到有合適比例的前后向時(shí)間特征序列；其次，引入ResNet結(jié)構(gòu)，在CNN、LSTM、BiLSTM的輸入和輸出之間加入跳躍連接，即通過跳躍連接在特征序列中加入原始序列信息；再次，在有原始信息的特征序列中分配可訓(xùn)練的權(quán)重參數(shù)，突出相應(yīng)序列的重要性，進(jìn)行拼接得到總的輸出序列；最后，將總的輸出序列輸入到全連接網(wǎng)絡(luò)中得到預(yù)測結(jié)果。實(shí)驗(yàn)結(jié)果表明，本方法在均方根誤差（RMSE）、平均絕對誤差（MAE）、擬合系數(shù)（[R2]）3項(xiàng)指標(biāo)上要優(yōu)于其他方法，能更準(zhǔn)確地進(jìn)行物聯(lián)網(wǎng)流量的預(yù)測。

【關(guān)鍵詞】? ?物聯(lián)網(wǎng)流量預(yù)測；卷積神經(jīng)網(wǎng)絡(luò)；長短時(shí)記憶網(wǎng)絡(luò)；雙向長短時(shí)記憶網(wǎng)絡(luò)；跳躍連接

Research on Internet of Things Traffic Prediction Based on Parallel

Multiscale Convolutional Memory Residual Network

Lu Qinzheng， Zhu Xiaojuan*

（Anhui University of Technology， Huainan 232001， China）

【Abstract】? ? An accurate prediction of Internet of Things （IoT） traffic is crucial for the intelligent management of IoT systems， so based on a parallel multi-scale convolutional memory residual network， a prediction method is proposed to solve such issues as insufficient feature extraction， loss of crucial information， and low prediction accuracy. Firstly， a parallel structure is employed， where Convolutional Neural Networks （CNNs） with different kernel sizes extract multi-scale local features to obtain sequences containing local features. Long Short-Term Memory （LSTM） and Bidirectional LSTM （BiLSTM） are then utilized to capture forward and bidirectional temporal relationships， yielding properly proportioned forward and backward time feature sequences. Secondly， a Residual Network （ResNet） structure is introduced， incorporating skip connections between the input and output of CNN， LSTM， and BiLSTM， thereby integrating original sequence information through skip connections. Subsequently， trainable weight parameters are assigned to the feature sequences with original information， emphasizing the importance of respective sequences， followed by concatenation to obtain the overall output sequence. Finally， the total output sequence is fed into a fully connected network to derive the prediction results. The experimental results indicate that the proposed method outperforms existing approaches in terms of Root Mean Square Error （RMSE）， Mean Absolute Error （MAE）， and Coefficient of Determination （[R2]）. More accurate predictions for IoT traffic can be achieved with this approach.

【Key words】? ? ?IoT traffic prediction; convolutional neural network; long short-term memory network; bidirectional long short-term memory network; skip connections

〔中圖分類號〕? ?TP391? ? ? ? ? ? ? ? ?〔文獻(xiàn)標(biāo)識碼〕? A ? ? ? ? ? ? ?〔文章編號〕 1674 - 3229（2024）01- 0033- 09

0? ? ?引言

準(zhǔn)確的流量預(yù)測能夠幫助網(wǎng)絡(luò)管理者更全面地了解網(wǎng)絡(luò)的使用情況，從而合理地分配網(wǎng)絡(luò)資源，有助于避免資源浪費(fèi)，提高網(wǎng)絡(luò)的整體性能。物聯(lián)網(wǎng)流量是一種具有復(fù)雜非線性特征［1］的時(shí)間序列，時(shí)間序列預(yù)測的早期模型有自回歸模型（Autoregressive，AR）、移動(dòng)平均模型（Moving Average，MA）、自回歸移動(dòng)平均模型（Autoregressive Moving Average，ARMA）、差分自回歸移動(dòng)平均模型（Autoregressive Integrated Moving Average，ARIMA）等［2 -3］，這些模型使用多項(xiàng)式對時(shí)間序列進(jìn)行分析，通過擬合函數(shù)逼近與時(shí)序相關(guān)的數(shù)據(jù)，過程中涉及多個(gè)參數(shù)的調(diào)整，從而對時(shí)間序列進(jìn)行預(yù)測。其后，學(xué)者通過深度學(xué)習(xí)模型來捕獲復(fù)雜的流量特征，提高預(yù)測的準(zhǔn)確度。Ko T等［4］使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來進(jìn)行流量預(yù)測，Abdellah A 等［5］使用長短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory Network，LSTM）來預(yù)測物聯(lián)網(wǎng)流量，Tian Z等［6］使用雙向長短時(shí)記憶網(wǎng)絡(luò)（Bidirectional Long Short-Term Memory Network，BiLSTM）來對流量進(jìn)行預(yù)測。但是基于LSTM和BiLSTM的方法未考慮到序列局部特征的影響，同樣存在特征提取不足的問題。

針對單一深度學(xué)習(xí)模型的局限性，學(xué)者對多個(gè)模型進(jìn)行組合，來克服單一模型的不足。Mahajan S等［7］使用CNN和LSTM相結(jié)合的方式來預(yù)測無線網(wǎng)絡(luò)中的時(shí)間序列，Merayo M G等 ［8］使用CNN和BiLSTM相結(jié)合的方式來預(yù)測流量，Aksan F等［9］使用CNN-LSTM和LSTM-CNN分別來預(yù)測時(shí)間序列，分析CNN和LSTM的先后順序?qū)︻A(yù)測的影響。上述方法考慮到了序列的局部特征和時(shí)間關(guān)系，但僅是對CNN、LSTM、BiLSTM進(jìn)行簡單的串行拼接，處在前半部分的輸出會干擾后半部分對原序列特征的提取，這會導(dǎo)致序列部分重要信息的丟失。Ma X 等［10］和Guo J等［11］使用CNN和BiLSTM通過并行的方式來預(yù)測時(shí)間序列，并行的結(jié)構(gòu)使得CNN和BiLSTM的輸出不互相干擾，取得了比簡單串行拼接網(wǎng)絡(luò)更好的預(yù)測效果。Wang C等［12］在使用CNN和BiLSTM并行結(jié)構(gòu)的基礎(chǔ)上在CNN中引入了殘差網(wǎng)絡(luò)（Residual Neural Network，ResNet）結(jié)構(gòu)來預(yù)測網(wǎng)絡(luò)流量，ResNet結(jié)構(gòu)優(yōu)化了原始的CNN，緩解了梯度消失的問題，提升了CNN部分的性能。但是該方法并沒有考慮對BiLSTM進(jìn)行優(yōu)化，沒能更好發(fā)揮BiLSTM部分的性能。王馨彤等［13］使用并行多尺度CNN和LSTM串行，并在此基礎(chǔ)上引入了殘差網(wǎng)絡(luò)結(jié)構(gòu)來預(yù)測網(wǎng)絡(luò)流量，但該方法沒有很好地考慮到LSTM在模型中所處的排列位置以及序列后向的時(shí)間關(guān)系。

針對上述問題，本文提出了一種基于并行多尺度卷積記憶殘差網(wǎng)絡(luò)的物聯(lián)網(wǎng)流量預(yù)測方法，主要貢獻(xiàn)如下。

（1）采用并行的結(jié)構(gòu)分別由卷積核大小不同的CNN提取物聯(lián)網(wǎng)流量序列的多尺度局部特征，LSTM提取序列前向的時(shí)間關(guān)系，BiLSTM提取序列前向和后向的時(shí)間關(guān)系。通過互不干擾地提取多角度的局部特征和適當(dāng)比例的時(shí)間前后向關(guān)系，提升物聯(lián)網(wǎng)流量預(yù)測的準(zhǔn)確度。

（2）引入ResNet結(jié)構(gòu)的思想，在CNN、LSTM、BiLSTM的輸入和輸出之間分別加入跳躍連接。通過加入原始的輸入信息，得到更豐富的表達(dá)，同時(shí)緩解梯度消失的問題，加快模型的收斂速度，提高模型的性能。

（3）為加入原始信息的特征序列分配可訓(xùn)練的權(quán)重參數(shù)，突出部分特征序列的重要性。先為各個(gè)序列分配適當(dāng)?shù)闹匾潭仍龠M(jìn)行拼接，進(jìn)一步提高流量預(yù)測的效果。

1? ? ? 物聯(lián)網(wǎng)流量預(yù)測任務(wù)

物聯(lián)網(wǎng)流量具有以下幾個(gè)特點(diǎn)。

（1）物聯(lián)網(wǎng)流量展現(xiàn)出較強(qiáng)的時(shí)間特性。在某一觀測點(diǎn)上，采集到的數(shù)據(jù)是連續(xù)的隨時(shí)間變化的序列。

（2）物聯(lián)網(wǎng)流量表現(xiàn)出明顯的周期性。對于某一觀測點(diǎn)，記錄的數(shù)據(jù)有時(shí)、日、周上的周期性節(jié)奏。這種相似性模式在節(jié)假日期間同樣存在。

（3）物聯(lián)網(wǎng)流量還會受到突發(fā)事件等的影響，使流量具有一定的突變性。

物聯(lián)網(wǎng)流量預(yù)測任務(wù)從本質(zhì)上來說，即用過往一個(gè)時(shí)間段的流量來對未來一個(gè)時(shí)間段的流量進(jìn)行預(yù)測，其關(guān)鍵點(diǎn)在于如何充分利用歷史數(shù)據(jù)中的時(shí)間特性、周期性以及復(fù)雜多樣的突變因素。給定的原始流量序列為[X={x1，x2，…，xL}]，[X∈RL*1]，其中，[L]表示輸入序列的長度，1表示序列每個(gè)時(shí)間步的特征維度，則預(yù)測任務(wù)的數(shù)學(xué)表達(dá)為：

[[xt+β，xt+β-1，…，xt+1]=f（xt，xt-1，…，xt-α+1）] （1）

其中，[α]和[β]分別表示固定的滑動(dòng)窗口大小（歷史的時(shí)間步數(shù)）和要預(yù)測的時(shí)間步數(shù)，[f（?）]表示預(yù)測模型，[xt∈X]，[t∈（1，L）]。

2? ? ? 模型設(shè)計(jì)

2.1? ?CNN模型

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）由Lecun于1989年提出，是按照生物的視覺機(jī)制構(gòu)建的，通常用于圖像識別的任務(wù)。一維CNN可以用于時(shí)間序列的預(yù)測和分析，它通過捕捉時(shí)間序列的局部特征來對序列進(jìn)行預(yù)測［14］。給定滑動(dòng)窗口大小為[α]的序列為[Xα={xt，xt-1，…，xt-α+1}]，[X∈Rα*1]，設(shè)CNN的卷積核大小為[K]，輸入通道數(shù)為[C]，輸出通道數(shù)為[C']，輸入通道數(shù)和序列的特征維度相匹配，[C=1]，則具體卷積過程的數(shù)學(xué)表達(dá)式如下：

[ui=j=0K-1xi+j?wj+b] （2）

其中，[ui]表示輸出序列中的值；[xi+j]表示輸入序列中的值，[i]表示輸入序列的索引，[j]表示卷積核窗口內(nèi)的偏移值；[wj]表示[ui]卷積核的權(quán)重參數(shù)；[b]表示[ui]的偏置項(xiàng)。

將得到的多個(gè)局部特征值[ui]組合成序列[U]，[U∈RS*1]，[S]表示輸出序列的長度，再通過多個(gè)卷積核的計(jì)算得到最后的輸出序列[Z]，[Z∈RS*C']。

2.2? ?LSTM模型和BiLSTM 模型

長短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory Network，LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的變體。LSTM比傳統(tǒng)RNN對時(shí)間序列有著更強(qiáng)的記憶能力和長期依賴關(guān)系的建模能力。對于給定的滑動(dòng)窗口序列，[Xα={xt，xt-1，…，xt-α+1}]，[X∈Rα*1]。圖1展示LSTM的基本單元結(jié)構(gòu)，它由4個(gè)部分組成，分別是輸入門、遺忘門、輸出門和記憶單元，每個(gè)門由一個(gè)激活函數(shù)和一個(gè)點(diǎn)乘的操作組成［15］。

遺忘門根據(jù)當(dāng)前輸入[xt]和前一時(shí)間步的輸出[ht-1]計(jì)算向量[ft]，表示前一個(gè)時(shí)間步記憶單元狀態(tài)中需要被遺忘的信息：

[ft=σ（Wf?[xt，ht-1]+bf）] （3）

其中，[Wf]表示[ft]的權(quán)重矩陣，[bf]表示[ft]的偏置項(xiàng)，[σ]表示[ft]的sigmoid激活函數(shù)。

輸入門根據(jù)當(dāng)前輸入[xt]和前一時(shí)間步的輸出[ht-1]計(jì)算向量[it]和向量[C't]，表示當(dāng)前輸入中需要被更新到記憶單元狀態(tài)中的信息：

[it=σ（Wi?[xt，ht-1]+bi）] （4）

[C't=tanh （WC'?[xt，ht-1]+bC'）] （5）

其中，[Wi]和[WC']分別表示[it]和[C't]的權(quán)重矩陣，[bi]和[bC']分別表示[it]和[C't]的偏置項(xiàng)，[σ]表示[it]的sigmoid激活函數(shù)，[tanh]表示[C't]的激活函數(shù)。

記憶單元更新狀態(tài)時(shí)的新值是根據(jù)前一時(shí)間步的記憶單元狀態(tài)[Ct-1]、[ft]、[C't]、[it]計(jì)算的新的狀態(tài)向量[Ct]：

[Ct=ft⊙Ct-1+it⊙C't] （6）

其中，[⊙]表示哈達(dá)瑪乘法，是向量的逐元素相乘。

輸出門根據(jù)當(dāng)前輸入[xt]和前一時(shí)間步的輸出[ht-1]計(jì)算向量[ot]，以及根據(jù)[ot]和當(dāng)前時(shí)間步的新值[Ct]計(jì)算當(dāng)前時(shí)間步的輸出向量[ht]，表示輸出信息的重要程度：

[ot=σ（Wo?[xt，ht-1]+bo）] （7）

[ht=ot⊙tanh （Ct）] （8）

其中，[Wo]表示[ot]的權(quán)重矩陣，[bo]表示[ot]的偏置項(xiàng)，[σ]表示[ot]的sigmoid激活函數(shù)，[tanh]表示[Ct]的激活函數(shù)。

LSTM只處理了序列前向的時(shí)間關(guān)系，并沒有對序列后向的時(shí)間關(guān)系進(jìn)行處理，這就導(dǎo)致了對序列時(shí)間關(guān)系的獲取不足。而雙向長短時(shí)記憶網(wǎng)絡(luò)（Bidirectional Long Short-Term Memory Network，BiLSTM） 解決了這一問題，它是基于 LSTM 的擴(kuò)展，同時(shí)考慮了序列前向的時(shí)間關(guān)系和后向的時(shí)間關(guān)系。BiLSTM結(jié)合了兩個(gè)LSTM結(jié)構(gòu)，一個(gè)按正序處理輸入序列，另一個(gè)按逆序處理輸入序列。通過這種方式，網(wǎng)絡(luò)能夠更全面地理解當(dāng)前的輸入。圖2是BiLSTM的單元結(jié)構(gòu)，給定前向的輸出為[hf，t]，后向輸出為[hb，t]，當(dāng)前時(shí)間步BiLSTM的輸出為：

[hm，t=Wm，thf，t，hb，t+bm，t] （9）

其中，[Wm，t]表示[hm，t]的權(quán)重矩陣，[bm，t]表示[hm，t]的偏置項(xiàng)。

2.3? ?Resnet結(jié)構(gòu)

殘差網(wǎng)絡(luò)（Residual Neural Network，ResNet）是一種深度學(xué)習(xí)模型，能有效地提升網(wǎng)絡(luò)的學(xué)習(xí)能力［16］，它的基本結(jié)構(gòu)單元是一個(gè)殘差塊（Residual Block），每個(gè)塊相較于原本的神經(jīng)網(wǎng)絡(luò)，在輸入和輸出之間加入了一個(gè)跳躍連接（skip connection），這個(gè)連接允許原始輸入信息［17］直接傳輸?shù)胶竺娴膶又校龠M(jìn)了信息在網(wǎng)絡(luò)中的流動(dòng)，在豐富表達(dá)的同時(shí)緩解了梯度消失問題。殘差塊的數(shù)學(xué)表達(dá)式如下：

[F'x=Fx+x] （10）

其中，[x]表示跳躍連接中引入的原始輸入信息，[Fx]表示原來神經(jīng)網(wǎng)絡(luò)的輸出，[F'x]表示[Fx]和[x]相加得到的殘差塊的輸出。

2.4? ?基于并行多尺度卷積記憶殘差網(wǎng)絡(luò)模型

基于上述結(jié)構(gòu)，本文提出了基于并行多尺度卷積記憶殘差網(wǎng)絡(luò)的組合模型，該模型結(jié)構(gòu)如圖3所示。模型由4個(gè)重要的部分組成：LSTM、BiLSTM、卷積核大小不同的一維CNN和ResNet。

對于物聯(lián)網(wǎng)的流量預(yù)測，提出的模型通過以下步驟實(shí)現(xiàn)。

（1）對于給定的原始流量序列[X={x1，x2，…，xL}]，[X∈RL*1]，將其進(jìn)行最小最大值歸一化（Min-Max Normalization）處理，序列值縮放到（0，1）之間，得到歸一化后的流量序列[X'={x'1，x'2，…，x'L}]，[X'∈RL*1]。

（2）設(shè)歸一化的流量序列[X']中滑動(dòng)窗口大小為[α]的序列為[X'α]，將多個(gè)滑動(dòng)窗口為[α]的序列作為模型的輸入。

（3）CNN部分由卷積核大小為3、5、7的1層一維CNN構(gòu)成，它分別對[X'α]進(jìn)行多尺度的局部特征提取，并使用填充的方式讓序列保持原有的窗口大小，根據(jù)式（2），可得輸出序列為[Zα，3]、[Zα，5]、[Zα，7]，[Zα，3∈Rα*C'3、Zα，3∈Rα*C'5、Zα，7∈Rα*C'7]，其中，下標(biāo)的數(shù)字表示卷積核對應(yīng)的大小，[C'3、C'5、C'7]分別表示卷積核不同的CNN的輸出通道數(shù)；LSTM部分由2層LSTM構(gòu)成，它對[X'α]進(jìn)行序列前向的時(shí)間關(guān)系的提取，根據(jù)式（3）[～]（8），可得輸出序列[H'={h't，h't-1，…，h't-α+1}]，[H'∈Rα*h1*h2]，其中，[h1]和[h2]分別表示LSTM的第1個(gè)隱藏層單元個(gè)數(shù)和第2個(gè)隱藏層單元個(gè)數(shù)；BiLSTM部分由2層BiLSTM構(gòu)成，它對[X'α]進(jìn)行序列前向和后向的時(shí)間關(guān)系的提取，根據(jù)式（9），可得輸出序列為[H'm={h'm，t，h'm，t-1，…，h'm，t-α+1}]，[H'm∈Rα*h3*h4]，其中，[h3]和[h4]分別表示BiLSTM的第1個(gè)隱藏層單元個(gè)數(shù)和第2個(gè)隱藏層單元個(gè)數(shù)。

（4）在LSTM、BiLSTM、卷積核為3/5/7的一維CNN中分別引入ResNet結(jié)構(gòu)，即在這5個(gè)并行模型的輸入和輸出之間分別加入1個(gè)跳躍連接，根據(jù)式（10），則可得到輸出序列分別為：[Z''α，3=Z'α，3+X'α]，[Z''α，5=Z'α，5+X'α]，[Z''α，7=Z'α，7+X'α]，[H''=]

[H'+X'α]，[H''m=H'm+X'α]。

（5）在得到的輸出序列中加入可訓(xùn)練的權(quán)重參數(shù)[w]，給各個(gè)部分的輸出分配相應(yīng)的重要程度，再進(jìn)行拼接，從而得到最終的輸出序列[P=[w1?Z''α，3，? w2?][Z''α，5， w3?Z''α，7， w4?H''， w5?H''m]]，[P∈Rα*（C'3+C'5+C'7+h2+h4）]。

（6）取序列[P]最后一個(gè)時(shí)間步的值[p]，[p∈R1*（C'3+C'5+C'7+h2+h4）]，將其輸入到全連接網(wǎng)絡(luò)（Fully Connected Neural Network，F(xiàn)CNN）中進(jìn)行降維，得到預(yù)測結(jié)果。

2.5? ?損失函數(shù)

模型訓(xùn)練的目的是將流量預(yù)測值和真實(shí)值的差異最小化。本文使用流量真實(shí)值和預(yù)測值的均方誤差（Mean Squared Error，MSE）作為損失函數(shù)，其數(shù)學(xué)表達(dá)式如下：

[MSELoss=1ni=1n（y'i-y'i）2] （11）

其中，[n]表示樣本數(shù)，[y'i]和[y'i]分別表示流量的真實(shí)值和預(yù)測值。

3? ? ?實(shí)驗(yàn)設(shè)置與分析

3.1? ?數(shù)據(jù)集的設(shè)置與分析

實(shí)驗(yàn)采用英國學(xué)術(shù)骨干網(wǎng)絡(luò)［18］（United Kingdom Backbone Academic Network，UKBAN）的流量數(shù)據(jù)集，該數(shù)據(jù)集由19888個(gè)數(shù)據(jù)點(diǎn)組成，2004年11月9日9：30至2005年1月27日10：45，每隔5min記錄一次骨干節(jié)點(diǎn)流量作為一個(gè)數(shù)據(jù)點(diǎn)。本文選擇了2004年11月22日0：00（星期一）至2004年12月12日23：55（星期日）3個(gè)星期內(nèi)6048個(gè)數(shù)據(jù)點(diǎn)來進(jìn)行實(shí)驗(yàn)，并按照8：2的比例劃分訓(xùn)練集和測試集。

采用最小最大歸一化對原始的流量序列進(jìn)行處理，其數(shù)學(xué)表達(dá)式如下：

[x'=x-xminxmax-xmin] （12）

其中，[xmax]和[xmin]分別表示原始序列中的最大值和最小值，[x']表示原始序列中[x]歸一化后的對應(yīng)值。

3.2? ?評價(jià)指標(biāo)的設(shè)置與分析

為了檢測模型預(yù)測的效果，本文使用反歸一化后流量真實(shí)值和預(yù)測值的均方根誤差（Root Mean Squared Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）、擬合系數(shù)（Coefficient of Determination，[R2]）作為評價(jià)指標(biāo)，其數(shù)學(xué)表達(dá)式如下：

[RMSE=1mi=1m（yi-yi）2] （13）

[MAE=1mi=1m|yi-yi|] （14）

[R2=1-i=1m（yi-yi）2i=1m（yi-yi）2] （15）

其中，[m]表示要預(yù)測的樣本總數(shù)，[yi]、[yi]、[yi]分別表示反歸一化后流量的真實(shí)值、預(yù)測值、真實(shí)值的平均值。均方根誤差和平均絕對誤差越接近0，表示預(yù)測的準(zhǔn)確度越高，擬合系數(shù)越接近1，表示預(yù)測的準(zhǔn)確度越高。

3.3? ?參數(shù)設(shè)置與分析

模型涉及的參數(shù)包括學(xué)習(xí)率、訓(xùn)練輪數(shù)、批次大小。該模型選取Adam作為優(yōu)化器，學(xué)習(xí)率為0.0001，訓(xùn)練輪數(shù)為300，批次大小為64。

模型中CNN通道個(gè)數(shù)和LSTM、BiLSTM隱藏層單元個(gè)數(shù)會影響預(yù)測的誤差和擬合程度。如表1所示，括號中的數(shù)字表示模型中CNN通道個(gè)數(shù)和LSTM、BiLSTM隱藏層單元個(gè)數(shù)，當(dāng)CNN通道個(gè)數(shù)為64，LSTM、BiLSTM隱藏層單元個(gè)數(shù)為64時(shí)，模型預(yù)測的均方根誤差和平均絕對誤差最低，擬合系數(shù)最高。因此，本文將CNN通道個(gè)數(shù)設(shè)置為64，LSTM、BiLSTM隱藏層單元個(gè)數(shù)設(shè)置為64。

模型中CNN層數(shù)和LSTM、BiLSTM層數(shù)也會影響預(yù)測的誤差和擬合程度。如表2所示，括號內(nèi)的數(shù)字表示層數(shù)，當(dāng)CNN層數(shù)為1，LSTM、BiLSTM層數(shù)為2時(shí)，模型預(yù)測的均方根誤差和平均絕對誤差最低，擬合系數(shù)最高。因此，本文將CNN層數(shù)設(shè)置為1，LSTM、BiLSTM層數(shù)設(shè)置為2。

模型中的滑動(dòng)窗口大小同樣影響預(yù)測效果，實(shí)驗(yàn)選取窗口大小為4（20min）、8（40min）、12（60min）、16（80min）、20（100min）來進(jìn)行測試，結(jié)果如圖4所示，可以看出當(dāng)滑動(dòng)窗口大小為12，即用于預(yù)測的歷史時(shí)間為60min時(shí)，模型預(yù)測的均方根誤差和平均絕對誤差最低，擬合系數(shù)最高。因此，本文將滑動(dòng)窗口的大小設(shè)置為12。

模型中CNN卷積核的大小對預(yù)測效果也有影響。實(shí)驗(yàn)選取卷積核大小分別為1、3、5、7、9的CNN來進(jìn)行測試，結(jié)果如表3所示，可以看出當(dāng)卷積核大小分別為3、5、7時(shí)，均方根誤差和平均絕對誤差最低，擬合系數(shù)最高。所以，本文將CNN的卷積核分別設(shè)置為3、5、7。

3.4? ?對比實(shí)驗(yàn)與分析

比較本文方法與以下6種方法的預(yù)測誤差和擬合系數(shù)。

（1）差分自回歸移動(dòng)平均模型（ARIMA），它結(jié)合了自回歸、滑動(dòng)平均和差分的概念，用于預(yù)測平穩(wěn)序列。

（2）卷積神經(jīng)網(wǎng)絡(luò)（CNN），它先使用單一卷積核的CNN捕捉序列的局部特征，再通過全連接網(wǎng)絡(luò)來進(jìn)行預(yù)測。

（3）長短時(shí)記憶網(wǎng)絡(luò)（LSTM）［5］，它利用門控單元和記憶單元來捕捉序列前向的時(shí)間關(guān)系，結(jié)合全連接網(wǎng)絡(luò)進(jìn)行預(yù)測。

（4）串行卷積雙向長短時(shí)記憶網(wǎng)絡(luò)（Sequential CNN-BiLSTM）［8］，它先通過CNN來提取序列的局部特征，再通過BiLSTM來提取序列前后向的時(shí)間關(guān)系，最后用全連接進(jìn)行預(yù)測。

（5）并行卷積雙向長短時(shí)記憶網(wǎng)絡(luò)（Parallel CNN-BiLSTM）［11］，它采用并行的結(jié)構(gòu)，分別由CNN和BiLSTM同時(shí)提取序列的局部特征和前后向的時(shí)間關(guān)系，再由全連接網(wǎng)絡(luò)進(jìn)行預(yù)測。

（6）多尺度卷積記憶殘差網(wǎng)絡(luò)（MSMRNet）［13］，它先通過并行的卷積核不同的CNN來提取序列的多個(gè)局部特征，再通過與LSTM串行來提取序列前向的時(shí)間關(guān)系，同時(shí)在CNN和LSTM中引入ResNet結(jié)構(gòu)，最后通過全連接層進(jìn)行預(yù)測。

由表4可得，基于深度學(xué)習(xí)的方法在整體上要好于ARIMA，這是由于ARIMA主要處理平穩(wěn)的時(shí)間序列數(shù)據(jù)，難以較好地提取復(fù)雜特征，導(dǎo)致均方誤差和平均絕對誤差高，擬合程度低。CNN和LSTM由于只提取了序列單一的局部特征和序列前向的時(shí)間關(guān)系，導(dǎo)致預(yù)測的效果并不理想。將CNN和BiLSTM進(jìn)行串行拼接后，由于同時(shí)提取了序列的局部特征和前后向的時(shí)間關(guān)系，相比單一的深度學(xué)習(xí)模型在指標(biāo)上有較大提升。將CNN和BiLSTM由串行結(jié)構(gòu)改為并行時(shí)，由于每個(gè)部分能夠單獨(dú)地提取序列特征，排除了串行結(jié)構(gòu)中前半部分的輸出對后半部分特征提取的影響，能更有效地提取局部特征和前后向的時(shí)間關(guān)系，預(yù)測的效果有所提升。MSMRNet由并行CNN提取不同的局部特征后再使用LSTM提取前向的時(shí)間關(guān)系，同時(shí)引入了ResNet結(jié)構(gòu)，因?yàn)檩^為全面的局部特征提取和跳躍連接對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，使得各項(xiàng)指標(biāo)提升較大。相比MSMRNet，本文詳細(xì)地考慮了更合適的CNN卷積核大小、后向的時(shí)間關(guān)系、LSTM的排列位置以及每個(gè)特征輸出部分的權(quán)重參數(shù)，實(shí)現(xiàn)了更有效的不同局部特征、合適比例的前后向時(shí)間關(guān)系、兩者之間互不干擾的提取以及更合理的特征輸出，使得各項(xiàng)指標(biāo)進(jìn)一步提高，均方根誤差和平均絕對誤差分別比MSMRNet下降了4.55%和3.47% ，擬合系數(shù)比MSMRNet上升了0.0003。

3.5? ?消融實(shí)驗(yàn)與分析

為了驗(yàn)證模型中各重要組成部分的作用，取出各部分并將其相互組合，對其均方根誤差、平均絕對誤差、擬合系數(shù)進(jìn)行對比。如表5所示，括號中的數(shù)字表示CNN的卷積核大小。

由表5可知，在使用LSTM部分進(jìn)行預(yù)測時(shí)，能一定程度上完成物聯(lián)網(wǎng)流量預(yù)測的任務(wù)，這是因?yàn)長STM提取了序列中前向的時(shí)間關(guān)系，但LSTM對序列時(shí)間關(guān)系的考慮不足，在各項(xiàng)指標(biāo)上偏差較大，預(yù)測誤差較高，擬合程度較低。BiLSTM部分比LSTM部分多提取了序列中后向的時(shí)間關(guān)系，使得對序列時(shí)間關(guān)系的提取更全面，所以各項(xiàng)指標(biāo)比LSTM略好。卷積核大小為3、5、7的CNN部分由于對序列進(jìn)行了多個(gè)適當(dāng)尺度的局部特征提取，使得CNN的各項(xiàng)指標(biāo)要好于LSTM和BiLSTM。在LSTM、BiLSTM、卷積核為3/5/7的CNN中分別引入ResNet結(jié)構(gòu)，即在原有模型的輸入和輸出之間分別加入一個(gè)跳躍連接，從表中可以看出，加入跳躍連接后的LSTM、BiLSTM、卷積核為3/5/7的CNN在各項(xiàng)指標(biāo)上都有明顯的提升，這是由于跳躍連接保留了原始的輸入信息，將這些信息與原有模型的輸出進(jìn)行相加，得到了更豐富的輸出表示，同時(shí)，跳躍連接使得梯度能夠更容易地通過連接處直接傳遞，有助于緩解梯度消失問題，加快模型的收斂，使得網(wǎng)絡(luò)更容易訓(xùn)練。

在有跳躍連接的卷積核為3、5、7的CNN部分中依次并行加入有跳躍連接的LSTM部分和BiLSTM部分，可以發(fā)現(xiàn)：當(dāng)單獨(dú)加入LSTM時(shí)，各項(xiàng)指標(biāo)有所提升；單獨(dú)加入BiLSTM時(shí)，各項(xiàng)指標(biāo)反而變差了；同時(shí)加入LSTM和BiLSTM時(shí)，各項(xiàng)指標(biāo)比單獨(dú)加入LSTM時(shí)要更好。這說明在對序列進(jìn)行多尺度局部特征的提取后，再加入時(shí)間關(guān)系的提取時(shí)，要提取適當(dāng)比例的前向和后向的時(shí)間關(guān)系，才能更好地提高預(yù)測的準(zhǔn)確度。對加入跳躍連接的LSTM、BiLSTM、卷積核為3/5/7的CNN部分進(jìn)行增加和除去并行CNN的操作，卷積核為3、5的CNN和卷積核為1、3、5、7的CNN分別是2個(gè)并行CNN組合和4個(gè)并行CNN組合中指標(biāo)最優(yōu)的，卷積核為1、3、5、7、9的CNN是5個(gè)并行CNN的組合，可以看出，并行的CNN不是越多越好，選取適當(dāng)并行數(shù)量的CNN才能達(dá)到較好的預(yù)測效果。最后，在有跳躍連接的并行LSTM、BiLSTM、卷積核為3/5/7的CNN部分的輸出中分別引入可訓(xùn)練的權(quán)重參數(shù)，給輸出分配相應(yīng)的重要程度，各項(xiàng)指標(biāo)得到了進(jìn)一步的提升，如圖5（a）、（b）所示，可以直觀地看出本文方法預(yù)測誤差低，擬合程度高。

4? ? ?總結(jié)

本文方法采用了并行的結(jié)構(gòu)，同時(shí)提取多尺度的局部特征和合適比例的前后向時(shí)間關(guān)系，引入了ResNet結(jié)構(gòu)優(yōu)化網(wǎng)絡(luò)并加入權(quán)重參數(shù)，合理地調(diào)整所得特征的重要性。通過大量的實(shí)驗(yàn)驗(yàn)證，證明所提方法在均方根誤差、平均絕對誤差和擬合系數(shù)這3個(gè)指標(biāo)上基本優(yōu)于對比方法，可以更準(zhǔn)確地對物聯(lián)網(wǎng)的流量進(jìn)行預(yù)測。

［參考文獻(xiàn)］

［1］ 肖軍弼，魏嬌嬌. 面向數(shù)據(jù)挖掘的網(wǎng)絡(luò)流量分析及預(yù)測研究綜述［J］. 計(jì)算機(jī)與數(shù)字工程，2023，51（2）： 372-379+467.

［2］ Alsharef A，Aggarwal K，Sonia，et al. Review of ML and AutoML solutions to forecast time-series data［J］. Archives of Computational Methods in Engineering，2022，29（7）： 5297-5311.

［3］ Li Y，Zhang S，Ren X，et al. Real World Wireless Network Modeling and Optimization： From Model/Data Driven Perspective［J］. Chinese Journal of Electronics，2022，31（6）： 991-1012.

［4］ Ko T， Raza S M， Binh D T， et al. Network prediction with traffic gradient classification using convolutional neural networks[A]. 2020 14th International Conference on Ubiquitous Information Management and Communication （IMCOM）[C]. IEEE， 2020： 1-4.

［5］ Abdellah A R， Koucheryavy A. Deep learning with long? ? ? ? ? ? ? ? short-term memory for iot traffic prediction[A].? Internet of? ? ? ? ?Things， Smart Spaces， and Next Generation Networks and? ? ? ? ? ? Systems： 20th International Conference[C]. St. Petersburg，? ? ? ? ? ?Russia： Springer International Publishing， 2020： 267-280.［6］ Tian Z，Song P. A novel network traffic combination predic? ? ? ? ? tion model［J］. International Journal of Communication Systems，2022，35（7）： e5097.

［7］ Mahajan S，HariKrishnan R，Kotecha K. Prediction of network traffic in wireless mesh networks using hybrid deep learning model［J］. IEEE Access，2022，10： 7003-7015.

［8］ Méndez M，Merayo M G，Nú?ez M. Long-term traffic flow forecasting using a hybrid CNN-BiLSTM model［J］. Engineering Applications of Artificial Intelligence，2023，121： 106041.

［9］ Aksan F，Li Y，Suresh V，et al. CNN-LSTM vs LSTM-CNN to Predict Power Flow Direction： A Case Study of the High-Voltage Subnet of Northeast Germany［J］. Sensors，2023，23（2）： 901.

［10］ Ma X，Zhang J，Du B，et al. Parallel architecture of convolutional bi-directional LSTM neural networks for network-wide metro ridership prediction［J］. IEEE Transactions on Intelligent Transportation Systems，2018，20（6）： 2278-2288.

［11］ Guo J，Wang W，Tang Y，et al. A CNN-Bi_LSTM parallel network approach for train travel time prediction［J］. Knowledge-Based Systems，2022，256： 109796.

［12］ Wang C，Cao W，Wen X，et al. An Intelligent Network Traffic Prediction Scheme Based on Ensemble Learning of Multi-Layer Perceptron in Complex Networks［J］. Electronics，2023，12（6）： 1268.

［13］ 王馨彤，王璇，孫知信. 基于多尺度記憶殘差網(wǎng)絡(luò)的網(wǎng)絡(luò)流量異常檢測模型［J］. 計(jì)算機(jī)科學(xué)，2022，49（8）： 314-322.

［14］ Kiranyaz S，Avci O，Abdeljaber O，et al. 1D convolutional neural networks and applications： A survey［J］. Mechanical systems and signal processing，2021，151： 107398.

［15］ Chen W N，Hu Z J，Yue J P，et al. Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine［J］. Automation of Electric Power Systems，2021，45（4）： 91-97.

［16］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[A]. Proceedings of the IEEE conference on computer vision and pattern recognition[C]. 2016： 770-778.

［17］ He K， Zhang X， Ren S， et al. Identity mappings in deep residual networks[A]. Computer Vision ECCV 2016： 14th European Conference[C]. Amsterdam， Netherlands： Springer International Publishing， 2016： 630-645.

［18］ Cortez P，Rio M，Rocha M，et al. Multi-scale Internet traffic forecasting using neural networks and time series methods［J］. Expert Systems，2012，29（2）： 143-155.