基于深度學習的礦井無線網絡流量預測研究

王躍文，常 琳，李 鳴，3

（1.中國礦業大學計算機科學與技術學院，江蘇徐州 221116；2.安標國家礦用產品安全標志中心有限公司，北京 100013；3.礦山數字化教育研究中心，江蘇徐州 221116）

我國是世界最大產煤國，礦井安全始終被國家和煤礦企業高度重視。隨著煤礦安全監測水平特別是通信技術的不斷提高，煤炭安全生產形勢已明顯好轉。尤其礦井無線通信網絡的廣泛應用，極大的改善了煤礦安全檢測、快速救援、生產管理的效率[1]。

礦井無線通信系統發展經歷了小靈通、WiFi、3G、4G 技術[2]，隨著地面第五代移動通信技術（5G）的逐步成熟，將5G 技術應用在礦井的需求越來越強烈[3]。與此同時，煤礦自動化程度不斷提高，越來越多的礦井設備利用無線通信網絡傳輸數據。然而，礦井無線通信技術的應用面臨著許多考驗。首先，井下巷道環境復雜，存在大量可燃性氣體，這嚴格限制了通信設備的發射功率，但無線終端多需要電池供電，因此，為了保證無線終端較長的巷道中長時間工作，只有降低煤礦無線通信系統的能耗。其次，巷道中工作人員和機械設備具有一定流動性，同時礦井中數據、視頻等數據業務大量涌現，使得靜態的網絡覆蓋不能充分利用每個無線網絡中的頻譜和能量資源，故一個靈活的動態覆蓋通信方法將更加適應未來礦井高速率多媒體的無線通信需求。無線網絡流量的精確預測能夠提升無線網絡的智能化程度，實現網絡動態的擁塞控制，輔助基站實現基于流量的動態覆蓋，減少網絡資源的耗費，提高網絡能效，最終實現網絡的自組織管理、最優化配置。

流量預測的目的是通過現有的流量歷史數據通過某些算法提取流量波動的相關信息精確預測下一個時間段的流量。在幾十年的無線通信領域發展過程中，無線網絡流量的分析與預測也在穩步發展[4]。已經有很多學者提出許多不同的流量預測方法。這些方法主要有基于時間序列的流量預測方法、基于機器學習的流量預測方法和基于深度學習的流量預測方法。

文獻[5]提出一種基于差分整合移動平均自回歸模型（ARIMA）的流量預測方法，該方法主要是利用了流量數據中規律的數據進行流量預測，但模型僅具有線性表達能力，而流量數據主要是由非線性數據組成，這導致了ARIMA 模型應用能力較弱。目前，由于機器學習和深度學習具有強大的特征表達能力，已成為網絡流量建模的主要方式。無線網絡流量預測作為復雜時空預測問題，研究人員在該領域做了大量的研究工作。文獻[6]將循環神經網絡（RNN）應用于基站流量預測，取得了不錯的效果。為了同時捕獲流量中的時間和空間相關性，文獻[7]利用了卷積神經網絡，通過基于參數矩陣的融合策略，融合不同種類的時間依賴性（周期性），使用多層卷積來學習空間上的依賴性增強模型的特征表達能力。文獻[8]結合卷積神經網絡和循環神經網絡對互聯網流量進行預測。在空間特征的提取方面，文獻[9]研究了特殊卷積神經網絡對于空間特征提取的效果，認為深層殘差網絡比一般卷積神經網絡堆疊效果更好。而在時間特征提取方面，文獻[10]研究了不同人工神經網絡的互聯網流量預測算法，實驗認為，循環神經網絡能夠有效提取時間特征，比堆疊自動編碼器表現更好。

以上流量預測研究一部分側重于利用流量數據的部分特征進行預測，另一部分研究在時空特征提取或融合方面有待進一步加強。因此，為了充分利用流量數據中存在的時空特征進行預測，提出了一種有效的時空卷積全連接網絡（CL-FCCNet），該模型利用殘差網絡捕獲無線網絡流量的空間依賴，基于循環神經網絡捕獲無線網路流量的時間依賴，將2 個模型提取出的時空相關性由全連接層融合輸出，實現無線網絡流量的精確預測。

1 面臨問題與數據分析

1.1 流量預測研究內容

流量預測的思想是通過數學表達式來表示未來一段時間內的流量變化情況，在流量數據中呈現復雜的非線性。流量預測圖如圖1。

圖1 流量預測圖Fig.1 Traffic forecast

1.2 數據分析

通過無線網絡流量的具體變化情況分析無線網路流量所具有的特征，2 個區域的流量變化情況如圖2。

圖2 2 個典型區域的流量變化情況Fig.2 Temporal distribution of the wireless traffic of two typical regions

圖2 中，橫坐標表示時間，縱坐標CDRs 表示隨時間變化的流量數值情況。精確的流量預測即如何有效利用流量數據中存在的流量變化特征，即在空間上各個區域間的流量呈現相關性，在時間上單個區域內的流量變化也呈現周期性和突發性，來預測未來時間段內流量的變化。流量數據中存在特征的簡要描述如下：

1）區域內復雜的周期性時間特征。如圖2，單個區域內的流量變化呈周期性波動，但流量數據在周期性波動的同時也并非與上一個時間段的波動完全相同，具有一定的突發性。流量波動的周期性與人們的日常行為有關，無線網絡流量的需求隨時間變化，每天在固定的時間形成高峰與低谷。同時流量波動具有突發性，流量預測模型需要準確的表達流量數據中存在的周期性和突發性。

2）區域間復雜的關聯性。礦井內不同區域的無線流量變化情況是與設備和人員的流動相關的。隨著井下工作的進行必定會造成無線網絡設備的移動，從而影響無線網絡流量的變化。

3）其他影響因素。礦井下工作環境復雜，任何突發情況均有可能影響流量的波動，如礦井事件、節假日等。

綜上，準確的無線網絡預測模型不僅需要涉及區域內流量波動特征，也需要建模區域間網絡流量相關性，因此，綜合考慮以上多維度建模流量數據中所攜帶的相關信息。

2 時空殘差卷積網絡

時空殘差卷積網絡架構圖如圖3。它由2 個部分組成：①殘差網絡模塊：用來生成數據流量序列的空間特征；②循環神經網絡模塊：提取流量數據序列的時間特征。如圖3,經過處理后的歷史數據輸入至由卷積神經網絡和批規范化組成的殘差網絡，從而提取流量數據的空間特征，隨后轉換數據維度，輸入到循環神經網絡中，以提取流量數據的時間依賴，最后通過全連接層對包含時空特征的循環神經網絡的所有輸出產生預測數據。

圖3 時空殘差卷積網絡架構圖Fig.3 Main architecture of CL-FCCNet

2.1 模型計算步驟

2.1.1 輸入矩陣的維度擴充

模型使用same 的padding 方法對輸入數據進行處理，使得輸入數據在卷積時不會丟失邊緣數據，以獲得更多的空間特征，same padding 示意圖如圖4。

圖4 same padding 示意圖Fig.4 Schematic diagram of same padding

輸入數據的尺寸為W1，步長為S，則same padding 的輸出形狀計算公式如下：

式中：［］為向上取整符號；new＿height、new＿width為輸出數據的高度和寬度。

2.1.2 殘差網絡建模空間相關性

殘差網絡通過卷積的方式建模信息，relu 作為激活函數，加入批標準化處理加快空間依賴建模速度、打亂訓練數據、約束訓練參數，從而優化卷積神經網絡中梯度消失梯度爆炸等問題。此外，傳統的卷積神經網絡的子采樣操作會損失邊緣數據，過多層子采樣的疊加可能會使模型進入過擬合。因此，模型在使用殘差網絡時直接進行卷積操作，卷積堆疊方式如圖5。殘差網絡單元如圖6。

圖5 卷積堆疊方式Fig.5 Convolution stack mode

圖6 殘差網絡單元Fig.6 Residual unit

殘差單元可以表示為：

式中：xl、xl＋1為第l 個殘差單元的輸入和輸出；hr為恒等映射函數；Fr為殘差函數，表示學習到的殘差，在圖中為直線箭頭所經過的部分；Wrl為第l 層殘差的權重；yl為第l 層恒等映射函數與殘差函數的累加和；f 為激活函數。

從淺層l 至深層L 的學習特征公式如下：

式中：xL為第L 層殘差網絡輸出；i 為從第l 層至第L 層殘差網絡的迭代。

殘差網絡實際輸出數據XC∈kn×H2×W2，kn為最后1 層卷積層卷積核個數，H2、W2為輸入張量尺寸。

2.1.3 數據維度的轉化

殘差網絡為卷積神經網絡，單次輸出數據為三維數據，而長短期記憶網絡單次輸入數據為二維數據，需要將數據維度轉換。轉換公式如下：

式中：Re shape 為維度變換函數；Xc［i1，j1，k1，m1］為殘差網絡輸出張量，整體輸出數據為四維數據，且各個維度上的數據量分別是i1、j1、k1、m1；Xr［i2，j2，k2］為長短期記憶網絡輸入張量，整體輸入數據為三維數據，且各個維度上的數據量分別是i2、j2、k2。

2.1.4 長短期記憶網絡建模時間相關性

長短期記憶網絡主要由輸入門、輸出門和遺忘門組成，輸入門負責數據的輸入，決定輸入的新信息。輸出門輸出計算后的數據，如當前單元的輸出值以及傳遞到下一個單元的隱藏狀態值。遺忘門則負責從當前狀態中丟棄哪些信息。具體過程如下：

1）輸入數據會經過遺忘門，遺忘門會根據前一時刻的隱藏狀態值ht－1和當前輸入信息xt決定是否丟棄遺忘門輸出信息ft，遺忘門輸出結果ft會通過sigmoid 函數將數值映射到［0，1］區間，然后與上一個單元的狀態值進行對應元素乘法運算。映射在0附近則對應狀態信息被遺忘，映射為1 附近則狀態信息被保留。

式中：Wf為權重；bf為偏置；σ 為激活函數。

2）將輸入數據經過更新門，確定更新信息it。更新門輸出結果同樣映射在［0，1］范圍內，為了計算狀態信息ct還需要讓更新門輸出數據與輸入數據xt經過tanh 函數的輸出相乘，得出的結果與經過遺忘門輸出的狀態信息逐點相加，成為當前單元的狀態信息ct。更新門的操作可以表示為：

式中：Wi為更新門權重；bi更新門偏置。

3）將輸入數據輸入輸出門，得出輸出門輸出ot以及本單元的隱藏狀態值ht。其中ot的計算公式如下：

式中：Wo為輸出門權重；bo為輸出門偏置。

4）計算單元狀態信息ct和隱藏狀態ht。

式中：ct－1為上一單元的單元狀態；°為哈達碼積（2 個矩陣對應位置相乘結果為矩陣）；σc為單元狀態信息激活函數；σh為隱藏狀態激活函數；Wc、Zc為可學習權重矩陣；bc為可學習偏置。

2.1.5 使用全連接神經網絡融合時空特征

在殘差網絡提取空間特征，長短期記憶網絡提取時間特征之后，輸入至全連接神經網絡整合時空特征輸出預測結果：

3 試驗與結果分析

受條件限制，無法取得井下的無線網絡流量數據，但無線網絡流量數據存在共同的特征。因此試驗采用的是日常條件下的無線網絡流量數據。

由于數據中包含流量的輸入輸出，存在不符合的數據。因此，需要在輸入模型前先對數據集進行簡單的預處理。預處理過程如下：首先將原始數據時間戳進行轉換；累加區域內同一時刻不同首發區域的數據；將數據集轉換為時間、網格橫坐標、網格縱坐標、流量情況的符合模型輸入的矩陣形式；處理異常和缺失數據，原始數據中存在明顯超出流量范圍的異常數據和缺失數據，根據公式將異常數據和缺失數據替換為附近數據的平均值。

3.1 試驗參數設置

將歷史數據的90%用來進行模型的訓練，剩下的10%作為模型訓練情況的驗證。模型設置34 層殘差網絡，其中卷積核的數目是64/128，卷積核的大小為3×3/5×5。模型采用的激活函數是Relu，其表達式為：f（a）=max（0，a）。相較于其它激活函數relu能夠克服在訓練過程中梯度消失的問題，也能夠加快模型的訓練速度。長短期記憶網絡的層數選擇2/3 層，每層單元數目是64/128。在模型中增加信息丟失層，丟失概率是0.5。

本次試驗使用深度學習框架TensorFlow 和Keras 在Linux 環境下的GPU 上運行。

3.2 試驗對比和分析

為了對比本模型的試驗結果，在相同的數據集上試驗了現有的多個模型，并對試驗結果進行對比。具體對比模型如下：ARIMA 為整合移動平均自回歸方法，用來描述預測原始數據序列，識別后利用歷史數據和當前數據預測未來的值，是經典的時間序列預測方法；LSTM 為長短期記憶網絡，適合處理和預測長期的時間序列數據；GRU 為門控循環網絡，長短期記憶網絡的一種很好的變體，具有更簡單的結構，提供較好的效果，能夠減少需要訓練的參數數目；3DCNN 為一種將卷積維度從二維擴展到三維的網絡，處理時間序列數據能夠對時間和空間進行卷積；CNN+RNN 為卷積神經網絡和循環神經網絡的組合模型，能夠獨立提取時間信息和空間信息，在時間序列預測問題上具有良好的表現。

采用均方誤差RMSE 和平均準確度MA 作為評價指標，用M 表示輸出序列數目，yi，y?i分別為預測值和真實值。利用RMSE 和MA 參數，可以衡量預測值和實際流量數值的差異。

3.3 試驗結果

試驗結果對比見表1。試驗對流量數據進行建模和預測，然后用RMSE 和MA 進行CL-FCCNet 與5 個基線模型之間的性能比較。

表1 試驗結果對比Table 1 Test results

從表1 的試驗結果中能夠明顯看出，提出的試驗模型在無線網絡流量預測中具有一定的優勢，在所有基礎模型中RMSE 最大的提升幅度為ARIMA，相比為39.85%，最低的RMSE 優化幅度為3DCNN，相對提升4.38%。正如相關工作所分析的內容，傳統的時間序列預測方法具有自身的局限性。ARIMA 模型無法綜合考慮流量變化的相關影響因素，雖具有一定的適用性但流量變化預測準確性最低。在本次的試驗條件下，ARIMA 模型的預測RMSE 為7.98，預測準確度為80.21%。采用深度神經網絡的預測模型在預測結果上均具有一定的優勢，其中循環神經網絡模型能夠對流量變化數據進行線性建模的同時綜合考慮流量變化的相關影響因素，在本次試驗結果中，LSTM 模型和GRU 模型的RMSE 分別為6.12和6.48，MA 分別為86.65%和85.97%。LSTM 和GRU 均采用對輸入數據線性處理的方式進行預測建模，LSTM 結構相對復雜需要訓練更多的參數，GRU 簡化了模型結構在保留模型功能的基礎上減少訓練參數，進一步了減少訓練量。但二者作為循環神經網絡的發展模型，還是存在循環神經網絡存在的普遍問題，即在訓練長序列數據時由于數據量較大而記憶單元容量有限，模型不可避免的需要丟失一部分預測相關數據造成預測的精度下降。三維卷積神經網絡（3DCNN）在本次試驗中的預測結果為RMSE 的5.02 和MA 的89.64%。此次預測結果相對于僅考慮時間相關性進行建模的循環神經網絡（LSTM 和GRU）的預測結果有一定的提升，說明在進行無線網絡流量預測時將無線網絡流量變化點之間的相關性納入模型預測影響因素中有助于提高流量預測的準確性。同時，在本次試驗中卷積神經網絡和循環神經網絡的組合模型所取得的預測結果為RMSE 的11.03 和MA 的74.87%。組合模型雖然考慮到了時間和空間上的因素對流量預測的影響，但可能是由于相關影響因素提取的不徹底或者是在相關性的傳遞過程中丟失部分數據造成預測的準確性下降。

提出的無線網絡流量數據預測模型對于一般的三維卷積神經網絡超過4.38%，優于其它對比模型。模型充分利用不同深度學習模型的優勢，采用分開建模的方式利用殘差網絡獲取數據中的空間相關性，利用循環神經網絡建模數據中的時間依賴最終通過全連接網絡輸出預測數據。試驗結果表明，模型具有一定優勢。

網格數目增加預測性能變化情況如圖7，每次試驗增加225 個預測區域。流量預測值與實際值對比如圖8。

圖7 網格數目增加預測性能變化情況Fig.7 Predicting performance changes as the number of grids increases

圖8 流量預測值與實際值對比Fig.8 Comparison of prediction and real on traffic prediction over a period of time on a grid

從圖7 可以看出，所有的模型隨著預測范圍的擴大，預測精度呈現下降的趨勢。但所提出的CLFCCNet 模型相較于其它模型具有一定的優勢。這說明，利用流量數據中存在的時空特征能夠對無線網絡流量進行更加精確地預測。模型使用殘差網絡和長短期記憶網絡能夠精確地建模無線網絡流量的時空特征，在輸出階段使用全連接神經網絡能夠很好的融合2 個模型分別提取的特征。因而CL-FCCNet模型在預測范圍擴大的情況下對預測精度的影響較小，從而在大范圍流量預測中也具有一定的優勢。

從圖8 對比結果可以看出，模型能夠較為準確地預測流量的變化趨勢，但是預測的細節還有待加強。從圖中可以看出在流量劇烈波動的細節部分預測準確度較低，但能夠準確的預測流量的變化趨勢。從結果來看，模型能夠較為準確地預測流量的變化情況。

4 結 語

無線網絡流量的精確預測是構建安全高效礦井無線網絡的基礎，結合殘差網絡、循環神經網絡模型，提出一種時空卷積（CL-FCCNet）模型。該模型利用殘差網絡獲取無線網絡流量的空間特征，基于循環神經網絡獲取無線網絡流量時間特征，并最終利用全連接神經網絡融合時空特征，增強模型預測的準確性和穩定性。通過在真實的無線網絡數據集上進行測試，結果表明空間依賴和時間相關的相互作用在流量預測中起著重要的作用。提出的模型CL-FCCNet具有更簡單的結構，在保證較高準確率的前提下極大降低時間復雜度，使結果具有更高的時效性。未來，將收集真實的井下無線網絡流量數據，引入影響流量波動的其他因素進行試驗優化預測模型。