基于多頭自注意力機制的LSTM?TCN基站流量預(yù)測算法

摘" 要： 基站流量預(yù)測對于蜂窩網(wǎng)絡(luò)的規(guī)劃、資源分配和用戶體驗優(yōu)化至關(guān)重要。為提高基站流量預(yù)測精度，文中設(shè)計一種結(jié)合多頭自注意機制（MHSA）的LSTM?TCN基站流量預(yù)測算法。其中：MHSA能夠從多個角度強化基站流量數(shù)據(jù)的內(nèi)在關(guān)聯(lián)，增強了模型對流量數(shù)據(jù)重要特征的表達能力；LSTM?TCN模型中長短期記憶（LSTM）網(wǎng)絡(luò)捕捉流量數(shù)據(jù)中的長短時依賴性；時間卷積網(wǎng)絡(luò)（TCN）進一步捕捉流量數(shù)據(jù)中的全局特征，使得模型能夠提取基站流量數(shù)據(jù)在不同時間尺度上的變化模式和時間依賴關(guān)系，提高基站流量預(yù)測模型的擬合能力和預(yù)測精度。實驗結(jié)果表明，該流量預(yù)測算法與其他算法相比，在運營商基站流量數(shù)據(jù)的預(yù)測中有效降低了均方根誤差和平均絕對誤差，提高了決定系數(shù)，驗證了該流量預(yù)測算法的有效性，從而為基站休眠節(jié)能提供決策支持。

關(guān)鍵詞： 5G流量； 基站； 流量預(yù)測； 混合神經(jīng)網(wǎng)絡(luò)； 多頭自注意； LSTM?TCN

中圖分類號： TN929.5?34" " " " " " " " " " " " " 文獻標(biāo)識碼： A" " " " " " " " " " " "文章編號： 1004?373X（2024）23?0125?06

LSTM?TCN base station traffic prediction algorithm based on

multi?head self?attention mechanism

LI Weiye1， JIA Hairong1， SHEN Chenning2， WU Yongqiang2

（1. College of Electronic Information and Optical Engineering， Taiyuan University of Technology， Jinzhong 030600， China;

2. Shanxi Communication Tongda Microwave Technology Co.， Ltd.， Taiyuan 030000， China）

Abstract： Base station traffic prediction is crucial for the planning， resource allocation and user experience optimization of cellular networks. An LSTM?TCN base station traffic prediction algorithm that incorporates a multi?head self?attention （MHSA） mechanism is designed in order to improve the accuracy of base station traffic prediction. The MHSA can strengthen the intrinsic correlation of base station traffic data in multiple perspectives， which enhances the model′s ability to express important features of traffic data. The long short?term memory （LSTM） network in LSTM?TCN model captures the long and short?term dependencies in the traffic data， while the temporal convolutional network （TCN） captures the global features of the traffic data， which allows the model to extract the change pattern and time dependence of base station traffic data on different time scales， so as to improve the model′s fitting ability and prediction accuracy. Experimental results show that the proposed traffic prediction algorithm reduces both the root mean square error （RMSE） and the mean absolute error （MAE） effectively in the prediction of operator base station traffic data and improves the coefficient of determination （[R2]） in comparison with the other algorithms， which verifies the validity of the traffic prediction algorithm. Therefore， the proposed algorithm can provide decision support for the dormant and energy saving of the base station.

Keywords： 5G traffic; base station; traffic prediction; hybrid neural network; multi?head self?attention; LSTM?TCN

0" 引" 言

隨著移動互聯(lián)網(wǎng)用戶數(shù)的增多，根據(jù)工信部統(tǒng)計[1?2]數(shù)據(jù)顯示，截至2023年底，我國累計建成移動通信基站1 162萬個，其中5G移動通信基站占比29.1%，接入流量占比47%。為保證蜂窩網(wǎng)絡(luò)區(qū)域業(yè)務(wù)穩(wěn)定，網(wǎng)絡(luò)設(shè)計時應(yīng)滿足區(qū)域最大負載[3]，但蜂窩網(wǎng)絡(luò)中移動用戶的行為規(guī)律導(dǎo)致基站的負載率隨時間發(fā)生變化[4?5]，產(chǎn)生明顯的“潮汐效應(yīng)”，即白天和傍晚時段基站負載率較高，凌晨時段基站負載率較低。當(dāng)網(wǎng)絡(luò)處于低負載時仍保持全部基站活躍，會給蜂窩網(wǎng)絡(luò)帶來不必要的能源消耗，且5G基站平均耗電量[6]為60 kW·h，功耗約為4G基站[7]的4倍，能耗更為顯著。根據(jù)基站流量負載合理地調(diào)整基站的狀態(tài)，是降低能耗的重要措施。

因此，精準(zhǔn)地預(yù)測基站流量成為移動網(wǎng)絡(luò)有效分配網(wǎng)絡(luò)資源與實現(xiàn)節(jié)能減排的關(guān)鍵[8?9]。基于深度神經(jīng)網(wǎng)絡(luò)的基站流量預(yù)測模型能夠從數(shù)據(jù)中自動學(xué)習(xí)流量特征，具有較好的預(yù)測精度和魯棒性，得到了許多研究者的關(guān)注。文獻[10]提出一種結(jié)合信息壓縮感知的LSTM（Long Short?Term Memory）網(wǎng)絡(luò)基站流量預(yù)測算法。該算法選取相似基站并對該基站流量數(shù)據(jù)采樣后建立稀疏矩陣，將相似的流量序列與目標(biāo)流量序列同時輸入LSTM訓(xùn)練，但該算法僅依靠LSTM模型，忽略了流量數(shù)據(jù)長期特征，對于預(yù)測精度方面有待進一步提升。文獻[11]提出結(jié)合自回歸積分滑動平均模型（Autoregressive Integrated Moving Average Model， ARIMA）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）和LSTM的組合模型，模型通過預(yù)測特定時間段內(nèi)的累積網(wǎng)絡(luò)流量，能夠根據(jù)流量變化趨勢正確預(yù)測5G網(wǎng)絡(luò)資源擴展性和可用性，但累積流量無法實現(xiàn)精細度更高的單時間點預(yù)測。文獻[12]提出了一種基于卷積LSTM的相關(guān)層結(jié)合自注意力機制的蜂窩流量預(yù)測模型，僅從單一視角注意特征，欠缺捕獲序列相關(guān)性的依賴性關(guān)系。文獻[13]提出了一種雙通道時間注意力機制的LSTM?CNN模型，預(yù)測模型在LSTM?CNN中加入了通道和時序注意力機制，提高了模型在時序特征捕捉上的準(zhǔn)確性，但預(yù)測效果依賴于CNN特征的提取效果，使預(yù)測性能受限。文獻[14]提出了一種基于時間注意力輔助CNN的預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)，采用時間注意力機制捕獲蜂窩流量數(shù)據(jù)的時間相關(guān)性，使用CNN捕獲空間相關(guān)性，但忽略流量間的空間結(jié)構(gòu)關(guān)系，難以進一步提升精度。

針對以上方法存在的問題，本文提出一種基于MHSA（Multi?Head Self?Attention）的LSTM?TCN基站流量預(yù)測混合模型，它既能對基站流量數(shù)據(jù)中的長期依賴進行建模，又能根據(jù)短期依賴關(guān)系提取數(shù)據(jù)中的局部特征。為了進一步提升預(yù)測性能，模型中引入MHSA，使其能夠自適應(yīng)地選擇對預(yù)測目標(biāo)更加重要的時間步和特征，提高預(yù)測的精度，為基站休眠應(yīng)用提供可靠的數(shù)據(jù)支撐。

1" 基于MHSA的LSTM?TCN基站流量預(yù)測模型

在基站流量預(yù)測問題中，基站流量數(shù)據(jù)除了存在周期性、趨勢性、異常值和噪聲等特征外，還存在隱含的時序依賴關(guān)系，有效捕捉這種自相關(guān)依賴關(guān)系對預(yù)測效果至關(guān)重要。這要求搭建的網(wǎng)絡(luò)模型既能捕捉流量數(shù)據(jù)內(nèi)部的長短期特征，同時具有良好的時間序列建模能力。因此，以能夠捕捉流量數(shù)據(jù)長短期特征的LSTM網(wǎng)絡(luò)為基礎(chǔ)，加入具有良好全局特征提取能力的TCN（Temporal Convolutional Network）進行優(yōu)化，搭建LSTM?TCN網(wǎng)絡(luò)，有效捕捉基站流量各個時間尺度的依賴關(guān)系，提取出豐富的短期和中長期特征信息，更好地表征關(guān)鍵歷史流量特征。

為了進一步增強網(wǎng)絡(luò)對基站流量數(shù)據(jù)特征的表達能力和建模能力，本文加入多頭自注意力機制，將多個注意力信息進行融合，使得LSTM?TCN網(wǎng)絡(luò)能夠從多個角度提取輸入基站流量特征，從而提高模型對基站流量數(shù)據(jù)預(yù)測的準(zhǔn)確度。MHSA?LSTM?TCN流量預(yù)測模型結(jié)構(gòu)如圖1所示。

2" 基于基站流量預(yù)測模型的算法

2.1" MHSA流量關(guān)聯(lián)提取算法

注意力機制能夠根據(jù)基站流量數(shù)據(jù)輸入，自動分配注意力權(quán)重的資源配置，評估不同歷史流量輸入對預(yù)測流量輸出的貢獻率，為關(guān)鍵流量特征信息增加更多的權(quán)重，提升模型對重要特征的敏感度。

基站流量輸入數(shù)據(jù)可表示為[X∈RN×T×1]，[N]為流量數(shù)據(jù)輸入的條數(shù)，[T]為時序長度，[X]通過不同的可學(xué)習(xí)參數(shù)矩陣[Wq]、[Wk]、[Wv∈R1×dk]映射得到自注意力機制的查詢、鍵、值矩陣[Q]、[K]、[V∈RN×T×dk]，其中[dk]為鍵的維數(shù)。自注意力計算公式可表示如下：

[Attention（Q，K，V）=softmaxXWq（XWk）TdkXWv] （1）

式中[Attention（·）]表示注意力機制的計算。MHSA允許模型聯(lián)合關(guān)注來自不同位置的表示不同子空間的信息，通過對同樣的[Q]、[K]、[V]求多次注意力，得到多個不同的輸出，將多個輸出拼接得到最終的輸出，MHSA的計算公式可表示為：

[headi=Attention（XWQi，XWKi，XWVi）] （2）

[MultiHead（Q，K，V）=Concat（head1，head2，…，headn）WO] （3）

式中：[WQi]、[WKi]、[WVi][∈R1×dk]，分別為查詢、鍵、值的變換矩陣；[headi∈RN×T×dk]為第[i]頭注意力的輸出，[i∈[1，2，…，n]]；[Concat（head1，head2，…，headn）∈RN×T×ndk]表示多頭拼接矩陣；[WO∈Rndk×1]為輸出的變換矩陣。經(jīng)過MHSA后得到流量輸出[X=MultiHead（Q，K，V）∈RN×T×1]，MHSA通過并行多個自注意力計算來捕獲流量數(shù)據(jù)序列在不同子空間中的關(guān)聯(lián)信息，從而更全面地獲得特征表示。它可以學(xué)習(xí)流量數(shù)據(jù)中任意位置間的依賴關(guān)系，根據(jù)數(shù)據(jù)不同位置的重要程度選擇性提取信息，允許后續(xù)模型更好地學(xué)習(xí)基站流量數(shù)據(jù)的長期依賴信息。

2.2" LSTM流量長短期依賴特征提取算法

經(jīng)過MHSA強化表達的基站流量數(shù)據(jù)[X=[X′1，X′2，…，X′N]∈RN×T×1]，將作為LSTM?TCN模型中LSTM層的輸入數(shù)據(jù)。對于輸入LSTM層中的每個數(shù)據(jù)樣本[X′i]可表示為[X′i=[x′i，1，x′i，2，…，x′i，T]∈RT×1]，[x′i，t]表示第[i]條數(shù)據(jù)[t]時間步的流量數(shù)據(jù)。LSTM單元在[t]的遺忘門和輸入門的輸入為[x′i，t]，[t-1]時刻的隱藏狀態(tài)輸出為[ht-1]，它們分別與狀態(tài)單元連接并將上一時刻的單元狀態(tài)[ct-1]更新為[ct]；輸出門的輸入為更新后的單元狀態(tài)[ct]、[x′i，t]和[ht-1]，通過[tanh]和[sigmoid]函數(shù)變化后更新隱藏狀態(tài)為[ht]。計算公式為：

[ft=σ（Wfx′i，t+Wfht-1+bf）it=σ（Wix′i，t+Wiht-1+bi）ct=tanh（Wcx′i，t+Wcht-1+bc）ct=ct-1?ft+ct?itot=σ（Wox′i，t+Woht-1+bo）ht=ot?tanh（ct）] （4）

式中：[ft]、[it]、[ct]、[ct]、[ot]和[ht]分別為遺忘門、輸入門、輸入節(jié)點、狀態(tài)單元狀態(tài)、輸出門和隱藏狀態(tài)；[Wf]、[Wi]、[Wc]、[Wo]和[bf]、[bi]、[bc]、[bo]分別為遺忘門、輸入門、輸入節(jié)點和輸出門對應(yīng)的權(quán)值向量和偏置向量；[σ]表示[sigmoid]激活函數(shù)；“[?]”表示向量元素按位相乘，即在第[i]條數(shù)據(jù)中[x′i，t]與LSTM第[l]個單元的[t-1]時間步隱藏狀態(tài)[hi，t-1，l]組合后，再次輸入到該單元中并將隱藏狀態(tài)更新為[hi，t，l]，[l∈[1，2，…，L]]，[L]為LSTM單元個數(shù)，遍歷所有單元在時間步[t]的隱藏狀態(tài)[Hi，t=[hi，t，1，hi，t，2，…，hi，t，L]∈RL]，所有單元全部時間步的隱藏狀態(tài)為[Hi=[Hi，1，Hi，2，…，Hi，L]∈RT×L]。LSTM層設(shè)置為返回序列時，最終輸出為隱藏狀態(tài)[H=[H1，H2，…，HN]∈RN×T×L]。[H]包含了每個時間步的隱藏狀態(tài)，從而可以保留更多的流量歷史信息，有助于學(xué)習(xí)基站流量數(shù)據(jù)中長期的時序特征，實現(xiàn)更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，增強模型的功能和效果。

2.3" TCN流量全局特征提取算法

TCN在一維卷積網(wǎng)絡(luò)模型基礎(chǔ)上進行了因果卷積和膨脹卷積的改進，并通過殘差塊構(gòu)建基本網(wǎng)絡(luò)單元。膨脹因果卷積及殘差塊如圖2所示。膨脹卷積使得有效窗口的大小隨著層數(shù)呈指數(shù)型增長，有效地擴大了TCN的感受野，能夠用較少的參數(shù)提取基站流量數(shù)據(jù)全局信息；因果卷積計算流量數(shù)據(jù)時間步[t]的輸出時，只有在時間步[t]及之前的狀態(tài)參與卷積。保證流量數(shù)據(jù)時間順序，從而真實反映流量數(shù)據(jù)的時序關(guān)系，避免基于未來信息進行預(yù)測，防止出現(xiàn)基站流量預(yù)測中潛在的信息泄露問題，以保證預(yù)測的準(zhǔn)確性和可靠性。

在LSTM?TCN模型中，LSTM和TCN串聯(lián)，LSTM的輸出[H∈RN×T×L]，即為TCN層的輸入。[H]中的元素[Hi]可表示為[Hi=[Hi，1，Hi，2，…，Hi，L]∈RT×L]，TCN卷積核的非線性映射為[F=f1，f2，…，fK]，膨脹因果卷積計算公式如下所示：

[Hi，t=k=1KfkHi，t-（K-k）d] （5）

式中：[Hi，t∈RK]是第[i]條數(shù)據(jù)輸出[Hi=[Hi，1，Hi，2，…，Hi，T]∈RT×K]的第[t]個元素；[fk]代表卷積核的第[k]個元素；[Hi，t-（K-k）d]為第[i]條輸入的第[t-（K-k）d]個時間步的元素，[K]為卷積核數(shù)量，膨脹因果卷積的輸出為[H=[H1，H2，…，HN]∈RN×T×K]。特征維度變化僅發(fā)生在第一層卷積中，后續(xù)卷積輸入輸出維度均為[N×T×K]，并通過對[Hi，0]前的[（K-1）d]個數(shù)據(jù)使用零填充保持輸入輸出維度一致。膨脹因果卷積的感受野大小為[（K-1）d+1]。

輸入流量數(shù)據(jù)序列過長時，膨脹卷積需要堆疊更多的層來獲取全局特征，層數(shù)過多需要通過殘差連接避免梯度消失。由擴張因果卷積層、ReLU激活函數(shù)、Dropout層組成殘差塊，并通過殘差連接加快梯度傳播，提升非線性和特征學(xué)習(xí)能力，幫助深層建模基站流量特征。對于輸入[Hi]，殘差塊連接可表示為：

[Yi=δ（Conv1D（Hi）+res（Hi，Wi））] （6）

式中：[Yi∈RK×T]是TCN殘差塊輸出[Y=[Y1，Y2，…，YN]∈RN×K×T]的第[i]條數(shù)據(jù)；[δ]代表ReLU激活函數(shù)；[res（Hi，Wi）]為殘差輸出，[Wi]代表權(quán)重矩陣；[Conv1D（Hi）]為直接映射輸出，通過1×1卷積實現(xiàn)和殘差輸出之間的特征維度匹配。

3" 結(jié)果及分析

本文提出的流量預(yù)測模型及算法基于Python 3.9實現(xiàn)，樣本批量設(shè)置為16，訓(xùn)練100個周期；采用學(xué)習(xí)率為0.001的Adam優(yōu)化器。對基站流量數(shù)據(jù)集進行預(yù)處理后，并對文中所提的方法進行對比分析。

3.1" 數(shù)據(jù)來源與預(yù)處理

實驗使用運營商多個基站的脫密流量數(shù)據(jù)作為數(shù)據(jù)集，每個基站采集31×24共744條流量數(shù)據(jù)。原始流量數(shù)據(jù)存在噪聲和缺失，為了保證實驗數(shù)據(jù)的完整性并提高預(yù)測模型的準(zhǔn)確性和穩(wěn)定性，對數(shù)據(jù)標(biāo)準(zhǔn)化后按[3σ]準(zhǔn)則剔除異常值，并使用K近鄰算法對缺失值進行填充保證數(shù)據(jù)集的完整性，最后對數(shù)據(jù)集進行Min?max歸一化。其中28天的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，最后3天的數(shù)據(jù)作為測試數(shù)據(jù)。采用預(yù)測模型中常使用的評價指標(biāo)：均方根誤差（Root Mean Square Error， RMSE）、平均絕對誤差（Mean Absolute Error， MAE）和決定系數(shù)[R2]對模型性能進行評估，計算公式如下：

[RMSE=1ni=1nyi-yi2] （7）

[MAE=1ni=1nyi-yi] （8）

[R2=1-i=1n（yi-yi）2i=1n（yi-yi）2] （9）

3.2" 模型驗證

本文采用MHSA?LSTM?TCN預(yù)測模型對基站流量數(shù)據(jù)進行逐時預(yù)測，基站流量預(yù)測結(jié)果如圖3所示。該模型能夠較好地擬合流量數(shù)據(jù)的變化趨勢，較為準(zhǔn)確地對基站流量進行預(yù)測。

為了進一步驗證本文方法的優(yōu)點和性能，將本文所提預(yù)測模型的結(jié)果與現(xiàn)有幾種廣泛應(yīng)用的模型LSTM、TCN、LSTM?TCN、MHSA?LSTM?CNN進行了仿真和比較，結(jié)果如表1所示。

由表1可知，本文模型相較于TCN模型、LSTM模型、LSTM?TCN模型、MHSA?LSTM?CNN模型，其預(yù)測結(jié)果得到了最小的RMSE、MAE和最大的[R2]值，即在三種誤差評價指標(biāo)上預(yù)測精度都有明顯的提高，證明了該模型在流量預(yù)測方面的可行性，在整體預(yù)測效果和性能方面改善效果顯著。

4" 結(jié)" 語

本文提出了一種結(jié)合MHSA的LSTM?TCN基站流量預(yù)測算法，算法使用MHSA提取基站流量數(shù)據(jù)中的時間依賴，LSTM提取流量數(shù)據(jù)中各個時間步的長短期依賴關(guān)系，TCN網(wǎng)絡(luò)進一步強化全局特征，算法通過這種方式有效捕捉了基站流量數(shù)據(jù)的長短期時間依賴，從而提升預(yù)測準(zhǔn)確率。實驗結(jié)果表明，本文提出的模型對基站流量數(shù)據(jù)的預(yù)測誤差相比其他模型有了明顯減小，有效地提高了基站流量預(yù)測模型的預(yù)測精度，能夠為蜂窩網(wǎng)絡(luò)中基站的決策部署與流量監(jiān)控提供理論和應(yīng)用參考。

注：本文通訊作者為賈海蓉。

參考文獻

[1] 工信部運行監(jiān)測協(xié)調(diào)局.2023年通信業(yè)統(tǒng)計公報[N].通信產(chǎn)業(yè)報，2024?01?29（008）.

[2] 工業(yè)和信息化部運行監(jiān)測協(xié)調(diào)局.2023年通信業(yè)穩(wěn)中有進[N].中國信息化周報，2024?01?29（007）.

[3] 楊馥瑜，趙東.基于深度強化學(xué)習(xí)的基站休眠控制算法[J].中國科技論文在線精品論文，2023，16（2）：170?178.

[4] ZHU Y， WANG S. Traffic prediction enabled dynamic access points switching for energy saving in dense networks [J]. Digital communications and networks， 2023， 9（4）： 1023?1031.

[5] MA H， YANG K， PUN M O. Cellular traffic prediction via deep state space models with attention mechanism [J]. Computer communications， 2023， 197： 276?283.

[6] 劉潔.5G通信工程中的網(wǎng)絡(luò)節(jié)能技術(shù)分析[J].電子技術(shù)，2023，52（3）：294?295.

[7] 王鑫.中國鐵塔5G宏基站解決方案[J].信息通信，2020（10）：235?237.

[8] JIANG W W. Cellular traffic prediction with machine learning： A survey [J]. Expert systems with applications， 2022， 201： 117163.

[9] ZHU G， LYU Z， JIAO X， et al. Pushing AI to wireless network edge： An overview on integrated sensing， communication， and computation towards 6G [J]. Science China （Information sciences）， 2023， 66（3）： 130301.

[10] 趙巍.基于改進長短時記憶神經(jīng)網(wǎng)絡(luò)的5G通信網(wǎng)絡(luò)流量預(yù)測[J].沈陽工業(yè)大學(xué)學(xué)報，2022，44（6）：672?676.

[11] DANGI R， LALWANI P， MISHRA M K. 5G network traffic control： A temporal analysis and forecasting of cumulative network activity using machine learning and deep learning technologies [J]. International journal of ad hoc and ubiquitous computing， 2023， 42（1）： 59?71.

[12] MA X， ZHENG B， JIANG G， et al. Cellular network traffic prediction based on correlation ConvLSTM and self?attention network [J]. IEEE communications letters， 2023， 27（5）： 1909?1912.

[13] JIA H R， WANG S Y， REN Z. CNN?LSTM base station traffic prediction based on dual attention mechanism and timing application [J]. The computer journal， 2024， 67（6）： 2246?2256.

[14] SHEN W X， ZHANG H X， GUO S S， et al. Time?wise attention aided convolutional neural network for data?driven cellular traffic prediction [J]. IEEE wireless communications letters， 2021， 10（8）： 1747?1751.

作者簡介：李維燁（1999—），男，黑龍江牡丹江人，碩士研究生，研究方向為通信信號處理及應(yīng)用。

賈海蓉（1977—），女，山西洪洞人，博士研究生，教授，研究方向為通信信號處理及應(yīng)用、人工智能。