面向節(jié)能的神經(jīng)網(wǎng)絡(luò)流量預(yù)測(cè)探討

陳秀敏，黃毅華，劉兵，何宇鋒

（1.中國電信股份有限公司研究院，廣東 廣州 510630；2.珠海世紀(jì)鼎利科技股份有限公司，廣東 珠海 519085）

0 引言

隨著5G的全面商用，由于其采用的頻率更高、單站的覆蓋范圍小，以及為滿足5G高可靠、廣覆蓋、低時(shí)延等特點(diǎn)，5G的站點(diǎn)數(shù)目相比4G急劇增加，雖然5G單位比特耗能比小于4G基站，但是絕對(duì)能耗則不容小覷。如何在不影響網(wǎng)絡(luò)業(yè)務(wù)和用戶感知的前提下，有效降低整體網(wǎng)絡(luò)能耗，提高能量效率，是現(xiàn)5G的一個(gè)熱門討論課題。

通信網(wǎng)絡(luò)節(jié)能方案可以劃分為基站節(jié)能方案和網(wǎng)絡(luò)級(jí)節(jié)能方案。基站節(jié)能方案主要考慮從設(shè)備硬件、軟件特性等方面優(yōu)化設(shè)備能耗，而網(wǎng)絡(luò)級(jí)節(jié)能方案考慮多制式網(wǎng)絡(luò)之間協(xié)作實(shí)現(xiàn)全網(wǎng)能耗最優(yōu)的效果。基站設(shè)備節(jié)能方案主要有兩種方式，即硬件節(jié)能方案和軟件節(jié)能方案，硬件節(jié)能降低基站設(shè)備的基礎(chǔ)功耗，軟件節(jié)能從業(yè)務(wù)運(yùn)營角度出發(fā)對(duì)硬件資源進(jìn)行合理調(diào)配，讓基站設(shè)備更高效運(yùn)行。常見的節(jié)能策略主要有符號(hào)關(guān)斷、通道關(guān)斷、載波關(guān)斷、深度休眠等基礎(chǔ)型節(jié)能，以及通過小區(qū)/微站關(guān)斷及下行功率優(yōu)化、智能節(jié)能等方式強(qiáng)化節(jié)能的增強(qiáng)型節(jié)能。

從運(yùn)維的角度來看，節(jié)能并不僅僅以降低能量消耗為單一的目標(biāo)，節(jié)能的目的是實(shí)現(xiàn)網(wǎng)絡(luò)運(yùn)行所產(chǎn)生的能量消耗與網(wǎng)絡(luò)提供的服務(wù)的性能之間的一種折中狀態(tài)，或者說，是在不影響網(wǎng)絡(luò)提供服務(wù)關(guān)鍵性能指標(biāo)的前提下降低能量消耗。

在實(shí)際應(yīng)用環(huán)境中，面對(duì)基站屬性的差異、網(wǎng)絡(luò)數(shù)據(jù)（業(yè)務(wù)類型、服務(wù)質(zhì)量情況、網(wǎng)元負(fù)載情況等）的變化，不同預(yù)測(cè)模型/算法與實(shí)際情況的匹配程度是不同的。本文側(cè)重的是從業(yè)務(wù)流量預(yù)測(cè)的角度去輔助節(jié)能策略的選擇，針對(duì)業(yè)務(wù)流量存在的季節(jié)性提出在LSTM網(wǎng)絡(luò)預(yù)測(cè)流量時(shí)間序列的基礎(chǔ)上，引入指數(shù)平滑模型處理時(shí)間序列的季節(jié)性，使改良后的模型既可以最大限度地?cái)M合流量時(shí)間序列數(shù)據(jù)，又可以在長期預(yù)測(cè)中保持預(yù)測(cè)性能的穩(wěn)定和可靠，達(dá)到提升預(yù)測(cè)精度從而精準(zhǔn)節(jié)能以保障網(wǎng)絡(luò)服務(wù)關(guān)鍵性能指標(biāo)的目的。

1 流量與能效

1.1 能源效率評(píng)價(jià)

基站主設(shè)備能耗主要由機(jī)柜能耗和載頻能耗組成，載頻能耗主要由功放、基帶處理、電源、模擬電路等構(gòu)成，占主設(shè)備能耗的90%，是基站主設(shè)備能耗的主要組成部分，其中又以功放的能耗占比最高，因此要想降低基站主設(shè)備能耗，可以從射頻功率和能耗入手。

一般來說，網(wǎng)元的EE（Energy Efficiency）KPI表示為數(shù)據(jù)量除以所考慮網(wǎng)元的能量消耗。在無線接入網(wǎng)絡(luò)的情況下，也可以使用EE KPI變量，用覆蓋面積除以所考慮網(wǎng)元的能量消耗來表示[1]，如式(1)所示：

EEMN,DV要求采集5G網(wǎng)絡(luò)功能（NF）的數(shù)據(jù)量（DV）和能耗（EC），在NG-RAN，DV測(cè)量的是每個(gè)小區(qū)的數(shù)據(jù)量。

為了評(píng)估是否達(dá)到節(jié)能的效果，需要一個(gè)能用來確定節(jié)能前后所獲得收益的指標(biāo)。此處引入能源的絕對(duì)度量和相對(duì)度量，前者ECR（Energy Consumption Rating）通常定義為基站發(fā)射機(jī)的峰值功率除以最大數(shù)據(jù)吞吐量的比率。為了使該度量更具實(shí)用性，ECR測(cè)量的應(yīng)該在網(wǎng)絡(luò)上成功傳輸每信息位所消耗的能量。相對(duì)度量能量消耗增益ECG（Energy Consumption Gain），指的是對(duì)使用節(jié)能技術(shù)的基站（被測(cè)系統(tǒng)）能源性能與未采用該方法的基準(zhǔn)系統(tǒng)進(jìn)行比較，簡單說就是比值Eb/Et，其中Eb是參考系統(tǒng)消耗的能量，Et是被測(cè)系統(tǒng)的能量。ECG值越大，被測(cè)系統(tǒng)的工作效率越高。與ECR指標(biāo)一樣，為了提供公平的比較，需要注意以公平的方式進(jìn)行能量計(jì)算，例如在比較兩個(gè)基站設(shè)計(jì)時(shí)，應(yīng)確保在相同的流量負(fù)載條件下并且兩個(gè)系統(tǒng)服務(wù)的用戶數(shù)相同。

1.2 流量與能源的關(guān)系

對(duì)無線網(wǎng)絡(luò)中的數(shù)據(jù)流量分析表明，各小區(qū)之間的流量負(fù)載通常都是非常不均衡的。參考文獻(xiàn)[2]對(duì)200個(gè)小區(qū)的分析中，可以發(fā)現(xiàn)即使在高峰時(shí)間，90%的數(shù)據(jù)流量僅由網(wǎng)絡(luò)中40%的站點(diǎn)承載。因此，在不同的業(yè)務(wù)負(fù)荷條件下使能源消耗最小化的技術(shù)是一個(gè)重要的研究方向，在這里我們將分別描述針對(duì)低和高業(yè)務(wù)負(fù)荷兩種情況下的能耗。

在低流量負(fù)載的情況下，基站有能力用比用戶當(dāng)時(shí)所需帶寬更多的可用帶寬來向用戶傳輸數(shù)據(jù)。根據(jù)香農(nóng)定律C=Blog2(1+SINR)，信道容量隨可用帶寬呈線性增長，隨信噪比呈對(duì)數(shù)增長。噪聲功率一定的情況下，信號(hào)發(fā)射功率越高信噪比越高。因此可以用頻譜來換取能源效率，并在保持服務(wù)質(zhì)量的同時(shí)實(shí)現(xiàn)能源節(jié)約。例如在復(fù)雜但頻譜效率高的窄帶寬的16-QAM調(diào)制方式，和相對(duì)簡單的寬帶寬的QPSK調(diào)制方式之間做選擇，選擇帶寬寬的后者就會(huì)比選擇帶寬窄的前者更節(jié)省能源。這種情況，就是利用了空閑帶寬資源來減少能源消耗。

圖1顯示了這種方法的ECG增益預(yù)測(cè)結(jié)果，其為給定數(shù)據(jù)速率下所需信噪比（SINR）的函數(shù)。一般來說，隨著頻譜效率的提高，所需信噪比也隨之提高。α值指允許的帶寬擴(kuò)展系數(shù)，例如，α=2的帶寬擴(kuò)展將允許16-QAM調(diào)制（4 bit/s/Hz最大數(shù)據(jù)速率）被QPSK（2 bit/s/Hz最大數(shù)據(jù)速率）取代，這將需要較低的SINR。結(jié)果表明，隨著信噪比的增加，使用帶寬擴(kuò)展技術(shù)對(duì)ECG的潛在改進(jìn)也在增加。

圖1 低流量負(fù)載的ECG增益預(yù)測(cè)結(jié)果

當(dāng)業(yè)務(wù)量較大時(shí)，基站可能同時(shí)向多個(gè)用戶傳輸數(shù)據(jù)。在這種情況下，通常可以利用多用戶多樣性來增加通過資源調(diào)度和分配策略實(shí)現(xiàn)的總體多用戶容量，根據(jù)用戶在時(shí)間、頻率或/和空間域中的瞬時(shí)信道條件來分配資源。如MIMO采用了適當(dāng)?shù)逆溌愤m應(yīng)和資源調(diào)度方法，來確保在分配的資源內(nèi)采用最節(jié)能的傳輸方式以滿足所需的QoS級(jí)別。性能的提高可以轉(zhuǎn)化為發(fā)射機(jī)的能量進(jìn)一步減少。以文獻(xiàn)[3]為例，圖2給出了不同MIMO預(yù)編碼方案與以單用戶MIMO分集方案空頻分組編碼（SFBC）為基準(zhǔn)情況下的ECG性能對(duì)比。圖中可見利用更高分集度的多用戶MIMO方案在每個(gè)信息位所需的發(fā)射機(jī)能量方面可以實(shí)現(xiàn)較低的成本。當(dāng)移動(dòng)用戶數(shù)量足夠大時(shí)，性能評(píng)估結(jié)果表明，多用戶可以實(shí)現(xiàn)5倍的能量增益。

圖2 高流量負(fù)載下不同編碼方案的ECG對(duì)比

2 流量預(yù)測(cè)模型架構(gòu)

流量和其他的時(shí)間序列一樣，存在明顯的季節(jié)性周期特性。比如在一周內(nèi)呈現(xiàn)中間高、兩端低的周期變化，這說明流量業(yè)務(wù)的使用在工作日中達(dá)到高峰，在周初和周末趨向低谷，同時(shí)在年度中也存在相應(yīng)的季節(jié)周期性變化。又比如在經(jīng)濟(jì)發(fā)達(dá)的城市，高峰往往出現(xiàn)在8、9月份，因?yàn)榇藭r(shí)的社會(huì)活動(dòng)非常活躍，而低谷則出現(xiàn)在春節(jié)期間，此時(shí)大量的人員返鄉(xiāng)過年，大城市人口密度明顯下降，從而移動(dòng)業(yè)務(wù)的使用也進(jìn)入了一年中的低谷。而在經(jīng)濟(jì)相對(duì)欠發(fā)達(dá)地區(qū)，由于返鄉(xiāng)過節(jié)人員的持續(xù)密集流入，相應(yīng)的移動(dòng)業(yè)務(wù)的使用達(dá)到高峰，反而使春節(jié)期間的網(wǎng)絡(luò)流量逐步進(jìn)入一年中的峰值。除了周期特性外，移動(dòng)網(wǎng)絡(luò)流量時(shí)間序列也受到不斷出現(xiàn)的異常波動(dòng)影響，比如人群聚集、網(wǎng)絡(luò)異常等突發(fā)性因素，這對(duì)站點(diǎn)級(jí)的流量時(shí)間序列預(yù)測(cè)產(chǎn)生影響。對(duì)此我們提出使用引入了指數(shù)平滑模型的LSTM網(wǎng)絡(luò)的模型架構(gòu)HW-LSTM來預(yù)測(cè)流量。

2.1 LSTM網(wǎng)絡(luò)模型

RNN（Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)）是一系列能夠處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)的總稱。基本的RNN模型只處理前一個(gè)單元的輸出，距離遠(yuǎn)的單元的輸出，因中間經(jīng)過多次處理，其影響會(huì)逐漸消失。所有遞歸神經(jīng)網(wǎng)絡(luò)都具有神經(jīng)網(wǎng)絡(luò)重復(fù)模塊鏈的形式。在標(biāo)準(zhǔn)RNN中，該重復(fù)模塊具有非常簡單的結(jié)構(gòu)，例如單個(gè)tanh層。長短期記憶模型LSTM（Long Short Term Memory）是一種特殊的RNN，能夠?qū)W習(xí)長期的規(guī)律，也具有這種類似鏈的結(jié)構(gòu)，但重復(fù)模塊具有不同的結(jié)構(gòu)，有四個(gè)而不是一個(gè)神經(jīng)網(wǎng)絡(luò)層。圖3所示為RNN的鏈?zhǔn)浇Y(jié)構(gòu)，每個(gè)時(shí)間片使用的是相同參數(shù)，圖4所示的LSTM引入了門（gate）機(jī)制用于控制特征的流通和阻斷。門是一種選擇性讓信息通過的節(jié)點(diǎn)，它們由Sigmoid神經(jīng)網(wǎng)絡(luò)層和逐點(diǎn)乘法運(yùn)算組成。Sigmoid層輸出0～1之間的值，每個(gè)值表示對(duì)應(yīng)的部分信息是否應(yīng)該通過。0值表示不允許信息通過，1值表示讓所有信息通過。LSTM的巧妙之處在于增加了三個(gè)這樣的門（輸入門、遺忘門和輸出門），使自循環(huán)的權(quán)重是可變可控的，用于保護(hù)和控制信息流向量狀態(tài)。

圖3 RNN單元結(jié)構(gòu)

圖4 LSTM單元結(jié)構(gòu)

研究人員發(fā)現(xiàn)基于深度學(xué)習(xí)的LSTM可以很好地?cái)M合非線性的時(shí)間序列數(shù)據(jù)，并且能有效改善RNN所存在的梯度消失和梯度爆炸問題。梯度消失和梯度爆炸是由于RNN的權(quán)值矩陣循環(huán)相乘所引起的。關(guān)于梯度消失，是指梯度被近距離梯度主導(dǎo)，導(dǎo)致模型難以學(xué)到遠(yuǎn)距離的依賴關(guān)系，傳統(tǒng)RNN采用連乘積的形式來計(jì)算狀態(tài)，多個(gè)小于1的項(xiàng)連乘造成了梯度消失，LSTM之所以可以解決梯度問題，是因?yàn)樗苊饬藷o休止的連乘，而是邊加邊乘。雖然LSTM仍然有可能發(fā)生梯度爆炸，但由于LSTM的其他路徑非常崎嶇，和普通RNN相比多經(jīng)過了很多次激活函數(shù)（導(dǎo)數(shù)都小于1），因此LSTM發(fā)生梯度爆炸的頻率要低得多。通常處理梯度爆炸的方法為梯度截?cái)啵褪菍⒊^閾值θ的梯度降為θ。

2.2 指數(shù)平滑模型

在時(shí)間序列中，我們需要基于該時(shí)間序列當(dāng)前已有的數(shù)據(jù)來預(yù)測(cè)其在之后的走勢(shì)，三次指數(shù)平滑Holt-Winter算法可以很好地進(jìn)行時(shí)間序列的預(yù)測(cè)。時(shí)間序列數(shù)據(jù)一般具有趨勢(shì)性和季節(jié)性的特點(diǎn)。趨勢(shì)描述的是時(shí)間序列的整體走勢(shì)，比如總體上升或者總體下降；季節(jié)性描述的是數(shù)據(jù)的周期性波動(dòng)，比如以年或者周為周期。指數(shù)平滑法有幾種不同形式，此處使用的是三次指數(shù)平滑Holt-Winter模型，因其引入了趨勢(shì)和季節(jié)成分，于是可以對(duì)同時(shí)含有趨勢(shì)和季節(jié)性的時(shí)間序列進(jìn)行預(yù)測(cè)。式(2)為累乘三次指數(shù)平滑的預(yù)測(cè)公式，式中L是一個(gè)季節(jié)的周期數(shù)，St為水平成分，It為季節(jié)成分，bt為趨勢(shì)成分。

本文中我們分析了某大型城市的三個(gè)重要會(huì)展場(chǎng)所的流量時(shí)間序列的季節(jié)性成份，發(fā)現(xiàn)5分鐘粒度的時(shí)間序列存在明顯的天周期成份，圖5為從其中一個(gè)區(qū)域5分鐘粒度時(shí)間序列中分解出的天周期成份和趨勢(shì)成份。

圖5 趨勢(shì)成份與天周期成份

從圖中可以看到該區(qū)域從10月9日至16日總體流量變化趨勢(shì)呈現(xiàn)上升狀態(tài)，而其天周期表現(xiàn)為零點(diǎn)至3點(diǎn)30分前后流量直線下降，3點(diǎn)半后逐級(jí)上升，在晚上9點(diǎn)前后達(dá)到高峰后，轉(zhuǎn)為下降趨勢(shì)，模型分解出的趨勢(shì)、周期成份很好地反映了真實(shí)情況下的流量變化規(guī)律。

2.3 HW-LSTM模型

作為非線性模型，LSTM可作為復(fù)雜的非線性單元用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。不管是RNN還是LSTM及其衍生主要是隨著時(shí)間推移進(jìn)行順序處理，但一旦遇到不完全按時(shí)間一環(huán)扣一環(huán)形成的時(shí)間序列數(shù)據(jù)就可能會(huì)導(dǎo)致預(yù)測(cè)偏離。

如前文所述，業(yè)務(wù)流量隨時(shí)間有波動(dòng)性和突發(fā)性，從而產(chǎn)生離群值，對(duì)時(shí)間序列的平穩(wěn)性會(huì)產(chǎn)生影響，使預(yù)測(cè)準(zhǔn)確度降低，特別是進(jìn)行較長期的預(yù)測(cè)，比如用5分鐘粒度的數(shù)據(jù)進(jìn)行一天或多天的長期預(yù)測(cè)，或者用天級(jí)數(shù)據(jù)進(jìn)行一周或一月的預(yù)測(cè)。無論是LSTM還是指數(shù)平滑模型都是基于對(duì)前期的預(yù)測(cè)然后再對(duì)后期進(jìn)行迭代預(yù)測(cè)，當(dāng)前期預(yù)測(cè)出現(xiàn)離群值，則會(huì)對(duì)后期的預(yù)測(cè)產(chǎn)生較大的影響，甚至?xí)冠厔?shì)發(fā)生較大的偏離，為了避免這一問題，本文提出一種將LSTM模型與指數(shù)平滑模型進(jìn)行組合的方法（下文稱為HW-LSTM），使用LSTM預(yù)測(cè)時(shí)，如果出現(xiàn)大于閥值的離群值，則采用指數(shù)平滑的預(yù)測(cè)值代替，由于指數(shù)平滑模型引入了水平項(xiàng)、趨勢(shì)項(xiàng)和季節(jié)周期項(xiàng)，會(huì)使其預(yù)測(cè)結(jié)果較為符合帶有周期性和突發(fā)性的時(shí)間序列的長期規(guī)律，將其結(jié)果饋入LSTM模型，可以使對(duì)業(yè)務(wù)流量的預(yù)測(cè)結(jié)果更加準(zhǔn)確。HW-LSTM處理流程如圖6所示：

圖6 HW-LSTM結(jié)構(gòu)

如圖6所示，當(dāng)LSTM在t時(shí)刻預(yù)測(cè)值不在設(shè)定的值域范圍(a,b)內(nèi)時(shí)，則選擇指數(shù)平滑模型同期t時(shí)刻的預(yù)測(cè)值替換LSTM的預(yù)測(cè)值充當(dāng)?shù)较乱徊降哪Ｐ洼斎隮t-1，從而起到影響下一步?tY的預(yù)測(cè)結(jié)果的作用，通過不斷的循環(huán)迭代，使指數(shù)平滑模型起到了對(duì)LSTM網(wǎng)絡(luò)的修正作用，使LSTM網(wǎng)絡(luò)在進(jìn)行長期預(yù)測(cè)時(shí)更加穩(wěn)定可靠。

如上節(jié)所述，HW-LSTM模型需要在LSTM模型迭代預(yù)測(cè)時(shí)根據(jù)預(yù)測(cè)值是否在值域范圍(a,b)內(nèi)，對(duì)是否饋入指數(shù)平滑預(yù)測(cè)值進(jìn)行決策，本文中我們依據(jù)時(shí)間序列在當(dāng)前預(yù)測(cè)時(shí)間的95%置信區(qū)間的上下限值來確定值域范圍(a,b)的取值，95%置信區(qū)間的計(jì)算由最大后驗(yàn)概率MAP方法計(jì)算得到，在計(jì)算過程中設(shè)定MAP方法的初始先驗(yàn)服從P(θ)～N(μ,σ2)正態(tài)分布。式子如下：

3 模型評(píng)估試驗(yàn)

為驗(yàn)證模型的有效性，此處選取國內(nèi)某大型城市三個(gè)重點(diǎn)區(qū)域7天的時(shí)間序列流量數(shù)據(jù)，時(shí)間粒度為5分鐘，單區(qū)域數(shù)據(jù)量為2 114條，我們截取前1 826條數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，后288條數(shù)據(jù)為測(cè)試數(shù)據(jù)，預(yù)測(cè)時(shí)間長度為24小時(shí)內(nèi)的5分鐘粒度流量，這三個(gè)區(qū)域經(jīng)常承擔(dān)該城市大型會(huì)展活動(dòng)，屬于人群密集、流動(dòng)頻繁的區(qū)域，在短時(shí)間內(nèi)可能出現(xiàn)人流的巨增，給基站帶來很大壓力，無論從基站節(jié)能保障的角度，還是從安保的角度，都需要對(duì)小時(shí)間粒度的流量進(jìn)行準(zhǔn)確預(yù)測(cè)。以往基于5分鐘的準(zhǔn)確預(yù)測(cè)具有一定的難度，而在使用本文提出的HWLSTM模型預(yù)測(cè)方法后可以取得更好的預(yù)測(cè)結(jié)果。表1是基于HW-LSTM的預(yù)測(cè)精度與基于單獨(dú)LSTM模型的預(yù)測(cè)精度對(duì)比。通過比較，可以看到我們提出的HW-LSTM得到了比單獨(dú)使用LSTM更加準(zhǔn)確的預(yù)測(cè)結(jié)果。

表1 HW-LSTM預(yù)測(cè)精度與LSTM預(yù)測(cè)結(jié)果對(duì)比

圖7是三個(gè)區(qū)域的流量預(yù)測(cè)時(shí)序圖，左邊為HWLSTM預(yù)測(cè)結(jié)果，右邊是LSTM預(yù)測(cè)結(jié)果。圖中紅線為真實(shí)值，藍(lán)線為預(yù)測(cè)值，灰色陰影為95%置信度下時(shí)間序列上下波動(dòng)區(qū)間，通過對(duì)比圖7，可以直觀觀察到本文提出的HW-LSTM對(duì)該三個(gè)區(qū)域流量的預(yù)測(cè)相比LSTM得到的預(yù)測(cè)結(jié)果更精準(zhǔn)更細(xì)膩。

圖7 HW-LSTM預(yù)測(cè)時(shí)序圖和LSTM預(yù)測(cè)時(shí)序圖

4 結(jié)束語

本文所提出的HW-LSTM模型是一種將指數(shù)平滑模型與LSTM模型進(jìn)行組合改良的序列數(shù)據(jù)預(yù)測(cè)模型，利用兩個(gè)模型自身各自的特點(diǎn)，使HW-LSTM模型既有LSTM模型良好的擬合性，又具備了對(duì)異常波動(dòng)點(diǎn)的抑制，可以較好地預(yù)測(cè)小時(shí)間粒度的流量時(shí)間序列。試驗(yàn)數(shù)據(jù)也很好地印證了HWLSTM模型的優(yōu)勢(shì)。美中不足的是，HW-LSTM模型并不是一個(gè)獨(dú)立的深度學(xué)習(xí)網(wǎng)絡(luò)，需要兩個(gè)模型進(jìn)行協(xié)調(diào)工作，在效率上不如單獨(dú)的LSTM模型，下一步的研究將考慮如何把兩種模型從算法層面上更好地結(jié)合，以提高模型的預(yù)測(cè)效率。