深度神經(jīng)網(wǎng)絡(luò)指導(dǎo)下的無線覆蓋預(yù)測算法

沈林之，王少尉

(南京大學(xué) 電子科學(xué)與工程學(xué)院， 江蘇 南京 210023)

網(wǎng)絡(luò)規(guī)劃問題[1]通?？梢砸?guī)約為一個(gè)混合整形規(guī)劃問題，這類問題的復(fù)雜度會(huì)隨著問題規(guī)模的擴(kuò)大而急劇增大。隨著第五代移動(dòng)通信技術(shù)(5th Generation wireless systems，5G)的發(fā)展，為滿足日益增長的流量需求，基站設(shè)備的數(shù)目爆炸式增長[2]，給實(shí)際移動(dòng)網(wǎng)絡(luò)的基站部署帶來了極大的挑戰(zhàn)。

作為網(wǎng)絡(luò)規(guī)劃問題的核心子問題，無線覆蓋預(yù)測的效率直接影響了網(wǎng)絡(luò)規(guī)劃的結(jié)果。由于實(shí)際天線的各向異性，要想準(zhǔn)確地判斷天線對于給定區(qū)域的覆蓋情況，傳統(tǒng)的做法是建立復(fù)雜的無線覆蓋模型并對目標(biāo)區(qū)域各位置進(jìn)行場強(qiáng)計(jì)算，需要大量的計(jì)算資源。但在實(shí)際網(wǎng)絡(luò)規(guī)劃時(shí)，通常只關(guān)心整體覆蓋情況而非各位置的具體覆蓋情況，這就造成了大量計(jì)算資源的無謂消耗。

近年來，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)得到了快速發(fā)展，在圖像識別和自然語言處理方面已達(dá)到統(tǒng)治地位，且正在逐步滲入其他領(lǐng)域的識別和預(yù)測問題[3]。DNN能夠從海量數(shù)據(jù)中歸納和總結(jié)關(guān)鍵信息，并通過這些關(guān)鍵信息指導(dǎo)計(jì)算機(jī)的判斷或預(yù)測。著名的AlphaGo[4]便是通過DNN指導(dǎo)計(jì)算機(jī)判斷圍棋棋盤的局勢，并依此采取相應(yīng)對策，最終通過不斷的迭代更新?lián)魯×吮姸嗦殬I(yè)圍棋選手。

本文闡明利用DNN預(yù)測實(shí)際天線整體覆蓋的意義，分析DNN預(yù)測的可行性，并選擇合適的DNN模型參數(shù)進(jìn)行無線覆蓋的預(yù)測。實(shí)驗(yàn)結(jié)果表明：DNN訓(xùn)練完成后，給定區(qū)域信息即可快速獲得該區(qū)域的整體覆蓋情況而無須對區(qū)域進(jìn)行遍歷計(jì)算，大幅度節(jié)約了計(jì)算資源，加快了規(guī)劃速度，為動(dòng)態(tài)的網(wǎng)絡(luò)規(guī)劃[5-6]提供基礎(chǔ)性參考數(shù)據(jù)。

1 無線覆蓋場景

1.1 場強(qiáng)預(yù)測模型

場強(qiáng)預(yù)測是移動(dòng)無線網(wǎng)絡(luò)中的重要問題。在實(shí)際移動(dòng)通信系統(tǒng)進(jìn)行天線部署時(shí)受路測條件和成本約束的限制，不可能對目標(biāo)區(qū)域的場強(qiáng)進(jìn)行大規(guī)模的實(shí)地測量，需要建立合理的場強(qiáng)預(yù)測模型。目前主要的場強(qiáng)預(yù)測模型包括統(tǒng)計(jì)模型、射線跟蹤模型和基于神經(jīng)網(wǎng)絡(luò)的模型。

統(tǒng)計(jì)模型利用經(jīng)驗(yàn)的場強(qiáng)測試信息，采用統(tǒng)計(jì)學(xué)方法擬合出場強(qiáng)關(guān)于收發(fā)端距離、基站高度、信號頻率等參數(shù)的方程，Okumura-Hata模型[7]是其典型代表。統(tǒng)計(jì)模型憑借其簡易性成為目前最常用的場強(qiáng)預(yù)測模型，但由于實(shí)際環(huán)境中一些影響場強(qiáng)的因素難以通過簡單的數(shù)學(xué)形式有效表示，模型的精度難以得到保證。實(shí)際工程中通常把目標(biāo)區(qū)域劃分為若干子區(qū)域，對每個(gè)子區(qū)域分別采用統(tǒng)計(jì)模型進(jìn)行預(yù)測，以提升預(yù)測準(zhǔn)確性。子區(qū)域劃分越細(xì)致，場強(qiáng)預(yù)測精度越高，但模型復(fù)雜度也就越大，且其精度有上限。

射線跟蹤模型利用電磁波傳播理論，考慮反射、折射等現(xiàn)象，分析電磁波從發(fā)射端到接收端經(jīng)過的實(shí)際路徑，并通過多條路徑的疊加計(jì)算出接收端的場強(qiáng)信息。文獻(xiàn)[8]和文獻(xiàn)[9]分別采用射線跟蹤模型,利用正向和反向的算法實(shí)現(xiàn)小區(qū)域三維空間中場強(qiáng)的精確預(yù)測。與統(tǒng)計(jì)模型相比，該模型更加貼合實(shí)際場景中的電磁波傳播方式，預(yù)測精度可以達(dá)到很高。但對于目標(biāo)區(qū)域中的每一點(diǎn)，射線跟蹤模型都要求計(jì)算出發(fā)射端到該點(diǎn)的路徑，而密集城市網(wǎng)絡(luò)中的電磁波傳播路徑通常很復(fù)雜，因此該模型的復(fù)雜度要遠(yuǎn)遠(yuǎn)超出統(tǒng)計(jì)模型，很難運(yùn)用在大規(guī)模的覆蓋區(qū)域場景中。

隨著計(jì)算機(jī)性能的不斷提升，機(jī)器學(xué)習(xí)的算法逐步顯示出用武之地，其中神經(jīng)網(wǎng)絡(luò)(Neural Network，NN)作為一種泛化性能很強(qiáng)的擬合工具開始在各個(gè)領(lǐng)域發(fā)揮用途。NN利用采集到的大量場強(qiáng)信息直接進(jìn)行擬合，同樣可以對場強(qiáng)進(jìn)行預(yù)測，且擺脫了統(tǒng)計(jì)模型對于場強(qiáng)函數(shù)的刻畫，也不需要對電磁波傳播路徑有細(xì)致的認(rèn)識。文獻(xiàn)[10]和文獻(xiàn)[11]分別采用前饋神經(jīng)網(wǎng)絡(luò)和模塊化神經(jīng)網(wǎng)絡(luò)解決場強(qiáng)預(yù)測問題，均取得了不錯(cuò)的效果。但由于數(shù)據(jù)獲取十分困難，該方法的研究還有待進(jìn)一步深入。

1.2 無線覆蓋模型

由于電磁波在傳播過程中會(huì)經(jīng)歷多次衰落，信號從基站端天線發(fā)出后經(jīng)過一段距離便不再能維持足夠高的場強(qiáng)，無法為用戶提供有效的服務(wù)。無線覆蓋問題指的是在給定天線參數(shù)和目標(biāo)區(qū)域的條件下判斷天線有效服務(wù)的區(qū)域范圍，因此需要對目標(biāo)區(qū)域進(jìn)行場強(qiáng)預(yù)測，并根據(jù)設(shè)定的閾值判斷天線是否能夠覆蓋指定位置，場強(qiáng)超過閾值的區(qū)域即為有效覆蓋區(qū)域[12]。

傳統(tǒng)的無線覆蓋問題為簡化計(jì)算，通常假設(shè)天線為全向天線，即天線對各個(gè)方向上的增益相同，如圖1(a)所示。該簡化雖然高效但無法準(zhǔn)確判斷天線真實(shí)的覆蓋效果。實(shí)際問題中天線常呈現(xiàn)各向異性[13]，主瓣方向上的增益較大，旁瓣方向上的增益較小，如圖1(b)所示。故對于無線覆蓋問題，除了對天線的位置進(jìn)行規(guī)劃，還需要對天線的主瓣方向進(jìn)行規(guī)劃。

(a) 全向天線(a) Omnidirectional antennas

(b) 實(shí)際天線(b) Actual antennas圖1 天線覆蓋情況Fig.1 Antenna coverage

為判斷實(shí)際天線在不同主瓣方向下覆蓋的優(yōu)劣，傳統(tǒng)的做法是在給定天線位置和主瓣方向的條件下對指定區(qū)域進(jìn)行精確的場強(qiáng)預(yù)測(如采用精度較高的統(tǒng)計(jì)模型或射線跟蹤模型)并對有效覆蓋區(qū)域進(jìn)行統(tǒng)計(jì)，最后比較不同主瓣方向下的覆蓋率。該方法保證了對于無線覆蓋情況判斷的準(zhǔn)確性，使得天線能夠選擇合理的部署方式，最大化利用空域上的頻帶資源，有效增加網(wǎng)絡(luò)吞吐量。

2 無線覆蓋高效預(yù)測工具——DNN

上述判斷實(shí)際無線覆蓋優(yōu)劣的算法，雖然保證了對無線覆蓋情況判斷的準(zhǔn)確性，但在精確求解場強(qiáng)上浪費(fèi)了大量的計(jì)算資源，這是因?yàn)闊o線覆蓋問題最后的關(guān)注點(diǎn)只是不同主瓣方向下目標(biāo)區(qū)域覆蓋情況的優(yōu)劣，而非該區(qū)域被覆蓋的具體情況。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，DNN在預(yù)測領(lǐng)域得到廣泛應(yīng)用。AlphaGo中利用DNN搭建策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)，對棋盤不斷學(xué)習(xí)，通過策略網(wǎng)絡(luò)識別不同棋盤局勢下的落子傾向，通過價(jià)值網(wǎng)絡(luò)歸納總結(jié)出不同棋盤局勢下特定落子方式帶來的勝率，并借助這兩張網(wǎng)絡(luò)指導(dǎo)計(jì)算機(jī)落子，實(shí)現(xiàn)計(jì)算機(jī)棋力的提升。

受AlphaGo中價(jià)值網(wǎng)絡(luò)的啟發(fā)，認(rèn)為可以采用深度神經(jīng)網(wǎng)絡(luò)擬合上述過程，在給定天線位置和主瓣方向的基礎(chǔ)上通過深度神經(jīng)網(wǎng)絡(luò)直接獲得覆蓋率。神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，可以省略場強(qiáng)預(yù)測和有效覆蓋區(qū)域統(tǒng)計(jì)過程，減少大量計(jì)算。

2.1 DNN原理

不同于單純增加隱藏層層數(shù)的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，DNN通過模塊化的方式不斷堆疊。目前處理圖像問題最常用的DNN架構(gòu)是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[14]，它具有強(qiáng)大的擬合能力，能夠從矩陣中提取數(shù)據(jù)在空間域上的關(guān)聯(lián)信息。CNN架構(gòu)由多個(gè)模塊構(gòu)成，包括輸入層、歸一化層、卷積層、池化層、激活層、全連接層和輸出層。其中，輸入層負(fù)責(zé)導(dǎo)入數(shù)據(jù)，在圖像處理問題中數(shù)據(jù)通常是三維矩陣；歸一化層負(fù)責(zé)將數(shù)據(jù)轉(zhuǎn)化為0到1之間的值，使梯度維持在一個(gè)合理的區(qū)間，避免出現(xiàn)梯度爆炸或梯度消失的現(xiàn)象；卷積層負(fù)責(zé)通過卷積核提取數(shù)據(jù)之間的關(guān)聯(lián)信息，具體過程可參考文獻(xiàn)[14]，實(shí)際問題往往具有多個(gè)特征，需要使用多個(gè)卷積核分別進(jìn)行提?。怀鼗瘜迂?fù)責(zé)壓縮提取到的特征信息，減少多層網(wǎng)絡(luò)帶來的冗余信息量；激活層負(fù)責(zé)判斷提取到的特征信息是否有效，常用的激活函數(shù)有softmax函數(shù)、tanh函數(shù)以及線性整流(Rectified Linear Unit，ReLU)函數(shù)；全連接層負(fù)責(zé)進(jìn)一步抽象特征信息，同時(shí)將特征信息映射到輸出樣本空間；輸出層負(fù)責(zé)導(dǎo)出數(shù)據(jù)，對于分類問題，導(dǎo)出樣本最有可能對應(yīng)的類，對于回歸問題，導(dǎo)出樣本在輸出空間對應(yīng)的映射。

在實(shí)際訓(xùn)練過程中，數(shù)據(jù)由輸入層導(dǎo)入，通過歸一化層處理成標(biāo)準(zhǔn)變量，然后采用卷積層、激活層和池化層對特征信息進(jìn)行提取和壓縮，重復(fù)多次后利用全連接層將特征映射到輸出樣本空間，實(shí)現(xiàn)了輸入數(shù)據(jù)與輸出數(shù)據(jù)的關(guān)聯(lián)。若CNN提取到的特征能夠真實(shí)反映樣本的實(shí)際特征，則CNN能將輸入樣本準(zhǔn)確地映射到輸出樣本。在該網(wǎng)絡(luò)架構(gòu)中，提取特征的層數(shù)越多，最終得到的特征越抽象，越能提取深層次信息，但相應(yīng)地，網(wǎng)絡(luò)訓(xùn)練難度越高。

2.2 利用DNN求解無線覆蓋問題

利用DNN求解無線覆蓋問題，需要確認(rèn)無線覆蓋問題的輸入輸出。對于輸入，首先需要知道目標(biāo)區(qū)域的地形信息和建筑物信息，以確認(rèn)發(fā)射端到接收端的傳播路徑?？紤]到實(shí)際環(huán)境中一塊區(qū)域往往由多個(gè)基站多根天線協(xié)同服務(wù)，該區(qū)域已有的覆蓋情況也要作為輸入。由于天線具有各向異性，天線的方向角同樣影響覆蓋。綜上，輸入數(shù)據(jù)為目標(biāo)區(qū)域的地形信息、建筑物信息、已有覆蓋情況和天線方向角信息。本文考慮密集部署小區(qū)場景，在該場景下天線密度很高，每根天線的輻射范圍較小。現(xiàn)假設(shè)天線只影響附近400 m范圍的區(qū)域，為精確描述區(qū)域信息，將目標(biāo)區(qū)域劃分為若干5 m×5 m的柵格，通過地形信息、建筑物信息和已有覆蓋信息刻畫每個(gè)柵格區(qū)域內(nèi)的統(tǒng)計(jì)特征，則目標(biāo)區(qū)域的地形信息、建筑物信息、已有覆蓋信息均可表示為161×161的二維矩陣，而方向角信息可以表示為一個(gè)0到360的實(shí)數(shù)，故輸入信息可以看成一個(gè)161×161×4的三維矩陣。對于輸出，無線覆蓋問題關(guān)心的是整體的覆蓋效果，因此將整體覆蓋率作為輸出，它是一個(gè)0到1的實(shí)數(shù)。這樣DNN實(shí)際是在求解一個(gè)輸入為161×161×4的矩陣、輸出為連續(xù)變量的回歸問題。

明確定義輸入輸出后應(yīng)采用合適的網(wǎng)絡(luò)架構(gòu)進(jìn)行訓(xùn)練。AlexNet架構(gòu)[15]是CNN最成功的代表之一，它有效提取了圖片數(shù)據(jù)中的關(guān)聯(lián)信息。相比其他深度網(wǎng)絡(luò)架構(gòu)，AlexNet的框架簡潔，需要訓(xùn)練的網(wǎng)絡(luò)參數(shù)較少，各模塊功能明確，易于調(diào)整。本文基于AlexNet搭建深度網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示。輸入數(shù)據(jù)歸一化后利用96個(gè)大小為11×11的卷積核以4為步長提取特征，并以2為步長進(jìn)行池化。將信息歸一化后再利用256個(gè)5×5的卷積核以1為步長提取特征并池化。接著通過三層連續(xù)的卷積激活層對深度特征信息進(jìn)行進(jìn)一步提取和池化。最后采用兩層包含1024個(gè)結(jié)點(diǎn)的全連接層對提取到的特征進(jìn)行進(jìn)一步抽象和映射，并通過包含單一結(jié)點(diǎn)的全連接層確認(rèn)回歸值。網(wǎng)絡(luò)搭建完成后便可以用反向傳播[16]的方式進(jìn)行訓(xùn)練。

圖2 基于AlexNet的深度網(wǎng)絡(luò)Fig.2 DNN based on AlexNet

3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果

在實(shí)際訓(xùn)練中，需要對網(wǎng)絡(luò)的超參數(shù)進(jìn)行設(shè)置。由于DNN訓(xùn)練過程實(shí)際上是一個(gè)最優(yōu)化損失函數(shù)的過程，梯度下降算法[17]是求解該類優(yōu)化問題的有效方法，因此梯度下降速率即學(xué)習(xí)速率的設(shè)置對網(wǎng)絡(luò)性能會(huì)起到很大的影響，是一個(gè)重要的超參數(shù)。同時(shí)，DNN中輸入數(shù)據(jù)規(guī)模較大，而計(jì)算機(jī)存儲空間有限，故在實(shí)際訓(xùn)練中需要將輸入數(shù)據(jù)劃分為若干個(gè)小塊，逐小塊進(jìn)行處理(該過程也被稱為批處理)，小塊的規(guī)模(batchsize)同樣是一個(gè)超參數(shù)。此外超參數(shù)還包含初始參數(shù)設(shè)置、學(xué)習(xí)輪次(epoch)、梯度下降方式等[15]。

在過去關(guān)于DNN的研究工作中，學(xué)習(xí)速率對于網(wǎng)絡(luò)性能的影響最大，故本文主要研究學(xué)習(xí)速率對于DNN性能的影響。地圖信息取自我國某大省省會(huì)城市，包含2500 km2的區(qū)域，目標(biāo)區(qū)域被劃分成若干5 m×5 m的柵格，每個(gè)柵格包含地形信息和建筑物信息，同時(shí)站址位置被標(biāo)記在地圖中，數(shù)據(jù)集通過從地圖信息中選擇指定區(qū)域獲得。實(shí)驗(yàn)時(shí)從數(shù)據(jù)集中抽取10 000例樣本，其中9000例作為訓(xùn)練集，500例作為驗(yàn)證集，500例作為測試集。為研究學(xué)習(xí)速率對網(wǎng)絡(luò)性能的影響，學(xué)習(xí)速率從[1E-7,1E-3]范圍內(nèi)選取?？紤]到計(jì)算機(jī)內(nèi)存性能，批的規(guī)模設(shè)定為64。為使DNN能夠充分學(xué)習(xí)訓(xùn)練集數(shù)據(jù)，將學(xué)習(xí)輪次設(shè)置為60，即每個(gè)樣本被網(wǎng)絡(luò)訓(xùn)練60次。為避免梯度下降快速陷入局部最優(yōu)，采用隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)算法[18]，同時(shí)場強(qiáng)的有效覆蓋閾值設(shè)為-95 dBm。訓(xùn)練過程中利用dropout方法[19]改善過擬合問題。仿真參數(shù)設(shè)置見表1。

表1 仿真參數(shù)設(shè)置

仿真結(jié)果如圖3所示，橫坐標(biāo)表示DNN的學(xué)習(xí)速率，縱坐標(biāo)表示驗(yàn)證集樣本通過神經(jīng)網(wǎng)絡(luò)求得的天線有效覆蓋率與實(shí)際天線有效覆蓋率的誤差,用歸一化后的均方根誤差(Root Mean Square Error, RMSE)表示。這里認(rèn)為通過復(fù)雜無線覆蓋模型得出的有效覆蓋率能夠精確表征實(shí)際天線的有效覆蓋率。從圖中可以看出，當(dāng)學(xué)習(xí)速率較低時(shí)，網(wǎng)絡(luò)在有限的時(shí)間內(nèi)無法有效學(xué)習(xí)，誤差較大。隨著學(xué)習(xí)速率的升高，網(wǎng)絡(luò)在有限時(shí)間內(nèi)的學(xué)習(xí)能力不斷增強(qiáng)，網(wǎng)絡(luò)的性能不斷提升。當(dāng)學(xué)習(xí)速率達(dá)到1E-5后，網(wǎng)絡(luò)在指定時(shí)間內(nèi)能有效學(xué)習(xí)到樣本的特征，網(wǎng)絡(luò)性能趨于穩(wěn)定。當(dāng)學(xué)習(xí)速率達(dá)到3E-4后，隨著學(xué)習(xí)速率的增加，下降的梯度對于樣本空間來說愈發(fā)龐大，梯度爆炸現(xiàn)象開始出現(xiàn)，網(wǎng)絡(luò)性能開始下降。事實(shí)上，當(dāng)學(xué)習(xí)速率超過3E-3，網(wǎng)絡(luò)參數(shù)經(jīng)過若干輪學(xué)習(xí)后逐步發(fā)散，RMSE趨于無窮。

圖3 不同學(xué)習(xí)速率下的網(wǎng)絡(luò)性能Fig.3 Network performance at different learning rates

基于DNN的無線覆蓋預(yù)測算法與傳統(tǒng)預(yù)測算法的平均計(jì)算時(shí)間分別為2.24E-3 s和7.03E-2 s。DNN的計(jì)算量分為訓(xùn)練階段和測試階段，其中訓(xùn)練階段需要消耗大量的計(jì)算資源，但可以作為前置工作，故不計(jì)入計(jì)算量的比較中。由于訓(xùn)練階段的學(xué)習(xí)速率不影響測試階段的計(jì)算量比較，故取學(xué)習(xí)速率為1E-5時(shí)的預(yù)測算法與傳統(tǒng)算法進(jìn)行比較?？梢钥吹?，當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后，利用DNN預(yù)測的速率能夠達(dá)到傳統(tǒng)方法的30倍以上，極大提升了整體無線覆蓋的預(yù)測效率。

(a) 測試集樣本1(a) Sample 1 in test set

(b) 測試集樣本2(b) Sample 2 in test set圖4 測試集樣本訓(xùn)練結(jié)果Fig.4 Training results of samples in test set

圖4表示當(dāng)網(wǎng)絡(luò)性能穩(wěn)定(學(xué)習(xí)速率為1E-5)時(shí)網(wǎng)絡(luò)預(yù)測的結(jié)果和實(shí)際無線覆蓋情況的比較。圖中天線到目標(biāo)區(qū)域各位置場強(qiáng)的大小用亮度區(qū)分，亮度越高表示場強(qiáng)越大?？梢钥吹?，雖然深度網(wǎng)絡(luò)不清楚具體的覆蓋情況，但它通過數(shù)據(jù)之間的關(guān)聯(lián)信息準(zhǔn)確地?cái)M合出了整體覆蓋率。

4 結(jié)論

本文采用深度神經(jīng)網(wǎng)絡(luò)預(yù)測指定天線參數(shù)在目標(biāo)區(qū)域下的覆蓋，不需要復(fù)雜的場強(qiáng)預(yù)測算法，從而節(jié)約了大量計(jì)算資源，為移動(dòng)通信網(wǎng)絡(luò)動(dòng)態(tài)規(guī)劃和優(yōu)化提供了新的思路和方法。