超密集蜂窩網絡智能干擾協調算法

秦爽/QIN Shuang，董星辰/DONG Xingchen，馮鋼/FENG Gang

（1.電子科技大學，中國成都611731；2.南京船舶雷達研究所，中國南京211153）

(1.University of Electronic Science and Technology of China,Chengdu 611731,China;2.Nanjing Marine Radar Institute,Nanjing 211153,China)

近年來，隨著智能移動終端的快速發展和普及，移動通信業務呈現出了爆炸式增長。有研究發現[1]，在移動通信網中，存在大量的業務熱點區域，特別是以住宅、商場、辦公樓等為代表的室內熱點區域，集中了超過70%的數據業務和50%的語音業務。因此，為了提升熱點區域的網絡覆蓋并增加網絡容量，研究者提出了在已有宏基站（MBS）的覆蓋范圍內，通過部署大量低功耗、低成本的小基站（SBS），形成重疊異構覆蓋的超密集蜂窩網絡（UDN），來解決移動網絡中熱點區域弱覆蓋的相關問題[2]。

在UDN中，SBS部署密集，站點之間距離很近，一個小基站會同時受到來自MBS和周圍其他SBS的干擾。網絡中干擾問題十分嚴重，且干擾環境也很復雜，嚴重影響了網絡用戶獲得的傳輸服務質量。因此，如何通過有效的干擾協調，降低網絡中不同接入站點之間的干擾，提升網絡傳輸性能是UDN網絡需要解決的一個重要問題[3]。

近年來，集中化無線接入網（CRAN）技術作為一種移動接入網的新型組網和部署方式，引起了研究者的廣泛關注[4]。在C-RAN網絡架構下，移動接入網絡由1個中心控制的基帶處理單元（BBU）與多個分布式的射頻單元（RRH）組成，每個RRH相當于1個SBS。利用C-RAN技術可以方便部署即插即用的SBS，構建UDN，實現對熱點區域的密集覆蓋[5]。因此，如何在基于C-RAN網絡架構的UDN中進行高效的干擾協調，是一個值得深入研究的問題。

干擾協調一直是移動通信網絡領域的熱點研究問題，而功率控制是實現干擾協調的有效手段。已有很多研究[6-7]關注了如何在UDN中，通過優化的功率控制，來實現網絡中高效的干擾協調。但在移動網絡場景下，用戶移動會使網絡中的干擾情況不斷變化。在以室內熱點覆蓋為典型應用場景的UDN中，復雜的室內結構和密集部署的SBS也使得網絡中的干擾環境十分復雜。傳統的靜態優化算法和博弈論等啟發式算法難以適應UDN中復雜多變的干擾情況，因此，在動態網絡環境下，基站需要根據網絡狀態和干擾環境的變化，動態調整自己的發送功率，從而降低網絡中的干擾，提升傳輸性能。近來，基于機器學習，特別是強化學習的人工智能算法在移動通信網絡中的應用引起了研究者的廣泛關注[8-9]。在基于強化學習的智能算法中，網絡中的智能決策者可以通過對網絡環境的觀察和交互，不斷改進和優化自身的策略。這為在UDN中，通過動態的功率控制策略實現優化的干擾協調和管理，提供了一種有效的解決手段。

本文主要研究在超密集覆蓋蜂窩網中，通過智能高效的動態功率控制，實現優化的網絡干擾協調。首先，從網絡動態決策的角度出發，將UDN網絡中的動態干擾環境下，基站發送功率的動態控制決策問題建模為一個馬爾科夫決策過程（MDP）[8-9]。進一步地，基于強化學習的思想，采用 Actor-Critic（AC）算法[8]對 MDP 模型進行求解，并在此基礎上，設計了基于AC方法的智能功率控制算法。最后，通過仿真實驗驗證了提出算法的性能。數值結果顯示：與傳統的干擾協調算法相比，本文提出的智能功率控制算法能有效降低UDN網絡中基站間的干擾，提升網絡傳輸性能。

1 系統模型

1.1 網絡模型

本研究考慮的是如圖1所示的CRAN架構下的超密集蜂窩網絡。如圖1所示，網絡由1個宏基站（MBS）和M個小站（SBS）組成，網絡中有N個SBS用戶。在室內覆蓋等典型的超密集蜂窩網應用場景下，可以方便地采用C-RAN架構來實現M個SBS的部署，網絡由1個中心控制的基帶處理單元（BBU）與M個射頻單元（RRH）組成。網絡中的用戶接入到RRH，實現無線射頻信號的接入，每個RRH可以看作一個接入小站。BBU為與其相連的RRH提供基帶處理資源，實現中心控制的基帶信號處理與無線網絡資源的分配與優化。為了提高頻譜效率，考慮所有的接入站點采用同頻部署，每個基站的可用下行傳輸帶寬為B，劃分為K條相同帶寬的正交子信道，那么每條子信道的帶寬可以表示為b=B/K。同一時刻，任一子信道只能分配給一個用戶。

為了便于分析，考慮用戶在某一時刻只能通過一個接入站點的一條子信道接入網絡，設用戶n通過基站m的子信道k接入網絡，則在t時刻用戶獲得的服務速率為：

▲圖1 基于集中化無線接入網架構的超密集蜂窩網絡

1.2 理論模型

從式（2）可以看出，在密集覆蓋的蜂窩網中，用戶獲得的下行傳輸速率受其接入站點的發送功率、信道增益，以及其他站點產生的干擾的影響；而其他站點對用戶的干擾，又由站點的發送功率和用戶到該站點的信道增益決定。在動態場景下，用戶移動帶來信道增益的變化。因此，為了滿足用戶服務需求，在本研究中，考慮通過動態地調整基站的發送功率，來降低網絡中的干擾，提升網絡的整體傳輸性能。

在傳統網絡中，常常以最大化系統吞吐量作為網絡的優化設計目標。但在本文考慮的UDN場景下，不同站點間干擾情況復雜。如果單純地以最大化系統吞吐量為優化設計目標，可能由于小區邊緣用戶的信道衰落大，且距離干擾源更近，造成網絡為了提升系統整體吞吐量，犧牲邊緣用戶的傳輸性能，從而為邊緣用戶分配較少的發送功率，使得網絡中資源分配不公平。在本研究中，我們希望在提升系統整體吞吐量的同時能夠兼顧網絡的公平性。因此，考慮采用與文獻[9]類似的方法，以α公平作為公平性度量，設計一個兼顧網絡性能和公平性的效用函數：

在動態網絡場景下，需要通過不斷地調整基站發送功率來降低網絡中的干擾，提升網絡傳輸性能。因此，不能簡單地以某個時刻系統的最大化效用函數來優化設計網絡中的功率分配，而應該以最大化系統的長期效用為目標，設計網絡中的功率動態優化控制策略。由此，根據式（4）可以將一段較長時間T內，網絡中的功率優化分配問題建模為：

其中，約束條件（6）表示，任一時刻，某一基站m在所有子信道上的發送功率總和不能超過該基站的最大可用功率。而約束條件（7）表示，用戶獲得的信干噪比不能低于最小接入門限SINRmin。

我們注意到，在問題（5）中，由于信號與干擾加噪聲比（SINR）的表達式中包含了其他站點的干擾信號，目標效用函數是非凸函數，并且優化目標為效用函數在時間維度上的累積值，難以采用傳統優化方法對該問題進行求解。因此，考慮將問題（5）對應的密集覆蓋蜂窩網中的功率動態優化分配問題建模一個馬爾可夫決策過程，系統根據網絡狀態的動態變化來周期性地調整網絡中的功率分配策略。在此基礎上，采用強化學習的方法對MDP進行求解。

2 MDP建模

在C-RAN網絡架構下，BBU可以方便地獲得各個分布式RRH的資源使用情況以及接入用戶的狀態信息，因此，考慮將所有SBS組成的網絡系統看作一個智能決策主體，將網絡中的基站發送功率的動態優化控制決策建模為一個MDP問題，并用元組(S,A,P,R)表示。其中，S為系統狀態空間，A為采取的動作空間，P為狀態轉移概率，R為回報函數。MDP的各個組成元素具體可以表示為：

（1）系統狀態。s∈S表示在當前智能體觀察到的系統狀態，定義s=表示用戶n通過基站mn的子信道kn接入網絡所獲得的信干噪比，可以由式（2）得到。而則為用戶在接入信道上的信道增益。其中，kn∈{1,2,...,K}，mn∈{1,2,...,M}。我們注意到，根據式（2）可知，由基站的發送功率、用戶信道增益和用戶受到的干擾等因素共同決定。在每個決策周期，用戶將自己當前的信干噪比反饋給接入的RRH，再由RRH上報給BBU。而用戶在接入信道上獲得的信道增益，與用戶和基站的距離以及之間是否存在阻擋物等條件相關。在動態網絡環境下，這些條件主要受用戶行為特征的影響。雖然用戶信干噪比受用戶信道增益的影響，能夠在一定程度上反映信道增益對用戶獲得的服務性能的影響，但在系統狀態中增加信道增益，能夠更加直接地反映用戶移動帶來的網絡動態特性對資源分配策略和網絡傳輸性能的影響。由此，系統狀態s將隨網絡中的基站資源使用情況、用戶行為以及網絡干擾條件的變化而變化。

（2）動作。用a∈A表示智能體采取的動作。定義在每個決策周期，智能體采取的動作為決定每個SBS的發送功率，即其中，為基站m在子信道k上的發送功率，有k∈{1,2,...,K}，m∈{1,2,...,M}。是連續可調的，且如果當前時刻基站m的子信道k上沒有接入用戶，則對應的

（3）狀態轉移概率。用P=表示狀態轉移概率集合。其中，為當系統處于狀態s時，執行動作a后，轉移到的狀態s'的概率。

（4）回報函數。考慮到優化目標為最大化系統的長期效用函數，因此將智能體在每個決策時刻，根據當前狀態s采取動作a后取得的即時回報表示為：

其中，U(v)可從式（4）得到。v={v1,v2,...,vN}為采取動作a后，系統中所有用戶獲得的傳輸速率構成的向量，可由式（1）得到。式（8）中后兩項為懲罰項，對應（6）和（7）的限制條件。當前決策時刻采取動作a時，如果有用戶獲得的接入信干噪比低于最低門限SINRmin，或某個基站分配給所有子信道的功率之和超過基站的最大可用功率Pmax，則獲得的即時回報為懲罰值-1。

由此，將UDN中的功率動態優化控制問題建模為了一個MDP，所有SBS構成的網絡系統作為一個智能決策主體，周期性地根據觀察到的網絡狀態，進行基站發送功率分配的智能決策，以最大化網絡的長期累積效用。

在MDP框架下，定義狀態值函數來反映當前狀態下，智能體采取策略π獲得的長期回報，表示為：

其中，γ為折扣因子，表明未來的回報相對于長期回報的重要程度。相應地，定義動作值函數來表示某一狀態下采取某一動作的長期回報，可以表示為：

其中，Eπ[x]表示在策略π下變量x的均值。對于給定的策略π，觀察式（9）和（10）可以得到：

其中，π(a|s)為采用策略π的情況下，系統處于狀態s時采取動作a的概率。在MDP模型下，系統決策的目標就是找到一個最優的策略π*，使得對應的Vπ(s)和Qπ(s,a)最優。

3 問題求解

在我們定義的MDP模型中，系統狀態空間和動作空間都是連續的，且狀態轉移概率難以獲取，因此考慮采用Model-free的AC算法[8]來對MDP模型求解。AC算法是一種將值函數迭代和策略迭代相結合的強化學習算法，其基本框架如圖2所示。AC算法主要包括兩個執行部分：一個是Actor，用于改進并生成當前執行策略；一個是Critic，用于評估策略執行結果，指導Actor進行策略改進。

（1）Actor。

在AC算法中，Actor通過不斷調整策略以改進決策的回報。本文考慮采用高斯正態分布來近似策略分布，則有Actor的參數化策略可以表示為：

其中，μθ(s)和σθ(s)分別為正態分布的均值和方差。考慮采用輸入為系統狀態s，輸出為μθ(s)和σθ(s)的神經網絡來對均值和方差進行近似擬合，參數θ對應神經網絡全連接層的權重參數。由此，策略的調整就轉化為參數的更新，我們期望參數朝著最大化MDP長期累積效用的方向更新。在強化學習框架下，常常使用梯度下降的方法來進行參數更新，可以得到：

其中，αa為Actor的學習速率，Aπ(s,a)為優勢函數。

（2）Critic。

在AC算法中，Critic的作用是通過估計狀態值函數來對Actor策略的改進提供指導。在考慮的MDP模型中，由于系統狀態空間是連續的，因此同樣采用輸入為系統狀態s、輸出為Vξ(s)的神經網絡來進行狀態值函數的近似擬合，ξ為神經網絡全連接層的權重參數。通過參數化的近似后，值函數的更新也可以通過參數的迭代更新來實現。

為了對參數ξ進行更新，時序差分（TD）算法誤差被引入：

其中，st為決策周期t的系統狀態，且有V(st)=Rt+1+γVξ(st+1)。Critic 的目標是盡可能準確地估計值函數，因此其優化目標應該是最小化TD誤差，可以表示為：

同樣使用梯度下降法更新參數ξ，得到：

其中，αc為Critic的學習速率。

（3）基于AC算法的基站功率分配機制。

在AC算法中，往往采用公式（13）中的TD誤差作為Actor參數更新過程中的優勢函數，即令Aπ(st,a)=δt，那么公式（12）可以改寫為：

由此，在UDN中，可以利用式（17）和（18），通過參數的迭代更新來優化系統中所有SBS基站的功率分配策略，具體的功率控制算法流程如算法1所示。

αa：Actor的學習速率

αc：Critic的學習速率

αt：智能體在時刻t采取的動作

γ：折扣因子

ACP：基于AC的基站功率控制

K：子信道數量

M：SBS數量

N：SBS用戶數

T：周期

TD：時序差分

V：值函數

4 數值結果分析

在本節中，將通過仿真實驗驗證提出的智能功率控制算法ACP的性能。

4.1 仿真設置

考慮采用如圖1所示的密集覆蓋蜂窩網絡覆蓋場景，網絡中包含1個MBS和20個SBS。在仿真中，考慮模擬室內覆蓋的典型應用場景，所有的SBS位于一棟建筑物內。為了模擬樓層天花板和墻體對無線信號的阻擋，仿真中采用二層住宅樓的建筑結構，而在每一層采用圖3中的雙線建筑模型[10]。如圖3所示，每層包含兩排房間，每排5個套房，中間走廊寬度5 m，每個套房的尺寸為10m×5m×5m。每個套房內部結構如圖4所示，分為多個房間，用墻體隔開。

▲圖2 AC算法框架

▲圖3 雙線建筑模型

▲圖4 房間室內結構

考慮到網絡中存在一定數量的MBS用戶和SBS用戶，所有SBS用戶位于建筑物內，以平均1 m/s的速度隨機移動；而MBS用戶以平均速度5 m/s在建筑物外，MBS的覆蓋范圍內隨機移動。移動過程中，用戶隨機選定移動方向，當遇到阻礙或到達邊界時重新選定移動方向。仿真中具體參數設置如表1所示，同時參考文獻[11]，無線信道路損模型如表2所示。在表2中，d為用戶到基站的直線距離，din為基站到用戶的水平距離。設Low=20dB為建筑外墻穿透損耗，Liw=5dB為室內穿墻損耗。nw為用戶和基站之間間隔的樓層數。同時，設置AC算法中學習速率αa=αc=0.01，折扣因子γ=0.2。本節所有的數值結果都是50次獨立隨機仿真結果的平均值。

在仿真中，選取平均功率分配和軟頻率復用兩種典型的算法作為對比，驗證提出的基于AC的基站功率控制（ACP）的性能。兩種對比算法的基本思路如下：

（1）平均功率分配（EDP）：每個基站將可用功率平均分配給所有接入用戶。

（2）軟頻率復用（SFR）：將基站的可用頻帶分為主載波和副載波兩部分。主載波服務于邊緣用戶，副載波服務于非邊緣接入用戶，根據接入邊緣用戶的數量確定主副載波所占比例。主副載波具有不同的最大發送功率門限，仿真中限制副載波的最大發送功率門限為主載波一半。

4.2 數值結果

圖5給出了ACP算法的收斂情況。如圖5所示，智能算法具有明顯的收斂特性。在仿真初期，智能算法處于探索階段。由于經驗不足，智能體獲得的收益較低，系統性能較差。隨著訓練次數的增加，算法通過對用戶行為與傳輸環境的探索，逐漸學習到更好的功率分配策略，智能體獲得的收益增加，系統性能提升，并最終收斂。從圖中可以看到，算法大概在迭代訓練5 000次后達到收斂。

▼表1 仿真參數列表

▼表2 路損模型

圖6比較了3種不同算法下，網絡中所有SBS用戶獲得的服務速率的概率分布函數。從圖中可以看出，與另外兩種算法相比，運行ACP算法的SBS用戶能夠獲得更高的服務速率，系統的整體吞吐量也會更高。這是因為在ACP算法中，系統能夠通過感知到的網絡狀態和用戶信道條件的動態變化特征，智能地調整基站的發送功率，從而降低網絡中干擾，提升用戶獲得的服務速率。而SFR算法中，采用設置門限的方式，降低了非邊緣用戶的發送功率，從而降低了網絡中的干擾，特別是網絡邊緣用戶受到的干擾；因此，用戶能夠獲得比EDP算法更高的服務速率。

在本文考慮的仿真場景中，采用智能算法的SBS和傳統的MBS共存，且相互干擾。圖7比較了不同算法下，網絡中不同類型用戶獲得的平均服務速率。如圖7所示，采用ACP智能功率分配算法的所有SBS用戶的平均傳輸速率明顯優于EDP和SFR算法。同時，雖然MBS沒有采用智能功率分配算法，但運行ACP算法的SBS可以根據網絡中干擾條件的動態變化，調整自身的發送功率，從而降低對MBS用戶的干擾。所以ACP算法下，MBS用戶獲得傳輸速率依然高于其他兩種算法。由此，在ACP算法下，網絡中所有用戶的平均傳輸速率同樣優于EDP和SFR算法。

▲圖5 基于AC的基站功率控制算法收斂情況

▲圖6 用戶服務速率累積分布函數

▲圖7 用戶平均服務速率

▲圖8 用戶平均服務速率vs.基站數量

圖8為所有SBS用戶平均服務速率隨網絡中基站數量的變化情況。考慮到實際系統中，由于管理權限、部署先后順序等，在有些情況下可能無法在所有的SBS上采用統一的智能功率控制算法，網絡中智能SBS和傳統SBS共存。在仿真中，為了驗證智能基站和傳統基站混合部署情況下網絡中的傳輸性能，增加了一種稱為Mix算法的混合功率控制方案。在Mix算法下，一半的SBS采用智能的ACP算法，一半的SBS采用EDP算法。從圖8可以看到，當基站數量較少時，隨著SBS數量的增加，4種算法下用戶獲得的平均服務速率增大；但隨著基站數量增加，網絡中干擾逐漸增大，導致在基站數量較多時，用戶獲得的平均服務速率反而下降。不論是在哪種情況下，ACP算法獲得的用戶平均服務速率總是優于其他3種算法。而Mix算法的性能優于EDP和SFR算法，說明智能和非智能SBS混合部署情況下，網絡中的傳輸性能依然優于完全不使用智能功率分配算法的情況。值得注意的是，SFR算法和EDP算法的性能曲線隨著基站數量的增加發生了交叉。這是因為，在基站數量較少時，小區間干擾較低，而SFR限制了非邊緣用戶發送功率，這會導致用戶獲得的服務速率較低。隨著基站數量的增加，小區間干擾變得嚴重，EDP算法沒有任何干擾協調機制，這導致用戶的服務速率受到較大影響；而SFR算法限制了非邊緣用戶的發送功率，降低了網絡中的干擾。

5 結束語

本文研究了超密集蜂窩網中的智能干擾協調問題。考慮到移動網絡的動態特征，將基站的動態功率控制建模為一個馬爾科夫決策過程，并采用強化學習的方法，利用AC算法對其進行求解。在此基礎上，設計了一個基于AC的基站功率動態智能控制算法。仿真實驗結果證明，該算法能夠有效降低超密集蜂窩網絡中基站間的相互干擾，提升網絡傳輸性能。