異構云無線接入網下基于功率域NOMA的能效優化算法

唐 倫 李子煜 管令進 陳前斌

(重慶郵電大學通信與信息工程學院 重慶 400065)

(重慶郵電大學移動通信技術重點實驗室 重慶 400065)

1 引言

隨著智能設備的爆炸性增長，諸如增強現實和虛擬現實等新興高速率服務以及構建物聯網(Internet of Things， IoT)的海量設備，使得設計高效的能效通信系統迫在眉睫，進而實現綠色經濟和可持續發展的運營。與4G系統相比，5G系統需要達到1 ms的時延、10倍的頻譜效率、100倍的能效以及1000倍的系統容量。作為有前景的新技術和網絡體系結構，異構云無線接入網(Heterogeneous Cloud Radio Access Networks， H-CRAN)引起了業界和學術界的極大關注。可以預見，在H-CRAN中將采用各式的多址接入技術，以減輕小區間和小區內的干擾，并改善網絡頻譜效率和能效。作為一種新的多址方案，非正交多址接入(Non-Orthogonal Multiple Access， NOMA)被認為是有望顯著地改善5G移動通信網絡的頻譜效率和能效的候選方案。文獻[1]采用混合多址接入技術提高頻譜效率，NOMA技術中的非正交性具有高頻效、能效以及低傳輸時延的潛在優勢。因此，本文在H-CRAN的下行傳輸場景下利用NOMA技術來最大化網絡能效。

文獻[2]在H-CRAN下行傳輸場景下研究網絡能效性能，聯合優化基站選擇、子載波分配和功率分配，構建網絡能效最大化的目標函數，利用連續凸近似理論進行求解，進而提高H-CRAN的能效性能。文獻[3]在異構云無線接入網絡的場景下提出一種能效優化算法，利用李雅普諾夫優化理論和拉格朗日對偶分解方法對優化問題進行求解。文獻[4]在H-CRAN下行鏈路場景下，建立了網絡總吞吐量最大化的隨機優化模型，通過深度強化學習和遷移學習算法，智能化分配無線資源，提高網絡的穩定性。

盡管上述的文獻在無線資源分配上都取得了較好的研究成果，但仍然需要進一步的改進，主要存在3方面的問題：(1)多數工作忽略了NOMA技術帶來的頻譜效率和能效優勢，同時沒有考慮前傳容量受限給接入網帶來的吞吐量瓶頸，進而與實際的網絡場景相脫離，無法取得合適的資源分配方案；(2)大多數研究仍采用傳統非線性優化算法，當優化問題出現高維狀態空間或動作空間時，可能會導致維度災問題，使得優化算法陷入局部最優解；(3)盡管深度Q學習對無線資源的自優化具有一定的幫助，但其需要對動作空間進行離散化處理，導致求解的資源分配策略非常不穩定。此外，基于連續域的置信域策略優化(Trust Region Policy Optimization， TRPO)算法產生的計算量較為龐大，導致算法性能得不到有效的提升。

針對上述提出的問題，本文在H-CRAN下提出一種基于功率域-非正交多址接入(Power Domain Non-Orthogonal Multiple Access， PD-NOMA)的能效優化算法。所提算法的主要創新點如下：(1)為提高網絡的頻譜效率和能效，聯合優化用戶關聯、功率分配和資源塊(Resource Block， RB)分配，構建用戶公平性和網絡能效的優化模型；(2)針對無線網絡資源分配的復雜性和動態性難題，引入基于自學習的置信域策略優化算法，大大降低了動作空間的維度，進而避免維度災問題；(3)針對TRPO算法的標準解法產生的計算量較為龐大，采用近端策略優化(Proximal Policy Optimization， PPO)算法進行優化求解，進一步提高算法效率。

2 問題描述與系統模型

2.1 基于PD-NOMA的異構云無線接入網架構

考慮H-CRAN下行傳輸場景，如圖1所示，建立了一個基于NOMA的H-CRAN架構，遠端無線射頻單元(Remote Radio Head， RRH)具有天線模塊，只需執行射頻處理以及簡單的基帶處理，主要的基帶信號處理以及上層協議功能均在集中式基帶單元(Base Band Unite， BBU)池中執行，RRH通常部署在熱點區域負責海量數據業務的高速傳輸[5]。高功率節點(High Power Node， HPN)用于全網的控制信息分發，突發業務以及即時信息等低速率數據信息也由HPN承載，確保業務的無縫覆蓋[6]。以此同時，采用基于PD-NOMA來提升頻譜效率和網絡能效，PD-NOMA允許不同用戶占用相同的頻譜、時間和空間等資源，通過主動引入干擾進一步地提升單用戶速率和系統的和速率，尤其是保障了小區邊緣用戶速率。

2.2 無線通信模型

圖1 基于PD-NOMA的異構云無線接入網架構

2.3 前傳鏈路模型

隨著移動設備的大量普及，移動流量也急劇增加，需要一種大容量、高可靠和低時延的傳輸網絡作為前傳網絡，以此來滿足移動用戶越來越多的業務需求。在目前的前傳網絡選擇中，無源光網絡(Passive Optical Network， PON)具備低成本、大容量的特性，是一種高效可行的前傳網絡解決方案[7]。PON作為云無線接入網絡(Cloud-Radio Access Network， C-RAN)的前傳網絡，不僅能夠滿足C-RAN架構對前傳鏈路的傳輸要求，同時還能應對5G網絡帶來的高可靠、低時延和低損耗的無線網絡需求。

如圖2所示，PON是典型的一對多傳輸網絡，其固有無源特性能夠為前傳鏈路提供極大的帶寬容量和較長距離覆蓋等優勢，PON稱為H-CRAN中光前傳網絡的最佳選擇。因此，前傳容量限制的模型為

圖2 前傳鏈路框圖

其中，?m表示第m 個RRH的有效前傳容量。

2.4 網絡能耗模型

由于H-CRAN和傳統移動網絡的架構不一樣，傳統網絡的能耗模型不一定適用于H-CRAN。因此，本文在H-CRAN中建立了完善的網絡能耗模型來描述RRHs， HPN， BBU池和前傳鏈路的能耗

在建模前傳鏈路的能耗時，本文考慮的是基于時分復用的無源光傳輸網絡，PON包括一個光線路終端(Optical Line Terminal， OLT)，該終端通過單個光纖連接一組相關光網絡單元(Optical Network Unit， ONU)。根據文獻[8]的分析，前傳鏈路的總功耗為

2.5 兩級隊列模型

根據文獻[9]的分析，本文使用兩級隊列模型來描述從核心網傳輸數據給用戶。如圖3所示，核心網傳輸給用戶的業務數據首先進入基帶資源池，首先分配給BBUs內的每個虛擬機。在VM的隊列長度中處理后，數據將被傳輸到服務于用戶的RRHs，再通過無線通道傳輸到用戶。

圖3 兩級隊列架構

本文將能效ηEE定義為整個網絡長期時間下的和速率與長期的能量消耗的比值。在業務隊列穩定的前提下，基于PD-NOMA技術的H-CRAN中能效問題被建模為如下隨機優化問題

3 問題轉化與算法描述

3.1 基于TRPO的能效優化算法

本文除了考慮約束條件外，還綜合考慮網絡功耗，于是資源分配問題變成了NP-hard問題，難以求出最優解。根據文獻[12]的分析，深度強化學習(Deep Reinforcement Learning， DRL)可以通過與動態環境進行交互獲取最優解，從而提升系統的總能效，但它只能處理低維和離散的動作空間，不能直接應用于連續域。因此，本節將引入基于連續性DRL的能效優化算法，利用RL與無線網絡進行交互，并通過DL的非線性函數近似特征，使得基站做出滿足優化目標的最佳決策。

策略梯度算法的缺陷在于更新步長難以確定，當步長不合適時，更新的參數所對應的資源分配策略是一個更不好的策略。因此，合適的步長對于整個H-CRAN系統是非常關鍵。本文的TRPO算法通過尋找使得回報獎勵函數單調遞增的步長，進而逐步完善網絡的資源分配策略，將新策略所對應的回報函數分解成舊的策略所對應的回報函數加上優勢函數項，如式(18)所示

3.2 近端策略優化算法

對于上述的目標函數，為了求解出最佳的資源分配策略。首先，需要將目標函數進行1階近似；其次，利用泰勒級數對約束條件進行2次展開；最后利用共軛梯度的方法求解更新的參數。當選用深度神經網絡表示策略參數時，TRPO的標準解法產生的計算量較為龐大[13]，較難應用到H-CRAN網絡的策略更新中。根據2017年OpenAI提出的PPO算法，其策略參數通過梯度估算進行迭代優化。PPO不需要估算狀態轉移函數，可以應用于大規模的連續域控制問題，因此，本文將使用PPO算法對式(21)的目標函數進行優化，獲得最優的基站關聯策略、RB分配策略以及用戶功率分配策略。PPO是基于參考策略πθ0ld的η1階近似值來對πθ的參數進行局部優化，兩者間的概率比表示為

為了提高網絡的能效性能，Actor和Critic中神經網絡的權重值都需要通過反復的學習來擬合復雜的環境特征，具體的訓練模型如圖4所示。該過程通過最小化Critic神經網絡的損失函數來訓練神經網絡參數：

圖4 PPO算法框圖

為了使Actor神經網絡獲得最佳的策略，通過最大化Actor的神經網絡損失函數來訓練其權重參數

其中，σ 為超參數，取值為0.2，即：縮減該變化率在0.8～1.2之間，以保證策略更新不會過大。在Actor-old網絡中，其權重參數通過Actor-new網絡定期地進行賦值更新，具體的學習流程如表1所示。

表1 近端策略優化PPO訓練Actor網絡參數算法

通過算法1將PPO模型訓練好后，可以獲取Actor神經網絡的最優權重參數。利用上述參數，基站可以獲得最優的策略來進行用戶關聯、RB分配以及功率分配，并且取得最大的能效性能。

4 仿真與討論

在這一節中，通過與深度Q 學習算法[14]和TRPO算法[13]的對比研究，詳細地分析所提算法的性能。

4.1 參數設置

本文設置的網絡拓撲大小為800×800 m2， 1個HPN放置在網絡中心位置，10個RRH均勻分布在網絡中，HUE用戶數為4， RUE用戶數為35，且均勻地分布在HPN和RRH上。在仿真中，系統的時隙長度 τ為10 ms，總帶寬為10 MHz，子載波數目設置為32，無線信道被建模為瑞利信道，噪聲功率密度為—174 dBm/Hz， HPN的路徑損耗模型為31.5+40.0 lg(d)、R R H 的路徑損失模型為31.5+35.0 lg(d)。HPN的最大發射功率為43 dBm，RRH的最大發射功率為29 dBm， RRH和HPN的靜態功率消耗分別為3.5 W和84 W。由于本文采用基于連續性的深度強化學習的算法來解決H-CRAN資源分配問題，還需要對神經網絡中的參數進行訓練，經驗回放池的大小設置為5000，batch的大小為32。

4.2 性能分析

本節通過PPO算法的訓練討論了batch大小和損失函數對無線網絡性能的影響。如圖5所示，不同batch大小會使得系統的能效性能表現出巨大的差異，在batch較小的情況下，網絡有可能會陷入局部最優解，并且算法的收斂速度較為緩慢。因此，合適的batch大小是DL的訓練非常重要，本文將batch大小選為32。

圖6展示了不同到達率對用戶的平均隊列長度的影響，隨著仿真時隙的增加，平均隊列長度起始迅速增加，隨后趨于穩定。這也說明了所提的PPO算法可以有效地保證系統隊列穩定性。以外，在不同到達率的條件下，平均隊列長度會有所不同，隨著到達率的增加，平均隊列長度會越來越大。

如圖7展示了不同算法下用戶數對網絡能效的影響，隨著用戶的增加，網絡的吞吐量將占主導地位，網絡能效越來越好。此外，由于PPO算法既解決了DQN算法無法應用于連續性以及高維動作空間的問題，又大大降低了TRPO算法的計算復雜度，因此，PPO算法對無線網絡產生能效優勢遠遠好于TRPO和DQN算法。如圖8所示，PPO算法較TRPO算法而言，計算復雜度更低，從而可以更加快速、合理地獲得最優的資源分配策略，避免不必要的能耗浪費。PPO算法較DQN算法而言，完美地解決了DQN在連續型環境下需要離散化的問題，使得神經網絡的訓練可以獲得更加完善的狀態信息，進而更合理地分配無線資源。

圖5 PPO算法下不同batch的網絡能效

圖6 不同到達率的平均隊列長度

圖7 不同算法下的網絡能效

圖8 不同算法下的網絡能耗

5 結論

本文在H-CRAN下行傳輸場景下，以隊列穩定和前傳鏈路為約束，聯合優化用戶關聯、RB分配和功率分配，構建用戶公平和網絡能效的隨機優化問題。將隨機優化問題轉化為置信域策略優化問題，通過自學習的方法求解最佳策略。此外，針對TRPO算法的標準解法產生的計算量較為龐大，采用PPO算法進行優化求解。仿真結果表明，本文所提算法在保證隊列穩定約束下，進一步提高了網絡的能效性能。