5G基站自適應天饋系統設計與建模

作者簡介：沈煜航（1999—），男，碩士研究生，主要從事智慧通信網絡與智能信息處理方向研究，（E-mail）shenyh327@163.com。通信作者：王晟，男，教授，博士生導師，主要從事網絡規劃，下一代互聯網與下一代光網絡方向研究，（E-mail）wsh_keylab@uestc.edu.cn。

摘要：為了提供一個各方面更優的全自動天面自適應調整方案，在降低維護成本的同時實現更優覆蓋效果，從5G天面的信號輻射方向調整方法入手，對5G基站自適應天饋系統的智能調節系統設計關鍵技術進行研究，提出對基于深度強化學習的基站天面自適應調節策略?；诖嗽O計了5G基站自適應天饋系統，可以使用電信公司RSRP信號覆蓋地圖作為數據源，獲取當前狀態的觀測值并自動分析數據，對天面進行自動調整。在虛擬環境下，對基于強化學習的系統進行了模擬搭建與仿真訓練，結果符合預期。

關鍵詞：5G基站；強化學習；天饋系統；自適應調整；系統設計；仿真分析

中圖分類號：TN929.5" " " " " 文獻標志碼：A" " " 文章編號：1000?582X（2023）04?089?08

Abstract： To provide a fully automatic antenna adaptive adjustment scheme with advantages of better performance， wider coverage and lower maintenance cost， the key design technologies of intelligent adjustment system of adaptive antenna feed system of 5g-based station are studied from the perspective of signal radiation direction adjustment of antenna panel. An adaptive adjustment strategy for base-station antenna based on deep reinforcement learning is proposed. The adaptive antenna feed system designed with the proposed strategy can use telecom RSRP coverage map as a data source， and obtain the current state of the observed values to automatically analyze data and adjust the antenna panels. In a virtual environment， the system based on reinforcement learning is simulated and trained， and the results are in line with expectations.

Keywords： 5G base-station; reinforcement learning; antenna feed system; adaptive adjustment; systematic design; simulated analysis

近年來，中國在第五代移動通信技術的研發上搶占先機［1?2］。移動通信網絡中，天饋系統是整個系統中最重要部分，它直接影響用戶的移動接入、數據傳輸質量。電信公司為了提升優化效率，設計了一套可視化的基站信號覆蓋地圖。但是，用覆蓋地圖優化的工單系統，大部分工單是在進行天面的調整。現有研究過于糾結如何將移動網絡優化經驗統合成專家系統，這類研究比較適合應用于基站建設初期的規劃布局，在移動網絡運營中，難以在復雜多變的空間環境高效地達到最優解。因此，電信公司開始將研究重心轉移到結合人工智能技術的5G網絡極簡化運營方向。引入自適應的機器學習［3?6］進行系統優化，消減不必要的成本開銷，提高5G網絡的效率，這將是天饋系統維護優化與移動通信系統極簡化運營的主要發展態勢。

為了提供一個各方面都更優的全自動天面自適應調整方案，讓天面調整優化策略能夠完全脫離人工干涉，并在最大限度降低維護成本的同時實現更優覆蓋效果，研究設計一個5G基站自適應天饋系統，它基于深度強化學習技術［7?13］，用電信公司信號覆蓋地圖作為數據源，能夠自動分析數據、獲取當前狀態的觀測值，并根據觀測值判斷哪些天面需要調整、應該在什么方向上調整多少角度。希望該系統具有泛用性，最終的學習效果應能快速適應空間環境變化，可更快找到最優的調整方案，且調整方案比人工更優。針對5G網絡天饋系統的自適應優化策略，以天饋系統信號輻射方向的智能調整為切入點，對5G基站自適應天饋系統的智能調節系統設計關鍵技術進行了研究，提出基于深度強化學習的基站天面自適應調節策略，進行系統設計分析與建模。

1 相關工作

在5G場景下，基站天面的角度可以進行數字程控［14］，且5G基站能夠進行高效率的站間通信。移動網絡接入側部署有高算力的邊緣計算節點［15］，這讓基于人工智能技術的天面自調整具有現實可行性?？梢詫?G自適應天饋系統分為了2個階段：1）云端訓練階段。系統被部署在云端的計算密集型服務器上，根據所轄區域進行虛擬環境建模，并在虛擬環境中執行所有智能體策略的預訓練。2）邊緣部署階段。云端服務器把完成預訓練的神經網絡參數遷移到對應的邊緣站中，基于該初始參數，智能體在真實業務場景中進行更安全的策略探索。

電信公司提供了實時的參考信號接收功率（reference signal receiving power， RSRP）信號覆蓋地圖。5G場景下，服務區內的用戶被接入移動通信網絡后，移動終端將采集信道特征（信號強度、比特率、時延、丟包率等）反饋給接入站。接入站通過移動通信基站定位技術算出用戶坐標，并按地理區域劃分用戶集，將采集到的用戶數據分組匯集，得到實時的信號覆蓋情況分布數據。通過上述手段采集用戶信號質量RSRP值，以?t為更新間隔，在地圖上對應的位置上以不同的顏色呈現當前時刻各位置的信號覆蓋情況。

如圖1所示的電信公司RSRP信號覆蓋地圖中，將區域劃分成了以邊長為 m的眾多方格，每個方格上

用不同的顏色表示出該 m2范圍內的平均信號覆蓋質量。因此，該馬爾科夫決策問題［7］的優化目標也可以表示成小區內不同信號覆蓋等級的格子數量加權后進行平均，即

其中：代表RSRP信號覆蓋等級為的方格數量，是從好到壞分成7個等級的RSRP取值范圍，其目的是對覆蓋較好的情況給予一個正向激勵，對覆蓋較差的情況給予負向激勵。同時，環境觀測值也可以抽象成小區內不同顏色的格子分布，可以當作一張灰度圖進行處理。因此，整個過程也可以被描述為：根據當前時刻小區的灰度圖特征，預測如何對小區內所屬天面的角度進行調整，從而讓整個小區的覆蓋情況趨向于最好。

2 基于深度強化學習的自適應天饋系統的實現

2.1 MADDPG算法

在處理天饋系統這種復雜的合作-競爭環境時，不妨引入多智能體深度確定性策略梯度（MADDPG）算法的Actor-Critic框架設計［7?13］。MADDPG很容易解決天饋系統優化過程中的非穩定環境問題。在MADDPG中，每個智能體都有自己的執行者 （Actor）網絡與評價者 （Critic）網絡。其中，Actor網絡中的算法和原始DDPG中相應算法差別不大。用于訓練過程的Critic網絡算法有較大改進。在Critic網絡中，為了獲取全局信息，用系統中所有智能體的觀測值與行為作為參數傳入網絡。

除了小區內的多智能體問題，相鄰小區之間也是合作-競爭共存的關系。在MADDPG中，Critic網絡負責集中式訓練，需要區域內的全局信息；Actor網絡負責分布式執行，只需要智能體自己的環境觀測數據。因此，Actor與Critic網絡可以傳入不同的觀測數據，不妨讓Critic網絡使用小區內的環境狀態信息，讓Actor網絡不再局限于智能體所屬的小區，而是使用智能體潛在覆蓋范圍內的狀態信息。一個天面的潛在覆蓋區域包含它在調整過程中所有可能覆蓋的范圍，以潛在覆蓋區域作為Actor網絡的輸入，就可以讓智能體執行決策時考慮到跨區域的信息。

在此，給出基于MADDPG自適應優化系統的流程總覽，如圖2所示。由于強化學習總是伴隨著大量的探索，為了避免造成服務區信號質量下降，將系統流程劃分為預訓練與業務場景部署2個階段。在預訓練階段，根據真實業務場景的地理空間環境，為每個小區建立了一個虛擬環境。在一個計算密集型的高算力平臺上，基于該虛擬環境進行虛擬智能體的訓練。此時，虛擬智能體可以將行為信息簡單地同步，因此MADDPG

的訓練過程可以像單智能體算法一樣，直接用一個共享的經驗回放池更新所有智能體的Actor與Critic網絡。整個過程可以是單線程枚舉的。每次迭代中，首先枚舉所有智能體，讓它們獲取自己的環境觀測值并執行確定性行為預測。執行所有智能體的行為后，對環境的更新就進入下一個狀態，并將本次交互信息放入全局的經驗回放池中。之后再次枚舉每個智能體，為它們隨機取出一批經驗數據進行訓練，然后進入下一次迭代。待環境狀態穩定后，判斷算法是否收斂，若未收斂，則重置虛擬環境繼續進行預訓練。

2.2 環境歸一化算法

在多智能體強化學習中，Distributed-Q［16-17］、MA-DQN以及A3C等算法要求在不同智能體中，將環境狀態的維度與特征分布統一起來，這就是狀態統一性問題。在研究的場景中，狀態統一性問題源自潛在覆蓋范圍的形態和大小，取決于不同天面間的參數差異，尤其是鐵塔站高度、天面水平輻射范圍、垂直輻射范圍、主瓣參數等，讓天面的潛在覆蓋區域呈現為不同弧長與半徑的扇形，甚至某些部分可以為環形扇面。

MADDPG允許每個智能體關注毫不相關的局部環境狀態，使用完全獨立的回報函數，并不要求對環境狀態進行統一化處理。不過，為了加速整個算法的收斂速度，讓虛擬環境下訓練好的神經網絡能夠快速部署到業務場景中，依然需要對每個智能體的觀測值進行歸一化處理。

2.3 歸一化采樣

在天面獲取狀態的局部觀測值時，可能會因為基站參數、地理環境等的影響，得到一個與其他天面維度不同的張量。同時，基于地面的RSRP覆蓋情況獲得，其分布情況并不能很好地對應天面的角度朝向。所以，需要從天面的角度出發對環境狀態進行采樣，以方位角為橫軸、俯仰角為縱軸，從而保證狀態分布的一致性。如圖3所示，對于每一個天面，先找出它的整個可覆蓋角度的區間范圍，并對其垂直角度區間范圍從上到下按照1：2：3：4的比例劃分成4組，每一組均勻采樣5個角度，得到20個縱軸刻度；對其水平角度區間，均勻地采樣20個角度值，作為20個橫軸刻度。這樣，就獲得了一個20×20的采樣矩陣。然后按照采樣的俯仰角和方位角來計算每個樣本信號輻射在地面上的坐標，采集該點的RSRP值作為樣本值。這樣，就能保證所有觀測值與智能體行為之間的映射關系具有普遍聯系。

該采樣過程有2個基本前提。首先，單個運營商的基站都是同一規格，各天面的可調范圍基本一致。其主要影響因素是基站高度與預制傾角，因此可以通過分割角度的方式進行采樣。另一方面，應在最遠覆蓋范圍內進行采樣，也就是說可調俯仰角的上限應低于天面在可容忍衰減區間內覆蓋到地面的角度。如果超過該角度，則天面的信號將在嚴重衰減后射到地面，此時可認為天面對地面設備無覆蓋。

2.4 線性探測補點

在歸一化采樣時，根據天面不同角度到地面的投影來采集樣本點，很容易導致部分樣本點采到空值。在預訓練過程中，無論是在虛擬環境還是真實業務場景下，RSRP覆蓋地圖都可能存在大量無法獲得采樣的空白值區域，歸一化采樣將不可避免地取得部分空值。于是，希望找到一種方法來填補這些空白樣本。借鑒鄰插值的思想，對無法采樣的點使用二維線性探測的方式進行修補。

圖4中給出了算法的具體流程。線性探測補點的方式保證了歸一化采樣的有效性。進一步地，可以在業務場景下對該補點方式進行優化。在業務場景下采樣到空值，一般是由于在該區域，用戶稀疏，于是不一定在每次RSRP地圖更新期間內都有用戶存在。所以，可以在一定程度上繼承該區域的歷史RSRP值，以增強線性探測補點的可靠性。具體做法是，接入站保留每個小區域的最近的一次非空RSRP平均值，在本輪更新信號覆蓋地圖時，如果在該區域無RSRP反饋信息，則先用線性探測補點方法預測出該區域的，再找到歷史數據，并記錄本輪更新的更迭周期數。在本輪更新中，對該區域估計的填補值取為：， 其中，是歷史數據的權重因子，。

2.5 業務場景部署

前面詳細描述了整個系統的設計與算法訓練過程，在此將給出系統部署到真實業務場景下的流程，以及基于帶約束的馬爾可夫決策問題（constraint markov decision process， CMDP）的站間通信過程。

為了保證系統的魯棒性，提出先在虛擬環境預訓練，再將網絡參數遷移到業務場景的系統設計。在部署到業務場景之前，首先需要根據真實的小區環境，建立對應的虛擬環境模型。該虛擬環境建模需要考慮真實的基站布局、信道衰減以及空間環境影響，并提供合理的干擾仿真機制?；谡鎸嵀h境，為該小區搭建專屬的MADDPG網絡，每一個基站的3個天面各擁有一張Actor-Critic網絡，每個基站將在自己的移動邊緣計算節點上同時部署3個天面的強化學習算法。強化學習的訓練過程是先探索再學習。為了避免在部署前期出現過于激進的探索，可以借鑒遷移學習的思想，讓算法先在已建好模的虛擬環境中訓練，然后取收斂到趨近平穩狀態的神經網絡梯度值作為初始值，部署到真實環境中，讓預訓練后的網絡指導現實中的天面調整，同時也在真實環境下執行下一步訓練過程。

3 虛擬環境建模與訓練

研究將天饋系統按地理位置與行政關系劃分成多個小區，將單一小區內部的信號覆蓋優化問題建模成多智能體的馬爾可夫決策問題［7］。在該問題背景下，智能體之間既有合作又有競爭，導致該博弈環境具有非穩定性。使用多智能體深度確定性策略梯度算法，通過集中式訓練、分布式執行的方式，在每個智能體中，將全局的行為決策作為環境的一部分。這種新環境具有馬爾可夫假設［7］的穩定性。為了避免智能體在真實業務場景下進行激進探索，提出先預訓練再遷移的算法部署流程，并為原問題引入約束條件進行CMDP建模。在系統部署伊始，為對應的業務小區進行虛擬環境建模，并在該虛擬環境下進行MADDPG算法的預訓練。

3.1 虛擬環境建模

這里，虛擬環境基于電信公司RSRP信號覆蓋地圖。虛擬環境包含一個區域，區域內有M個基站，每個基站上有3個天面，每個天面有其垂直覆蓋角度、水平覆蓋角度、俯仰角調整范圍、方位角調整范圍等參數，每個基站有其高度、位置等參數。本系統以區域為單位進行訓練，區域內的每一個天面都是單獨的智能體，因此智能體的數量有個。參考RSRP信號覆蓋地圖，以 m為每個格子的邊長，整個區域擁有個格子，每個格子的顏色代表該100 m2內的平均RSRP值，從～均勻分成了個級別。其中，紅色、橙色、黃色代表以下的信號覆蓋水平，信號較好的部分細分成了4種由深到淺的藍色。

虛擬環境參考OpenAI Gym的格式設計接口，執行的行為是調整方位角。與調整俯仰角 。，要達成的狀態空間是重組成一維數據后的RSRP覆蓋地圖?？梢酝ㄟ^“reset”接口來重置環境，通過“step”接口來傳入行為（需要指定作為行動者的天面）并獲得執行操作后的環境狀態。

為了模擬真實的城市環境，使用瑞利衰減模型［17］來計算天面輻射信號的傳輸增益。根據5G的空分特性［15］，相鄰基站間只有的幾率會發生沖突。圖5給出了用Tkinter軟件繪制的虛擬環境可視化窗口界面。設置了的正方形虛擬小區，每個方格區域的邊長m，虛擬RSRP信號覆蓋地圖的尺寸為m。在Tkinter的畫板上，用黑色圓點標識出了小區內的所有基站。

3.2 實驗訓練實施及其結果

實驗基于 python 3.9 下的 pytorch 1.8 環境，在 macOS Big Sur 11.2（處理器 Intel Core i9 9880H，內存 16 GB 2667 MHz DDR4，顯卡 AMD Radeon Pro 5500M 8 GB）平臺完成開發與可執行性調試，并在Windows10 20H2（處理器 Intel Xeon Gold 6133，內存256 GB DDR4 ECC，顯卡 GTX 1070ti 8 GB×2）平臺下使用 cuda_11.1 進行模型訓練。

在多智能體強化學習環境中，神經網絡的尺寸相對較小，主要的時間開銷來自于環境更新與數據預處理過程。尤其是 CMDP 求解中的策略采樣算法，將在一次更新中花費大量時間，多次進行環境狀態轉移與線性探測補點操作。上述操作都是基于 CPU 的。選擇 40 核 80 線程的雙路 Intel Xeon Gold 6133 以提供較好的 CPU 計算能力。在顯卡方面，考慮到這并非核心需求，因此選用了2張 GTX 1070ti 以提供 16 GB 的顯存容量。為了直觀表現算法的有效性，可以通過可視化的方式呈現充分訓練后算法在環境中的預測表現。如果取5 000次經歷后的算法數據，即50×104次更新后的神經網絡參數，對一個初始狀態的環境進行10次更新，每次更新情況如圖6所示。

圖6給出了每一步更新時虛擬小區內各智能體的平均回報值、整個小區的目標函數值，以及為覆蓋率。在該測試中，將約束收縮到了（表示約束上限值），并允許智能體執行的行為。分析該圖發現，該系統經過足夠的預訓練后能快速將信號覆蓋率調整至約束條件下，并在10次更新內實現令人滿意的覆蓋效果。

4 結" 語

結合電信公司提供的基站信號覆蓋地圖中收集到的實時覆蓋數據，研究了5G基站自適應天饋系統設計相關問題。通過改進MADDPG算法和修改Critic網絡顯著以降低整個算法的空間復雜度；為自適應天饋系統設計了一套基于人工智能算法的調度方案，從而實現真實業務場景下的CMDP策略采樣。在系統設計中，為每個天面劃分潛在的覆蓋區域，將該區域的RSRP分布作為每一個狀態下的觀測值，研究了天饋系統在各觀測值下的信號輻射方向調整策略。針對5G環境，在多智能體強化學習方面設計了一套環境觀測值的歸一化采樣方案，讓預訓練出的算法模型可以遷移到真實業務場景下；提出線性探測補點的方法，從而避免觀測值中出現空值點，保證預測的可靠性。所用智能調節算法能夠有效避免智能體的激進探索，在大幅度提高算法收斂性能的同時，降低了算法的空間復雜性，可為整個系統在業務場景下的部署提供理論支撐。

參考文獻

［1］" 周俊， 權笑， 馬建輝. 5G無線優化面臨的挑戰及應對策略［J］. 電信科學， 2020， 36（1）： 58-65.

Zhou J， Quan X， Ma J H. Challenge and strategy of 5G radio optimization［J］. Telecommunications Science， 2020， 36（1）： 58-65. （in Chinese）

［2］" 趙國鋒， 陳婧， 韓遠兵， 等. 5G移動通信網絡關鍵技術綜述［J］. 重慶郵電大學學報（自然科學版）， 2015， 27（4）： 441-452.

Zhao G F， Chen J， Han Y B， et al. Prospective network techniques for 5G mobile communication： a survey［J］. Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2015， 27（4）： 441-452. （in Chinese）

［3］" 杜威， 丁世飛. 多智能體強化學習綜述［J］. 計算機科學， 2019， 46（8）： 1-8.

Du W， Ding S F. Overview on multi-agent reinforcement learning［J］. Computer Science， 2019， 46（8）： 1-8. （in Chinese）

［4］" 殷昌盛， 楊若鵬， 朱巍， 等. 多智能體分層強化學習綜述［J］. 智能系統學報， 2020， 15（4）： 646-655.

Yin C S， Yang R P， Zhu W， et al. A survey on multi-agent hierarchical reinforcement learning［J］. CAAI Transactions on Intelligent Systems， 2020， 15（4）： 646-655. （in Chinese）

［5］" Mnih V， Kavukcuoglu K， Silver D， et al. Human-level control through deep reinforcement learning［J］. Nature， 2015， 518（7540）： 529-533.

［6］" Goodfellow I， Bengio Y， Courville A， et al. Deep learning ［M］. US：MIT press Cambridge， 2016.

［7］" Littman M L." Markov games as a framework for multi-agent reinforcement learning ［J］. Machine Learning Proceedings， 1994： 157-163.

［8］" Foerster J N， Assael Y M， de Freitas N， et al. Learning to communicate with deep multi-agent reinforcement learning［EB/OL］. 2016： arXiv： 1605.06676. https：//arxiv.org/abs/1605.06676.

［9］" Hong Z W， Su S Y， Shann T Y， et al. A deep policy inference Q-network for multi-agent systems［EB/OL］. 2017： arXiv： 1712.07893. https：//arxiv.org/abs/1712.07893.

［10］" Hessel M， Modayil J， Van Hasselt H， et al. Rainbow： combining improvements in deep reinforcement learning［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2018， 32（1）： 3215-3222.

［11］" Foerster J， Nardelli N， Farquhar G， et al. Stabilising experience replay for deep multi-agent reinforcement learning［C］//Proceedings of the 34th International Conference on Machine Learning - Volume 70. August 6 - 11， 2017， Sydney， NSW， Australia. New York： ACM， 2017： 1146–1155.

［12］" Babaeizadeh M， Frosio I， Tyree S， et al. GA3C： GPU-basedA3C for deep reinforcement learning［EB/OL］. 2016： arXiv： 1611.06256. https：//arxiv.org/abs/1611.06256.

［13］" Abbas N， Zhang Y， Taherkordi A， et al. Mobile edge computing： a survey［J］. IEEE Internet of Things Journal， 2018， 5（1）： 450-465.

［14］" 高松濤， 程日濤， 鄧安達. 5G天饋系統下傾角設置原則研究［C］//5G網絡創新研討會（2020）論文集. 北京：移動通信，2020： 272-275.

Gao ST ， Cheng R T ， Deng A D . Research on setting principle of dip angle of 5G antenna feed system ［C］//5G Network Innovation Seminar （2020）. Beijing， China： Mobile Communications， 2020： 272-275. （in Chinese）

［15］" Gupta A， Jha R K. A survey of 5G network： architecture and emerging technologies［J］. IEEE Access， 2015， 3： 1206-1232.

［16］" Galindo-Serrano A， Giupponi L. Distributed Q-learning for aggregated interference control in cognitive radio networks［J］. IEEE Transactions on Vehicular Technology， 2010， 59（4）： 1823-1834.

［17］" Sklar B. Rayleigh fading channels in mobile digital communication systems Part II： Mitigation［J］. IEEE Communications Magazine， 1997， 35（7）： 102-109.

（編輯" 侯湘）