基于強化學習的基站多維度資源協同分配方案

鄭青碧，鄧 娟，劉奕彤，田開聰，高月紅，邵澤才，劉光毅

(1.中國移動通信有限公司研究院 未來研究院，北京 100053；2.北京郵電大學 信息與通信工程學院，北京 100032)

0 引言

隨著科技革命和產業變革的深入發展，算力已成為社會數智化轉型的基石，將直接決定社會智能的發展高度[1]。隨著云計算的快速發展，企業或個人所需的計算能力可以通過云計算快速地獲得[2]。在技術不斷發展的推動下，通信技術也在以驚人的速度發展和迭代，網絡作為連接用戶、數據、算力的主動脈，與算力的融合共生不斷深入，在5G網絡的設計中，計算與通信融合的趨勢已經出現。

傳統通信網絡中的算力資源主要服務于通信業務，算力資源集成在設備處理板卡內，按照通信業務的處理流程進行算力資源的部署和分配[3]。在5G中，MEC通過邊緣計算嘗試將算力引入通信中，無論是SaaS、PaaS、IaaS，還是連接服務等，都是外掛式的引入算力，算力沒有真正地與通信協議體系融合。僅在管理面引入算力，試圖提供較低時延的計算服務，其網絡和計算部分是松耦合設計，在效率、部署成本、安全和隱私保護等方面存在進一步提升的空間[4-5]。未來6G將具有“網絡無所不達，算力無處不在，智能無所不及”的特點[6]，6G網絡將具有大規模的計算資源，算力將呈現出泛在化特征，云、邊和端側部署的算力資源將呈現出異構和分布式的特征[6]，其協同調度需要實時適配網絡動態復雜的通信環境，需要深入到控制面和用戶面進行實時支持，6G網絡需要通信與計算在網絡架構和協議層面實現更深度的融合。對于6G無線網絡而言，一種可能的模式是基站設備內部具有計算資源，并通過資源協同調配算法高效控制通信和計算資源的調配[3]。

在上述模式下，算力的引入給無線通信網絡節能帶來了潛在的挑戰。比如，在GPU上運行一個大型Transformer模型的碳排放量是626115bs，相當于56個人1年的碳排放量，大型模型訓練的算力需求為PetaFLOPS/s-day(即每天進行約10的20次方運算)[7]，計算開銷很高。假設基站規模為10 000站點，在該區域內的計算業務忙時，用戶同時發起1 000項1 080 P視頻圖像的識別業務(8路幀率為30 FPS)。若采用ResNet-152模型，由此產生的算力消耗為265 000 TeraOPS(Tera Operations Per Second)，則平均每個基站需消耗3塊GPU。按照NVIDIA RTX系列顯卡功耗指標(每塊GPU的滿負載能耗為0.3 kW)計算，則該區域平均每站點的計算能耗約為0.9 kW，與當前5G網絡基站的忙時典型能耗(3 kW/站)相比，能耗增加了30%。因此6G無線網絡的節能需要同時考慮數據傳輸的能耗和數據計算的能耗，在設計通算融合機制時需要將能效作為一項重要的優化目標。

1 無線網絡節能研究

當前，移動網絡節能方案可以劃分為基站節能方案和網絡級節能方案。基站能耗在移動通信網絡能耗中占比較大，蜂窩系統約60%的能耗由基站產生，基站的能耗大部分由射頻產生?；竟澞苡址譃橛布苄嵘蛙浖澞?，硬件能效提升降低基站設備的基礎功耗，軟件節能從業務運營方面對資源進行合理調配，并通過軟關斷技術(包括符號關斷、通道關斷、載波關斷以及小區閉鎖和深度睡眠)實現無線網設備的節能。

基站軟件節能的研究主要集中在提高網絡能效、保障用戶服務質量(Quality of Service,QoS)、降低算法復雜度三方面。文獻[8]為了降低基站頻繁的模式轉換導致的能耗，從信道狀態信息中提取時間相關特征決定基站開關，可以在較大的時間尺度下減小網絡能耗。文獻[9]提出的節能模型使用過去的移動痕跡確定未來網絡負載，進而確定基站狀態，在接入過程中利用小區偏置均衡小區間的負載保障QoS。文獻[10]在異構M-MIMO網絡中提出了將強化學習與無線通信服務地圖數據結合確定基站關斷策略的方法，并進行了評估。

文獻[11]針對基站功率和無線回傳帶寬，提出了低復雜度資源調配方法，提高了網絡的能效。文獻[12]在宏基站、微基站和D2D異構網絡場景中，設計了動態規劃的資源調度方案，降低網絡能耗的同時提升了系統吞吐量。文獻[13]在異構云無線接入網絡場景下，設計了基于在線學習的功率分配方法，保證用戶服務質量的同時最大化網絡能效。隨著業務場景的復雜化和多樣化，網絡對算力需求的不斷增加，計算資源成為無線網絡的重要資源之一，對計算資源的節能研究也成為了業界的重要研究方向。文獻[14]對通信、緩存資源、計算決策進行聯合優化，保證一定傳輸速率的同時最大化平均容忍時延。文獻[15]是在異構無線蜂窩網絡場景中，對計算卸載決策、頻譜資源分配、內容緩存進行優化，提出了一個分布式解決方案。文獻[16]是在移動邊緣計算網絡中，綜合考慮計算卸載、頻譜、內容緩存，最小化計算任務的總時延。文獻[17-18]是在物聯網中聯合設計通信資源和計算資源，分別實現最小化平均端到端時延和最小化總能量消耗。以上對計算能耗的優化主要通過優化計算卸載決策實現對計算資源的調配，降低計算卸載時延和系統能耗，在衡量計算資源方面也只是對計算任務進行了簡單的數值建模。這些方案缺乏對算力資源的精準建模。除此之外，上述文獻研究中很少涉及有關機器學習的計算任務，任務建模沒有考慮到GPU的算力消耗浮點數，在優化目標中沒有將具體單個用戶的業務性能需求考慮在內。

2 6G無線網絡通算資源分配場景

在信息產業、制造業與社會治理等領域的智能化趨勢下，面對未來海量泛在的計算和通信業務，6G網絡須具備云邊協同的強大算力和廣泛覆蓋的網絡連接能力；而終端用戶密度、新興業務流量需求的物理分布不均則對網絡的差異化和精細化管理提出更高要求。為了滿足更加豐富的應用場景需求，6G將是一個低、中、高多頻段協同的全頻譜接入系統。覆蓋仍將以10 GHz以下為主，毫米波(70 GHz以下)將發揮更重要的作用，可見光和太赫茲(100 GHz以上)將在特定場景下提供超高速率和感知探測等能力。

為了降低高頻站點密集部署導致的網絡功耗和成本問題，同時保證網絡廣域覆蓋性能，6G網絡將引入控制信令與業務數據解耦機制，如圖1所示。具體而言，由低頻段(如700 MHz)控制基站提供廣域的統一信令覆蓋，負責RRC消息、物理層信令等控制信令的播發，降低高頻段導致的路徑損耗等影響，保證連續與可靠的連接性與移動性；由高容量、按需開啟的高頻段(如62.5 GHz及以上)數據基站提供數據和少量必要信令的傳輸，降低小區間的干擾及整網能耗。

圖1 控制信令與業務數據解耦機制

在控制信令與業務數據解耦機制中，控制基站具有計算資源和傳輸控制信令的通信資源，控制信令包括對連接(通信連接和計算連接)的控制和對資源(通信資源和計算資源)的控制信令；數據基站具有計算資源和傳輸業務數據的通信資源，業務數據包括通信業務數據和計算業務數據?？刂苹九c業務基站高效協作進行通信與計算資源的協同調配，從而實現通信資源與計算資源在控制面的深度融合。針對流量潮汐、業務需求差異、用戶移動行為等造成的通信和計算請求忙閑不均現象，考慮計算資源的高耗能特性，基站需實施精細化、智能化的資源分配策略，以利用有限的邊緣資源有效應對用戶對通信時延、計算任務精度等方面的要求，同時通過基站休眠、載波關斷等技術動態調整基站運行狀態，提升網絡能效。

現有節能方案均沒有考慮基站的計算資源消耗，不適用于上述6G無線網絡中計算與通信資源的深度融合場景。6G基站需要在保障業務性能的同時，合理分配通信和計算資源，達到提升系統能效的目的。

面向6G無線網絡通算融合場景，本文提出了一種基站通算資源協同分配技術方案，以用戶業務質量和能耗為優化目標統籌分配多基站通信和計算資源。

3 技術方案

本文提出的技術方案如圖2所示，控制基站接收每個數據基站下轄的用戶數目與用戶計算任務的特征參數(比如對于圖片識別任務，特征參數包括圖片大小、機器學習模型類型等)，綜合考慮用戶業務部署在數據基站、控制基站的業務性能與系統能耗，通過AI模型生成的資源分配決策確定用戶業務部署的基站和資源的分配量，對于不承載任何業務的數據基站，可將其休眠，從而達到降低能耗的效果。為了降低系統總能耗，當該用戶業務由其他數據基站或控制基站執行的業務性能滿足需求時，可將該用戶接入其他數據基站或控制基站，因此用戶業務并不總是由距離其最近的數據基站承載，以休眠不承載業務的數據基站。數據基站接收休眠決策，不休眠的基站執行用戶業務。

圖2 6G基站通算資源協同分配方案示意圖

資源協同分配模型位于控制基站中，模型包含各類用戶業務性能模型與基站的計算能耗模型，能夠在考慮用戶業務性能與系統能耗的基礎上，根據用戶計算任務的特征參數、基站接入用戶數判斷用戶接入的基站；并能夠不斷優化，根據基站反饋的業務性能與系統能耗不斷調整分配決策。

由于本文所設計的方案動作空間較大，且動作輸出均為離散確定值。針對這種情況，選用DDPG算法，可以有效緩解動作空間大對于訓練結果收斂慢的問題，并且充分利用DDPG算法中經驗回放和深度神經網絡等架構優勢，保證了輸出結果的穩定性和有效性。

資源協同分配AI模型如圖3所示，DDPG的輸入狀態包括環境狀態和業務狀態，其中環境狀態s1=[x0,x1,…,xn],x代表基站接入用戶數，n為數據基站的總數。業務狀態s2=[ci,ui,di,bi](i∈(0,m))，其中，ci表示當前時刻的計算業務量(計算任務數 × 平均每項計算任務的計算量需求)，ui表示當前用戶的上下行傳輸速率，di代表當前用戶通信的業務量，bi代表當前時刻的上下行子信道帶寬，m為用戶總數。優化目標為業務性能與系統能耗，即算法的獎勵r，r=-(k1×UT+k2×BT+k3×UC+k4×CC+k5×HC+k6×SC)，其中k1～k6表示歸一化系數，UT、BT、UC、CC、HC和SC分別表示用戶傳輸時延、數據基站執行時延、用戶傳輸能耗、計算能耗、切換損耗和數據基站固有能耗，計算方法如下所示：

圖3 DDPG資源協同分配模型原理與流程

(1)

(2)

UC=用戶發射功率×用戶傳輸時延，

(3)

CC=單次計算能耗×所服務用戶的業務數量，

(4)

HC=|接入控制基站的RSRP-接入數據基站的RSRP| ，

(5)

SC=接入數據基站的基礎能耗×接入數據基站的數目+

休眠數據基站基礎能耗×休眠數據基站的數目。

(6)

在滿足優化目標后，確定用戶接入的數據基站或控制基站，即消耗通信與計算資源的基站，進而確定基站的狀態，即動作空間a=[y1,y2,…,yn]，其中y表示基站的狀態，0表示執行業務，1表示休眠。

DDPG的訓練算法和應用階段的算法流程如算法1和算法2所示。

算法1 訓練階段-通算資源分配算法1.Actor根據策略選擇一個動作at,下發給環境執行;2.環境執行策略,返回獎勵函數和新狀態;3.Actor將(st,at,rt,st+1)存放于經驗回放池;4.從經驗回放池中隨機采樣N個數據;5.計算在線Q網絡的梯度并更新;6.計算策略網絡的策略梯度并更新在線策略網絡;7.軟更新目標網絡的梯度參數。

算法2 DDPG應用階段-通算資源分配算法1.控制基站接收用戶計算任務的特征參數和每個用戶屬于的數據基站,計算每個數據基站所轄的用戶數目,即DDPG算法樣本;2.控制基站的DDPG根據系統能耗和用戶業務優化目標計算數據基站的關斷動作a,下發至數據基站;3.數據基站執行關斷動作a,執行用戶業務的計算任務,部分用戶業務由控制基站執行;4.控制基站計算系統能耗和用戶業務性能,評估DDPG性能;5.DDPG依據新樣本迭代優化;6.重復步驟1^6。

4 仿真驗證

本節將詳細介紹針對多基站通算資源協同分配方案，仿真平臺的搭建和實驗測試流程，驗證方案的合理性和有效性。

4.1 仿真環境

仿真平臺在Linux環境下實現，模擬了多小區通信環境，包含2個控制基站和8個數據基站，以及20個用戶，地圖面積為1 km×1 km，用戶在仿真區域內運動，用戶移動過程中采集視頻流業務，上傳至基站執行計算任務，用戶計算任務可由數據基站或控制基站執行，用戶可接入數據基站或者控制基站。用戶移動時間為500 s，分為50個時間切片，時間粒度為10 s。具體仿真參數如表1所示。

表1 多維度資源協同分配仿真參數

4.2 解決方案

首先，對比本文所提技術方案與傳統方案的性能。

方案一(傳統方案)：用戶在場景二中以某種規律移動，數據基站負責下轄用戶的計算任務，當數據基站沒有用戶接入時，該數據基站休眠。

方案二：強化學習算法生成資源分配方案，運行過程中不迭代優化。在具有某種用戶移動規律的場景一中訓練出強化學習模型A，場景二具有與場景一完全不同的用戶移動規律，將模型A用于場景二，不對模型A重訓練優化。

其次，為探索強化學習模型迭代優化頻次對系統性能的影響，選擇具有代表性的兩種方案，設計對比方案如下：

方案三(周期性迭代優化)：強化學習算法生成資源分配方案，運行過程中周期性接收訓練樣本并迭代優化。模型A用于場景二后，在用戶移動過程中，每2 min收集一次該段時間的用戶樣本，作為訓練樣本優化模型A得到模型B，模型B替換模型A作為策略生成模型產生資源調配策略，不斷迭代優化策略模型；

方案四(實時迭代優化)：強化學習算法生成資源分配方案，運行過程中實時接收訓練樣本并迭代優化。模型A用于場景二后，在用戶移動過程中，每生成一組用戶樣本即作為訓練樣本更新模型A，新模型替換舊模型作為策略生成模型產生資源調配策略，不斷迭代優化策略模型。

4.3 仿真結果分析

模擬了兩種用戶移動場景，如圖4所示，場景一中的用戶從左向右進行布朗運動，場景二中的用戶從外圍向中間聚攏。

DDPG算法在用戶移動場景一中訓練得到模型A，如圖5所示。經過500次的學習，模型A學習到了場景一中的用戶移動與業務規律。

(a) Scenario 1 T=0

圖5 模型A在用戶移動場景一中的收斂曲線

模型A并未學習到場景二中的用戶規律，將模型A用于用戶移動場景二，在用戶移動過程中，模型A不迭代，即方案二。方案一和方案二的性能結果如表2所示，每種方案進行了50組測試，每組測試中，用戶移動的趨勢不變，但軌跡有所變化，表中性能均為50次測試的均值?？梢钥闯?，方案一的用戶傳輸時延與能耗較高，固有能耗較低，這是由于方案一中用戶接入控制基站的情況更多。雖然所設計方案的基站執行時延較高，但總系統能耗低于傳統方案，節約了46.98%。

其次，觀察強化學習模型迭代優化頻次對系統性能的影響。分別對方案二～方案四進行了50組測試，性能結果如表2所示。

表2 業務性能與能耗對比

可以看出，方案四的用戶業務性能最優。方案四綜合優化了業務性能與系統能耗，智能模型周期優化的方案三次之。方案四的總系統能耗相較于方案三節約了74.65%，相較于方案二節約了44.64%。

綜上所述，所設計技術方案的用戶傳輸速率等與傳統方案各有優劣，但是用戶傳輸時延等業務性能優于傳統方案，系統能耗更低。隨著所設計方案迭代優化頻次的升高，業務性能有所提升，總系統能耗更低。

5 結論

本文給出了基站通算資源協同分配場景，詳細闡述了基站的控制信令與業務數據解耦機制，提出了一種6G基站通算資源協同分配方案，并對該方案的性能進行了評估。仿真實驗表明，所設計方案能大大降低系統能耗，相較于傳統方案，節約了46.98%的能耗。同時驗證了所設計方案的迭代優化頻次越高，系統能耗越低。