基于遷移深度強化學習的低軌衛星跳波束資源分配方案

陳前斌 麻世慶 段瑞吉 唐 倫 梁承超

(重慶郵電大學通信與信息工程學院 重慶 400065)

1 引言

寬帶衛星通信系統由于其通信覆蓋面廣、終端架設快捷、穩定性高等特點，是全球信息高速公路的重要組成部分，也是空天地一體化的重要發展方向。作為寬帶衛星通信系統的核心技術之一，多波束天線技術在波束成形和波束掃描方面具有高靈活性，目前已經廣泛應用于實際衛星通信系統。低軌道(Low Earth Orbit, LEO)衛星通信系統是近年來應用多波束天線技術的熱門衛星系統之一，也是未來空天地一體化的優化發展方向，對完善空天地一體化網絡具有重要作用[1]，LEO衛星網絡的進步也引起了工業界和學術界的廣泛關注[2,3]。傳統的LEO多波束技術平等分配帶寬資源和功率資源，該方案星載資源損耗大，資源利用率低，容易造成特定小區資源分配策略無法滿足通信需求。跳波束(Beam Hopping, BH)技術通過相控陣技術控制星載波束的空間指向，并靈活分配帶寬和發射功率，為衛星用戶動態分配通信資源[4]，因此BH技術可以用于LEO場景以增加衛星資源利用效率。

BH衛星系統相較于傳統衛星系統在資源分配方面能大幅度地提高系統性能和資源分配效率。文獻[5]利用遺傳算法通過時分復用的方式設計與各時隙業務需求相匹配的BH方案，并展示引入BH技術對多波束衛星系統性能優化的效果。文獻[6]提出一種聯合資源優化方案，該方案利用迭代算法設計功率控制和波束成形優化策略，不僅能滿足系統安全性要求，也大幅度提高資源分配效率?；贐H動態資源分配的思想，文獻[7]以最大化高軌衛星用戶性能公平性為目標，設計滿足信道容量限制下的波束跳變策略，保障了瓶頸用戶的通信質量。文獻[8,9]均在提出BH系統資源分配的數學模型基礎上，利用啟發式算法等傳統算法設計有效改善衛星前向鏈路的資源分配方案。為了降低傳統優化問題的復雜性，文獻[10]在BH資源分配上做了優化和改進，通過將雙變量優化問題分解為兩個單變量優化問題，有效地解決聯合優化問題。文獻[11,12]探索一種結合學習和優化的方法，為BH調度提供一種快速、可行和接近最優的解決方案，學習分量能夠大大加快BH模式選擇和分配的過程，而優化分量能保證解決方案的可行性，提高整體性能。

盡管現有研究在基于BH的資源分配方面已取得較好的成果，但仍然存在3個方面的問題：(1)現有的對BH的研究集中在高軌衛星，缺乏對LEO應用BH技術的可靠研究。(2)大多數基于BH的資源分配只關注系統的吞吐量，而LEO服務時間短暫，對業務的時延敏感，因此優化問題應側重考慮減小業務時延性能，使優化目標與系統特性相匹配。(3)由于在LEO環境下通信資源和通信需求劇烈變化，傳統的BH資源分配算法復雜度高、計算量大，無法直接使用于LEO上。

針對上述問題，本文提出一種基于深度強化學習(Deep Reinforcement Learning, DRL)的低軌衛星跳波束資源分配方案。本文主要的貢獻如下：(1)根據LEO場景特點，本文聯合星上緩沖信息、業務到達情況和信道狀態信息(Channel State Information, CSI)，以最小化衛星上數據包的平均排隊和傳輸時延為目標，建立了可靠的支持BH技術的LEO資源分配模型。(2)針對傳統BH圖案設計方法無法適應LEO場景的問題，本文考慮動態隨機變化的通信資源和通信需求，采用DRL算法，將衛星數據包緩存量、信道狀態重構為狀態空間，執行小區的波束調度、功率分配決策，根據小區數據包的積累量定義獎勵函數，使LEO資源分配過程更加自動化和智能化。(3)為了降低模型的訓練成本，使模型更好地適應LEO動態變化的環境，提出了一種新穎的遷移深度強化學習(Transfer Deep Reinforcement Learning, TDRL)模型，將遷移學習(Transfer Learning, TL)和DRL算法結合起來，根據TL的策略遷移特性，使新接入網絡的衛星在訓練初期擁有少量樣本的條件下，也能盡快取得最優資源分配方案，提高了算法的收斂速度。

2 系統模型

如圖1所示，本文支持BH的衛星系統包括低軌衛星、網絡控制中心、信關站和衛星用戶。LEO通過寬波束收集用戶信令，以統計不同小區的業務需求，星載處理器通過執行智能算法得出當前時刻波束調度和功率分配決策，完成對地面熱點終端的靈活資源分配。新接入LEO網絡的用戶數據可以通過衛星直接轉發給其他用戶或透明轉發至地面信關站，再由信關站通過地面網絡轉發數據，從而建立終端之間的通信鏈路。

圖1 基于跳波束的低軌衛星通信架構

2.1 天線模型

多波束天線輻射特性參考國際電信聯盟(International Telecommunication Union, ITU)的建議書ITU-S.672，該建議書給出了衛星單波束天線的輻射特性[13]，LEO天線輻射特性估算參考模型可以設定為

其中，θ為偏軸角，G(θ)為在該偏軸角下的天線增益大小；Gm為天線最大方向性的輻射效率，即天線最大增益，該數值與衛星天線硬件參數有關；θα為 半波束角；θβ為式中第3個等式等于0 dBi時的θ值。LEO衛星多波束模型可設置為由多個擁有該輻射特性的單波束組成，可計算任意時刻衛星對小區的天線增益。

2.2 信道模型

信道矩陣H包含低軌衛星前向鏈路預算信息和由于無線傳播引起的相位旋轉[12]。信道矩陣可以表示為

其中，矩陣Z代表信號通過不同傳播路徑所引發的相位變化，矩陣Z的具體表示為

其中，?x為 在區間[?π,π]上服從均勻分布的隨機變量。

2.3 前向鏈路模型

其中，hcn,ci(tj) 表示在時刻tj，覆蓋小區cj的波束到小區cn中心的信道增益，該數值可通過查詢信道矩陣得到；pci(tj)表 示在時刻tj， 覆蓋小區cn的波束發射功率；N0表 示噪聲功率譜密度；Bw為波束分配到的全帶寬。

在tj時刻，信道條件可以定義為H(tj)={hcn,ci(tj)|cn,ci ∈C}，由于低軌衛星相對于地面移動速度很快，導致信道條件hcn,ci(tj)也隨時間快速變化。將當前波束調度時刻與該數據包到達時刻的時間差定義為該數據包的排隊時延，傳輸時延可以通過數據包大小和小區信道容量計算得出。假設小區數據包的到達服從泊松過程，到達率用L(tj)={λcn(tj)|cn ∈C}表示，其中λcn(tj)表 示小區cn在時間段[tj,tj+1]的 數據包到達率，假設數據包pi在tpi時刻到達衛星緩沖區，若波束調度時間間隔足夠小，可令tpi ≈tj。F(tj)={fcn(tj)|cn ∈C}表示在tj時刻各小區緩沖區的所有數據包，因此fcn(tj)代表該時刻小區cn緩 沖區數據包集合。定義Tth為數據包最大排隊時延，即數據包必須在到達后的Tth時段內被傳輸，否則以最大時延作為該數據包的排隊時延。

假設所有數據包的傳輸過程遵循先到先服務的原則。衛星緩沖區中的數據包集合F(tj)僅由上一決策時刻的數據包集合F(tj?1)、波束調度決策X(tj?1)、 信道條件H(tj?1)、 功率分配情況P(tj?1)以及數據包到達率L(tj?1)決 定。因此，在tj時刻數據包的集合可以為式(6)表示

由于當前時刻的數據包集合F(tj)僅與上一時刻F(tj?1)相關，而與之前狀態無關，因此，數據包在緩沖區的累計過程具有馬爾可夫性。系統的吞吐量也可以根據前后波束調度時刻緩沖區&數據包的數量和當前時刻數據包到達率確定，小區cn在tj?1～tj時間段內的數據包吞吐量表示如式(7)所示

系統的總吞吐量也可以根據所有時刻緩沖區數據包的數量和數據包到達率確定，小區cn在總的時間段內的數據包吞吐量表示如式(8)所示

2.4 優化目標

通過動態的波束調度和功率分配，以最小化一段時間內每個小區數據包的平均時延。因此本文將最小化所有數據包的平均時延作為優化目標，而每個數據包的時延由排隊時延和傳輸時延組成。假定所有數據包的大小相等，且均為Mbit，如式(9)所示，排隊時延由包到達時刻與決策時刻的時間差決定，傳輸時延由數據包大小和該時刻小區的信道容量決定

波束調度X(tj)和 功率分配P(tj)作為當前時刻的決策變量，并且決策受到當前時刻其他條件影響，因此決策應該基于數據包集合F(tj?1)、波束調度決策X(tj?1)、 信道條件H(tj?1)、功率分配情況P(tj?1)以 及數據包到達率L(tj?1)。數據包平均時延的最小化數學模型如式(10)所示

其中，集合T={t1,t2,...,t|T|}表示在衛星覆蓋范圍內的所有決策時刻的集合，Ptot是星載總功率，表示小區的最小吞吐量要求，Tth表示最大容忍排隊時延。C1為最大波束數限制，保證獲得波束調度的小區個數不能超過星載有源波束數K；C2為星載資源限制，意味著所有波束的發射功率應在衛星最大星載功率要求之內；C3表示資源分配情況需滿足用戶服務質量(Quality of Service,QoS)限制，保證小區的總吞吐量不能低于吞吐量閾值，即滿足網絡的最低服務要求；C4保證衛星緩沖區每個數據包的排隊時延要在最大排隊時延之內；C5為波束調度狀態的二進制變量約束。

3 基于TL-DRL的LEO-BH方案

3.1 算法整體架構

圖2為本文設計的基于TL-DRL的LEO-BH系統架構圖。系統架構主要包括資源管理系統和LEO前向鏈路傳輸網絡。首先，LEO寬波束搜集用戶信令，統計用戶業務量，數據包在即將發往各個小區的衛星緩沖區里排隊；其次，監控器負責收集緩沖區隊列情況、CSI、星載資源來更新控制器參數；控制器則根據監控器信息執行相應的學習算法；最后，分配器根據控制器的配置參數進行波束動態智能調度和功率分配。

對于該系統架構來說，控制器是可進行優化的模塊，包含DRL和TL。DRL通過結合強化學習(Reinforcement Learning, RL)和深度學習(Deep Learning, DL)，完成系統特征的學習并智能地執行資源分配策略[14]。如圖2所示，控制器首先利用RL不斷與環境進行交互獲取樣本，再利用DL提取樣本特征，完成當前場景到資源分配策略的映射。再利用TL中的策略遷移加速智能體快速尋找最優資源分配策略，優化DRL算法的收斂性能。TL與DRL的結合可以優化系統訓練的過程，提高資源分配的效果。

圖2 基于TL-DRL的LEO-BH系統架構圖

3.2 MDP模型

由以上分析可知，小區緩沖區數據包的累計情況與上一時刻的數據包緩存量、波束調度情況、CSI、功率分配情況和數據包的到達率有關，因此數據包的變化過程具有馬爾可夫性，可以建模為馬爾可夫決策過程(Markov Decision Process,MDP)，將系統的狀態、動作和獎勵設定如下。

3.2.1 狀態

狀態能抽象地表征環境，也是智能體進行波束調度和功率分配的依據。對于特定的時刻，衛星的緩沖區情況F(tj) 和 信道條件H(tj)能直接影響波束調度決策X(tj)和 功率分配動作P(tj)，其中信道條件會影響被服務小區緩沖區數據包的發送速率。在DQN中，若將衛星中所有的小區信道狀態、功率分配和緩沖區數據包積累量等信息全部輸入到深度神經網絡(Deep Neural Network, DNN)中，網絡的負載量過大，影響智能體的學習效率，因此需合理定義狀態，但又不能遺失重要的環境信息。這里使用文獻[15]的狀態重構概念進行設計，設計規則和實例如下所示。

由于最大排隊時延Tth的限制，因此對于緩沖區fcn(tj)中 的任意一個數據包pi，其到達時間tpi一定處在時間間隔[tj ?Tth,tj]中。以當前的決策時刻tj為 起點，往前將Tth時間段分割成大小相等的多個部分，在每一個部分統計該時間段中緩沖包的積累量，該時間段中所有數據包的時延設置為與當前決策時刻tj的時間差。

如圖3所示為狀態重構實例，“× ”符號表示在某段相鄰的決策時刻之間ts到達特定小區的數據包，假定數據包的時延閾值Tth=9·ts，即分成9個部分。W矩陣與D矩陣分別表示數據包的個數與時延，其中W矩陣由不同時間段的F組成，即W(tj)=(F(tj?9),F(tj?8),...,F(tj?1))，相鄰時間段的數據包差異反映了各小區數據包到達率、波束調度情況和數據包處理速率等信息，數據包的處理速率又與當前時刻各小區信道條件H(tj)和功率分配情況P(tj) 有 關。因此，重構后的狀態W和D既能反映當前環境下的重要狀態信息，又大幅度地減少存儲狀態所需的空間。在該實例中，假設在時隙[tj?4,tj?3]到 達了1個數據包，將要發送給小區c2，則W(tj) 中 的w2,6(tj)為 1，D(tj) 矩 陣中的d2,6(tj)為4。

圖3 狀態重構過程

3.2.2 動作

智能體在觀察環境后，通過獲得相應的狀態S(tj)， 確定在該狀態下執行的動作A(tj)。由式(10)定義的時延最小化問題可知，決策組合應該是在滿足限制條件C1～C5的一組波束調度向量X(tj)和功率分配向量P(tj)。 所以可將動作空間A(tj)定義為式(12)

其中，xcn(tj) 代表第n個小區的波束調度情況，pcn(tj)代 表第n個小區能分配到的功率，當小區未獲得波束調度權限時，分配到的功率為0，則有

3.2.3 獎勵

獎勵是MDP中智能體采取動作后的即時反饋。對于式(10)定義的時延最小化問題，根據重構后的狀態，可以定義獎勵如式(16)所示

利用當前時刻W矩陣與D矩陣對應元素的乘積之和，該結果能反映衛星緩沖區所有小區的數據包從到達到當前時刻擬發送成功的時間差的和，即所有數據包時延的和，而將其相反數設定為當前時刻獎勵，滿足獎勵的定義要求，即當前的緩沖區數據包積累量越多，數據包的平均時延就越大，獲得獎勵就越小。

3.2.4 DQN網絡結構設計

在DRL中，深度Q網絡(Deep Q Network,DQN)是最受關注的算法之一，DQN使用非線性神經網絡來近似狀態-動作值函數，可以從高維數據中提取特征，并且DQN已廣泛應用于智能序貫決策問題中[16]。因此本文將LEO-BH資源分配算法轉化成一個深度Q學習過程，通過觀察當前網絡環境的狀態，選擇適當的資源分配決策以最小化系統的平均時延。在智能體觀測環境并得到狀態s(ti)后，立刻通過神經網絡得到基于當前狀態的決策動作a(ti)， 并 輸出 獎勵r(ti) 。Q網絡 完成 狀態s(ti)到 狀態-動作值的映射，經驗回放池負責存儲交互得到的4元組樣本，與目標網絡和自適應估計 (Adaptive moment estimation, Adam) 優化器共同作用以訓練Q網絡，提高神經網絡的擬合特性。

Q?(s,a)為 最優的Q值函數，通常情況下以遞歸方式獲取函數 (s(ti),a(ti),r(ti),s(ti+1),a(ti+1))，表示了在當前時刻ti下，系統處于s(ti)狀態，采取動作a(ti)并 得到即時獎勵r(ti)后，在下一時刻進入狀態s(ti+1) 并 有一定概率采取動作a(ti+1) ，Q值函數更新規則如式(18)所示

其中，α表示學習率，γ∈[0,1]是折扣因子，折扣因子反映了網絡對得到即時獎勵的期望程度。本文采用卷積神經網絡(Convolutional Neural Networks,CNN)來提取類像素矩陣，擬合Q值函數。為了打破數據間的關聯性和緩解非線性網絡中Q值函數出現的不穩定問題，利用經驗回放池存儲獲取到的4元組樣本，并隨機抽取小批量樣本數據進行訓練，通過存儲加采樣的方法將數據關聯性打破，使訓練更加穩定。

如圖4所示，深度神經網絡由輸入層、兩層卷積層、3層全連接層和輸出層構成。網絡的輸入是當前時刻狀態重構后的時延矩陣和緩沖區數據包滯留矩陣，然后利用CNN提取類像素矩陣的特征，展開并作為全連接層的輸入。全連接層擁有“分類器”的功能，能增加系統模型的非線性表達能力。同時，為降低全連接層節點間相互依賴性，防止神經網絡出現過擬合現象，在全連接層上采用隨機失活策略[17]。

圖4 深度神經網絡模型

在Q網絡訓練時需要計算損失函數，損失函數用于評價目標網絡和估值網絡的差距，引導下一步訓練的正確方向，因此損失函數最小也表明算法達到意義上的最優[14]。本文將損失函數定義為

需要通過抽取的4元組樣本計算當前估值網絡的梯度dw，再使用Adam算法[18]更新參數w

Vdw和Sdw分別表示指數加權平均數和平方數指數加權平均數，為了防止初始化權重更新出現偏差，利用式(23)和式(24)計算該兩個平均數的無偏估計，完成對偏差的修正[18]

3.2.5 基于TL-DQN的低軌衛星跳波束方案

LEO雖然可以通過DRL算法采取最佳的資源分配動作，但對于新接入LEO網絡的衛星(智能體)來說，雖然與其他衛星覆蓋同一片區域，但仍然需要重新與LEO網絡環境交互獲取新的樣本并重新訓練DQN模型，以此來得到當前衛星的最優波束調度和功率分配策略。由于低軌衛星對地移動速度過快，較長的訓練過程必定減少系統的有效服務時間，降低資源優化性能，且若每一個新接入網絡的衛星都需要獨立重新訓練模型，這無疑增加了系統的訓練成本，因此已有關于如何加快DRL算法訓練速度的文獻研究[19,20]。

其中，ζt=ηt為遷移率，η∈(0,1)為相應的遷移率因子，隨著時間的推移和訓練次數的增加，遷移率會越來越小。不同取值的遷移率因子會影響系統的遷移率減小速率，即會對遷移學習過程的策略遷移比例。在學習剛開始階段，源衛星策略(s(ti),a(ti))在整體策略中占主導地位，源衛星策略的存在有較大概率促使系統選擇源任務中狀s(ti)態的最優動作，然而隨著學習時間的推移，源衛星策略對整體策略的影響逐漸變小，這是因為盡管源任務與目標任務相似，但仍然存在差異，例如在不同的時刻，源衛星網絡觀測到的狀態與目標衛星網絡觀測到的狀態一致，但由于衛星處于不同位置，信道條件和各小區需求量也不同，目標衛星應更積極地尋求匹配當前網絡環境的最優資源分配策略。因此該TLDQN系統不僅能利用源衛星網絡學習到的經驗知識，也能逐漸消除外來策略的消極影響。最后，將TL-DQN算法總結在算法1中。

算法1 基于TL-DQN的低軌衛星跳波束方案

4 性能仿真與分析

4.1 參數設置

為了評估模型和算法的有效性，針對LEOBH技術進行了實驗仿真。場景設計如下：待服務區域的大小為6670× 6670 km2，并且被劃分成49個規模相等的小區，衛星網絡包括既定軌道和一個擁有7個點波束的LEO衛星組成。仿真場景的其余物理參數參考銥星系統[21]，其中，數據包大小均值設置為M=50 kbit，數據包到達服從泊松分布且到達率(包/s)范圍為：λcn(t)∈[1,21]。仿真場景具體參數設置如表1所示。

表1 低軌衛星場景設置參數

本文的算法采用TL-DQN算法來解決多波束低軌衛星網絡中波束調度和功率分配問題，因此還需要對神經網絡的參數進行訓練，表2即TL-DQN算法的參數設置。經驗回放池存儲神經網絡的樣本來源于智能體與環境交互所感知到的數據，若容量過小，則會丟棄部分經驗樣本以至于訓練不穩定，本文將經驗池的容量設置為5000。當前Q網絡每次進行訓練時，會隨機獲取經驗池中的10組數據進行訓練，并且每100步更新目標Q網絡的參數值。由于Adam的系統時延收斂值明顯低于其他優化器且震蕩幅度更小，因此本文選擇Adam優化器對參數向量進行改進。神經網絡的探索概率ε代表智能體隨機選取動作的概率，探索概率過大或過小都不利于網絡的訓練，因此本文使用動態的探索概率[22]，其表達式滿足：

表2 TL-DQN算法參數設置

為了驗證加入遷移學習后的DQN算法在收斂系統時延和收斂速度的性能優越性，需要設置不同遷移率，遷移率因子滿足η ∈{0,0.2,0.5}，其中η=0時表示未使用遷移學習。

4.2 性能分析

4.2.1 算法收斂性能

圖5展示了不同的遷移率因子收斂系統平均隊列時延的結果。由該結果可以看出，TL-DQN算法的收斂速率優于DQN算法，同時，TL-DQN算法的穩定平均隊列時延均低于DQN算法。隨著遷移率因子的增大，系統受到遷移過程的影響程度增大，TL-DQN算法的收斂速度越快，且最終收斂的效果也越好。當遷移率因子η=0.5時，TL-DQN算法所達到的系統的平均隊列時延相較于DQN算法降低了約13.23%。

4.2.2 系統性能

為了更好地體現本文基于TL-DQN算法的低軌衛星跳波束方案在各個小區擁有不同業務需求量的條件下時延和吞吐量上的優越性，本文將所提算法與輪詢調度算法(Round-Robin Scheduling, RRS)和最大隊列優先算法(Max Queue First, MQF)進行了比較。圖6展示了在不同小區業務需求規律變化的情況下，不同算法的時隙分配個數、業務處理情況和包的平均時延。圖6(a)描述了不同算法在低軌衛星服務用戶的6000個時隙內，不同小區的時隙獲得情況，其中RRS算法小區間的時隙分配差異不大，MQF算法則會根據當前決策時刻的小區隊列情況分配時隙，TL-DQN算法根據當前的隊列情況，信道狀態和功率分配情況構建狀態矩陣，通過神經網絡得到小區的波束調度決策和功率分配情況，決定了小區獲得的時隙情況。圖6(b)描述了不同算法的業務處理情況，即小區吞吐率和QoS的滿足情況，可以看出TL-DQN算法在滿足小區QoS的前提下，大幅度地提高了熱點區域的業務處理性能，實現了資源的有效利用，TL-DQN算法、RRS算法和MQF算法的QoS滿足率為100%, 38.8%,71.4%，平均業務處理量分別超出QoS需求97.1%,0.4%, 27.6%。圖6(c)展示了不同算法下不同小區的包平均時延，結果表示TL-DQN算法小區的總體包時延明顯低于RRS算法和MQF算法，由于在RRS算法和MQF算法中，存在需求量較低的小區獲得更多的調度時隙，因此可以解釋TL-DQN算法有少量小區的包平均時延較高，但總體來說，TL-DQN各個小區的平均時延相較于RRS算法和MQF算法降低了28.15%和19.56%。

圖6 小區需求規律變化下系統性能展示圖

為了更直觀地衡量TL-DQN算法的優化程度，現研究不同業務到達率對系統吞吐量、包平均時延的影響。圖7描述了在業務非均勻分布的情況下，系統吞吐量和包平均時延與系統平均業務到達率的關系?？梢钥闯?，隨著系統業務到達率的增大，待處理的數據包增多，系統的總吞吐量會增大，且由于隊列的積累量變大，包平均時延也會變大。進一步地，可以看出TL-DQN算法的系統總吞吐量和包平均時延均優于RRS算法和MQF算法，且在業務到達率逐漸增大的情況下，性能惡化速度較慢。

圖7 系統性能與業務到達率關系圖

5 結束語

本文研究了低軌衛星波束調度和資源分配問題，通過將以最小化平均數據包時延為優化目標的隨機優化問題轉化為深度強化學習過程。本算法聯合星上緩沖信息、業務到達情況和CSI，將各個小區數據包緩存情況、平均時延作為狀態空間，協助低軌衛星快速、智能地執行小區波束調度、功率分配動作。進一步地，利用TL的算法特點，設置策略更新方式，加快DQN算法的收斂過程并提高收斂效果。仿真結果表明，TL-DQN算法在滿足最低QoS需求的情況下能夠實現包平均時延最小化，也有效地提高了系統的吞吐量。