基于非穩(wěn)態(tài)MAB 的LEO 衛(wèi)星跳波束時(shí)隙分配算法

林敏，闞鵬程，趙柏，程銘，楊綠溪

（1.南京郵電大學(xué)通信與信息工程學(xué)院，江蘇 南京 210003；2.東南大學(xué)信息科學(xué)與工程學(xué)院，江蘇 南京 211189）

0 引言

針對(duì)6G 網(wǎng)絡(luò)中“泛在連接”的技術(shù)愿景，衛(wèi)星通信因其通信覆蓋范圍大、不受地理?xiàng)l件限制、組網(wǎng)靈活等優(yōu)點(diǎn)，被產(chǎn)業(yè)界和學(xué)術(shù)界認(rèn)為是實(shí)現(xiàn)6G技術(shù)愿景的一種重要的通信方式[1]。在衛(wèi)星通信中，低地球軌道（LEO,low earth orbit）衛(wèi)星通信憑借其傳輸時(shí)延短、建設(shè)成本相對(duì)較低等特點(diǎn)，在近幾年得到了較多的關(guān)注和發(fā)展[2]。隨著SpaceX、OneWeb等公司低軌衛(wèi)星星座建設(shè)計(jì)劃的提出與實(shí)施，以及我國(guó)低軌衛(wèi)星互聯(lián)網(wǎng)星座的研究和部署，LEO 衛(wèi)星通信成為衛(wèi)星通信領(lǐng)域研究的焦點(diǎn)。

跳波束（BH,beaming hopping）技術(shù)以業(yè)務(wù)需求為驅(qū)動(dòng)，通過(guò)在同一時(shí)刻只激活部分波束覆蓋相應(yīng)的地面小區(qū)，實(shí)現(xiàn)系統(tǒng)資源的合理分配和靈活調(diào)度，一經(jīng)提出便得到了廣泛的關(guān)注和研究[3-4]。文獻(xiàn)[5-6]綜合考慮了跳波束系統(tǒng)中波束重訪時(shí)間和分簇尺寸等因素，以n階差分容量最小化為目標(biāo)建立相應(yīng)的優(yōu)化問(wèn)題，采用凸優(yōu)化方法求解得到時(shí)隙分配結(jié)果，并通過(guò)時(shí)隙分配進(jìn)一步緩解了多波束衛(wèi)星的同頻干擾問(wèn)題。然而，該方法采用離線靜態(tài)資源分配，并不能很好地適應(yīng)用戶業(yè)務(wù)需求動(dòng)態(tài)變化的場(chǎng)景。文獻(xiàn)[7]則基于貪婪算法根據(jù)用戶業(yè)務(wù)的需求分布靈活地分配星載資源，但是該算法未考慮服務(wù)公平性問(wèn)題。文獻(xiàn)[8]則在保證每個(gè)波束服務(wù)公平性的前提下，建立了最小化實(shí)時(shí)性服務(wù)數(shù)據(jù)包時(shí)延以及最大化非實(shí)時(shí)性服務(wù)數(shù)據(jù)包吞吐量的多目標(biāo)優(yōu)化問(wèn)題，并基于深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)了該多目標(biāo)優(yōu)化問(wèn)題的動(dòng)態(tài)求解。該方法雖然能很好地適應(yīng)用戶業(yè)務(wù)需求動(dòng)態(tài)變化的場(chǎng)景，但仍然存在學(xué)習(xí)模型復(fù)雜度較高、對(duì)計(jì)算資源需求較高的問(wèn)題。

多臂賭博機(jī)（MAB,multi-armed bandit）模型作為強(qiáng)化學(xué)習(xí)中實(shí)現(xiàn)探索和利用平衡的一類(lèi)經(jīng)典模型，因其具有在未知環(huán)境信息條件下也能實(shí)現(xiàn)動(dòng)態(tài)優(yōu)化的特點(diǎn)，在信道選擇、推薦系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用[9-11]。傳統(tǒng)的MAB 模型依賴于平穩(wěn)的獎(jiǎng)勵(lì)分布，文獻(xiàn)[12]進(jìn)一步研究了非穩(wěn)態(tài)MAB 模型并提出了相應(yīng)的求解算法，并且通過(guò)理論和實(shí)踐證明，該求解算法能在保證收斂性的情況下很好地應(yīng)用于獎(jiǎng)勵(lì)分布未知且隨時(shí)間動(dòng)態(tài)變化的場(chǎng)景，同時(shí)相比于深度強(qiáng)化學(xué)習(xí)等人工智能算法，其對(duì)計(jì)算資源的需求更低。

本文考慮LEO 跳波束衛(wèi)星系統(tǒng)中地面小區(qū)業(yè)務(wù)需求分布不均以及動(dòng)態(tài)變化的場(chǎng)景，在滿足小區(qū)業(yè)務(wù)需求量的基礎(chǔ)上建立以二階差分容量為目標(biāo)的最小化問(wèn)題。由于小區(qū)業(yè)務(wù)需求的時(shí)變性，所建立的優(yōu)化問(wèn)題難以直接求解，因此本文首先提出波束等級(jí)組合方案生成算法以生成所有可能的波束等級(jí)組合方案；然后在固定波束等級(jí)組合方案的情況下，通過(guò)非穩(wěn)態(tài)MAB 模型完成時(shí)隙的動(dòng)態(tài)分配；最后以二階差分容量最小化為準(zhǔn)則選擇最優(yōu)波束等級(jí)組合方案，從而完成時(shí)隙分配與波束等級(jí)匹配的聯(lián)合優(yōu)化。由仿真結(jié)果可知，與單一等級(jí)方案和單一波束方案相比，本文算法能夠進(jìn)一步降低跳波束系統(tǒng)業(yè)務(wù)處理的歸一化平均冗余度；同時(shí)相比于其余的時(shí)隙分配方案，本文算法在總業(yè)務(wù)需求量變化的同時(shí)能達(dá)到較高的系統(tǒng)吞吐量，并保持相對(duì)較低的波束平均重訪時(shí)間。

1 系統(tǒng)模型

如圖1 所示，本文研究LEO 跳波束衛(wèi)星通信系統(tǒng)的前向鏈路傳輸場(chǎng)景，它由網(wǎng)絡(luò)控制中心、配備跳波束控制器的LEO 衛(wèi)星和地面小區(qū)組成，并采用兼容DVB-S2/S2X 協(xié)議的跳波束工作方式。綜合考慮LEO 衛(wèi)星所處的軌道高度以及移動(dòng)性，本文將LEO 衛(wèi)星在飛行過(guò)程中的總體覆蓋區(qū)域劃分為不同的觀察窗口，并且在每個(gè)觀察窗口內(nèi)能夠服務(wù)N個(gè)地面小區(qū)。為了提高系統(tǒng)的頻譜利用效率，LEO 衛(wèi)星在當(dāng)前觀察窗口內(nèi)以全頻率復(fù)用的方式同時(shí)生成K個(gè)點(diǎn)波束服務(wù)N個(gè)小區(qū)。由于星載資源較有限，在跳波束衛(wèi)星通信系統(tǒng)中通常假設(shè)點(diǎn)波束數(shù)目遠(yuǎn)小于小區(qū)數(shù)目，即K?N。基于上述的LEO衛(wèi)星跳波束通信場(chǎng)景，本文將分別詳細(xì)介紹小區(qū)業(yè)務(wù)模型、信道模型以及分等級(jí)波束模型。

圖1 LEO 跳波束衛(wèi)星通信系統(tǒng)模型

假設(shè)跳波束衛(wèi)星通信系統(tǒng)的跳波束周期為T(mén)W，而衛(wèi)星在跳波束周期內(nèi)的每個(gè)時(shí)隙以數(shù)據(jù)包的形式向地面小區(qū)提供業(yè)務(wù)數(shù)據(jù)，且數(shù)據(jù)包大小均為Xbit/s。同時(shí)假設(shè)各個(gè)小區(qū)在t時(shí)隙到達(dá)的數(shù)據(jù)包個(gè)數(shù)為A(t)=[a1(t),a2(t),…,aN(t)]T，其中數(shù)據(jù)包的到達(dá)數(shù)量an(t)服從均值為λn(n=1,2,…,N)的泊松分布，則在該觀察窗口中各個(gè)小區(qū)在一個(gè)跳波束周期內(nèi)的業(yè)務(wù)需求量為

此外，各小區(qū)數(shù)據(jù)包達(dá)到后若不能及時(shí)處理則進(jìn)入緩沖區(qū)隊(duì)列等待，并將t時(shí)隙的緩沖區(qū)數(shù)據(jù)量表示為

在傳統(tǒng)的跳波束衛(wèi)星通信系統(tǒng)中，其單波束業(yè)務(wù)數(shù)據(jù)處理能力較固定，這可能會(huì)導(dǎo)致在跳波束時(shí)隙分配過(guò)程中存在以下2 種固有問(wèn)題。1)當(dāng)某些小區(qū)的業(yè)務(wù)需求量較大以至于接近甚至超過(guò)了單波束最大業(yè)務(wù)數(shù)據(jù)處理能力時(shí)，便需要衛(wèi)星波束長(zhǎng)期照射這些小區(qū)，這會(huì)導(dǎo)致其他小區(qū)業(yè)務(wù)處理不及時(shí)、數(shù)據(jù)包等待時(shí)延過(guò)長(zhǎng)；2) 當(dāng)某幾個(gè)相鄰小區(qū)的總業(yè)務(wù)需求量較低時(shí)，如果仍然使用單一等級(jí)波束在這些小區(qū)間進(jìn)行跳變，則會(huì)占用過(guò)多的跳波束時(shí)隙，導(dǎo)致其余小區(qū)的業(yè)務(wù)需求量難以得到滿足。針對(duì)上述問(wèn)題，本文采用波束分級(jí)方法來(lái)進(jìn)一步提高跳波束LEO 衛(wèi)星通信系統(tǒng)的資源利用率[13-14]。具體來(lái)講，本文考慮采用3 種等級(jí)的波束處理小區(qū)的業(yè)務(wù)數(shù)據(jù)包，如圖2 所示。

圖2 分等級(jí)波束示意

本文考慮3 種等級(jí)的波束，并分別記為L(zhǎng)1、L2和L3。其中，L1等級(jí)波束覆蓋1 個(gè)小區(qū)，L2等級(jí)波束覆蓋7 個(gè)小區(qū)，L3等級(jí)波束覆蓋19 個(gè)小區(qū)。綜合考慮分等級(jí)波束增益差異性、衛(wèi)星信號(hào)傳播過(guò)程中的自由空間傳輸損耗以及雨衰等因素的影響，衛(wèi)星下行信道可建模為[14]

圖3 波束3 dB 角度計(jì)算示意

根據(jù)式(3)可以得出t時(shí)隙被Li等級(jí)波束k服務(wù)的小區(qū)n的輸出信干噪比（SINR,signal to interference plus noise ratio）表達(dá)式為

其中，PT表示衛(wèi)星發(fā)射功率；σ2=κTnoiseW表示噪聲功率，其中κ、Tnoise和W分別表示玻耳茲曼常數(shù)、噪聲溫度和載波帶寬；In(t)表示該小區(qū)在當(dāng)前時(shí)隙受到來(lái)自其他被照射小區(qū)的同頻干擾，其具體表達(dá)式為

其中，K為當(dāng)前工作的波束集合，為波束k'服務(wù)的小區(qū)集合。進(jìn)一步地，可以得到t時(shí)隙針對(duì)被照射小區(qū)n的數(shù)據(jù)包處理能力為

于是小區(qū)n經(jīng)過(guò)一個(gè)跳波束周期后的總業(yè)務(wù)數(shù)據(jù)處理量為

2 問(wèn)題建立與求解

2.1 問(wèn)題建立

由小區(qū)業(yè)務(wù)模型和分等級(jí)波束模型可知，當(dāng)部分小區(qū)業(yè)務(wù)數(shù)據(jù)量需求量較大時(shí)，應(yīng)盡量采用L1等級(jí)波束以盡可能滿足其業(yè)務(wù)需求；當(dāng)部分小區(qū)業(yè)務(wù)數(shù)據(jù)量較小時(shí)，可考慮優(yōu)先采用L2等級(jí)波束或L3等級(jí)波束對(duì)這部分小區(qū)進(jìn)行合并，從而將更多的時(shí)隙資源分配給其余業(yè)務(wù)需求量較大的小區(qū)。因此，需要通過(guò)聯(lián)合優(yōu)化時(shí)隙分配與波束等級(jí)匹配以盡可能滿足各小區(qū)在一個(gè)跳波束周期內(nèi)的業(yè)務(wù)需求，本文以二階差分容量最小化為目標(biāo)函數(shù)，建立如下形式的聯(lián)合優(yōu)化問(wèn)題

其中，C1 限定了每個(gè)小區(qū)的波束等級(jí)選取范圍；C2 限定了時(shí)隙分配矩陣中每個(gè)元素的取值范圍；C3 中表示小區(qū)n選擇的Li等級(jí)波束所覆蓋的小區(qū)數(shù)目，因此C3 表示在同一時(shí)隙服務(wù)地面小區(qū)的波束數(shù)不能超過(guò)多波束衛(wèi)星的最大波束數(shù)目。

由于該問(wèn)題為非線性整數(shù)規(guī)劃問(wèn)題，且由于小區(qū)業(yè)務(wù)需求的動(dòng)態(tài)變化，直接求解該問(wèn)題將變得十分困難。因此本文首先提出波束等級(jí)組合方案生成算法以生成所有可能的波束等級(jí)組合方案；然后在固定波束等級(jí)組合方案的情況下，通過(guò)非穩(wěn)態(tài)MAB模型完成時(shí)隙的動(dòng)態(tài)分配；最后根據(jù)二階差分容量最小化為準(zhǔn)則選擇最優(yōu)波束等級(jí)組合方案，從而完成時(shí)隙分配和波束等級(jí)匹配的聯(lián)合優(yōu)化。

2.2 波束等級(jí)組合方案生成算法

由于跳波束周期通常較短，且LEO 衛(wèi)星過(guò)境時(shí)間有限，因此為了避免LEO 衛(wèi)星波束等級(jí)的頻繁切換，本文假設(shè)在一個(gè)跳波束周期中，每個(gè)小區(qū)只可以固定選擇一種等級(jí)的波束。基于該假設(shè)，本文提出一種波束等級(jí)組合方案的生成算法以生成各個(gè)小區(qū)在一個(gè)跳波束周期內(nèi)所有可能的波束等級(jí)組合，從而為后續(xù)的動(dòng)態(tài)時(shí)隙分配提供先驗(yàn)知識(shí)。

首先考慮2 種特殊波束等級(jí)組合方案，即單一等級(jí)方案和單一波束方案。在這2 種方案中，各個(gè)小區(qū)在一個(gè)跳波束周期內(nèi)均采用同一種波束等級(jí)（L1等級(jí)或L3等級(jí)），不存在多種波束等級(jí)并存的場(chǎng)景，此時(shí)，退化為傳統(tǒng)的跳波束時(shí)隙分配問(wèn)題或單波束場(chǎng)景。

然后考慮更一般的情況，即部分小區(qū)選擇L2等級(jí)波束，而部分小區(qū)選擇L1等級(jí)波束。此時(shí)對(duì)波束等級(jí)組合方案的分析將變得復(fù)雜，因?yàn)楸M管在一個(gè)跳波束周期中各個(gè)小區(qū)只能選擇一種等級(jí)的波束，但是小區(qū)對(duì)L2等級(jí)波束的選擇可能在不同時(shí)隙上存在重疊，如圖4 所示。

圖4 混合波束等級(jí)示意

從圖4 可知，從單個(gè)時(shí)隙來(lái)看，當(dāng)1～7 號(hào)小區(qū)選擇L2等級(jí)波束時(shí)，其余小區(qū)均只可以選擇L1等級(jí)波束。從整個(gè)跳波束周期來(lái)看，12～14 號(hào)小區(qū)對(duì)應(yīng)的波束等級(jí)依然有可能為L(zhǎng)2等級(jí)波束，因?yàn)樗鼈兊牟ㄊc1～7 號(hào)小區(qū)對(duì)應(yīng)的波束并不在同一個(gè)時(shí)隙被照射。因此，該波束等級(jí)組合方案依然是可行的。波束等級(jí)組合方案生成算法首先要處理混合波束等級(jí)在不同時(shí)隙下的重疊問(wèn)題。對(duì)此，本文首先提出關(guān)鍵小區(qū)和有效關(guān)鍵小區(qū)的概念。

關(guān)鍵小區(qū)為可能處于波束覆蓋中心且波束等級(jí)的選擇將影響周?chē)^(qū)波束等級(jí)選擇的小區(qū)。以圖4 為例，當(dāng)1 號(hào)小區(qū)在一個(gè)跳波束周期內(nèi)對(duì)應(yīng)的波束等級(jí)為L(zhǎng)2等級(jí)時(shí)，可以通過(guò)L2等級(jí)波束覆蓋方式得出，其周?chē)?～7 號(hào)小區(qū)將至少有3 個(gè)小區(qū)選擇L2等級(jí)波束，并且1 號(hào)小區(qū)可以處在波束覆蓋中心，因此認(rèn)為1 號(hào)小區(qū)為關(guān)鍵小區(qū)。同理，2～7 號(hào)小區(qū)均可作為關(guān)鍵小區(qū)。

有效關(guān)鍵小區(qū)為在一個(gè)跳波束周期中能夠處于波束覆蓋中心的關(guān)鍵小區(qū)。仍然以圖4 為例，盡管1～7 號(hào)小區(qū)為關(guān)鍵小區(qū)，但是在圖4 所示的波束等級(jí)組合方案中，有效關(guān)鍵小區(qū)只有1 號(hào)小區(qū)和4 號(hào)小區(qū)，因?yàn)樗鼈冊(cè)谝粋€(gè)跳波束周期中能夠處于波束覆蓋中心。

通過(guò)有效關(guān)鍵小區(qū)的概念可知，圖4 中重疊問(wèn)題來(lái)自在一個(gè)跳波束周期中選擇了2 個(gè)關(guān)鍵小區(qū)，同時(shí)也可以借此計(jì)算出混合了L2等級(jí)波束的所有可能的波束等級(jí)組合方案的數(shù)量。具體來(lái)講，當(dāng)有效關(guān)鍵小區(qū)數(shù)量為1 時(shí)，可能的波束組合方案數(shù)量為對(duì)應(yīng)的7 種方案分別是1～7 號(hào)小區(qū)各自作為選擇L2等級(jí)波束的有效關(guān)鍵小區(qū)，而其余小區(qū)選擇L1等級(jí)波束。因此通過(guò)改變有效關(guān)鍵小區(qū)的數(shù)量，可以得出混合了L2等級(jí)波束的所有可能的波束組合方案的數(shù)量應(yīng)為

本文提出的波束等級(jí)組合方案生成算法的基本流程如下。首先，確定有效關(guān)鍵小區(qū)集合C以及集合元素個(gè)數(shù)M；然后，依次從集合C中選取1 個(gè)元素、2 個(gè)元素等，直到M個(gè)元素全部被取出，并根據(jù)每次選取結(jié)果確定其余小區(qū)的波束等級(jí)組合；最后，將所有波束等級(jí)組合匯總，得出所有的波束組合方案集合S。需要說(shuō)明的是，盡管前文在引入關(guān)鍵小區(qū)時(shí)以混合了L2等級(jí)波束小區(qū)的情況為例，但是通過(guò)改變有效關(guān)鍵小區(qū)集合C中的元素，該算法仍然適用于前文所述的2 種特殊波束組合方案的生成。該算法流程如算法1 所示。

算法1波束等級(jí)組合方案生成算法

初始化有效關(guān)鍵小區(qū)集合C，集合C元素?cái)?shù)量M，波束等級(jí)組合方案集合S

2.3 動(dòng)態(tài)時(shí)隙分配算法

當(dāng)生成波束等級(jí)組合方案集合S后，本節(jié)將針對(duì)集合S中的每個(gè)具體波束等級(jí)組合方案s進(jìn)行跳波束時(shí)隙分配。由于小區(qū)業(yè)務(wù)需求量是動(dòng)態(tài)變化的，因此傳統(tǒng)的凸優(yōu)化求解方法將不再適用。本文提出基于非穩(wěn)態(tài)MAB 模型的求解算法。與傳統(tǒng)MAB 模型類(lèi)似，在非穩(wěn)態(tài)MAB 模型的動(dòng)作空間中也包含多個(gè)搖臂，而玩家每次只能從動(dòng)作空間中選擇一個(gè)搖臂，并獲得相應(yīng)的獎(jiǎng)勵(lì)。因此，在正式求解非穩(wěn)態(tài)MAB 模型之前，應(yīng)首先定義該模型的動(dòng)作空間以及獎(jiǎng)勵(lì)設(shè)置，具體如下。

1) 動(dòng)作空間

當(dāng)固定一種波束等級(jí)組合方案后，動(dòng)作空間為該方案下所有跳波束圖案構(gòu)成的集合，每種跳波束圖案對(duì)應(yīng)該動(dòng)作空間中的一個(gè)動(dòng)作（搖臂）。以圖5 為例，假設(shè)本文選擇的波束等級(jí)組合方案為1～7 號(hào)小區(qū)在整個(gè)跳波束周期內(nèi)選擇L2等級(jí)波束，而其余小區(qū)選擇L1等級(jí)波束，同時(shí)假設(shè)每個(gè)時(shí)隙可同時(shí)服務(wù)的最大波束數(shù)量K=3，則圖5(a)～圖5(c)均為該波束等級(jí)組合方案下可能的3 種跳波束圖案，該波束等級(jí)組合方案下所有可能的跳波束圖案數(shù)量應(yīng)為種，即從8～19 號(hào)小區(qū)中任選2 個(gè)L1等級(jí)波束小區(qū)與1～7 號(hào)小區(qū)相組合的組合數(shù)量。

圖5 動(dòng)作空間示例

2) 獎(jiǎng)勵(lì)設(shè)置

獎(jiǎng)勵(lì)設(shè)置直接影響非穩(wěn)態(tài)MAB 模型的決策效果。考慮到跳波束時(shí)隙分配的基本要求是盡可能滿足每個(gè)小區(qū)的實(shí)際業(yè)務(wù)需求，因此本文的獎(jiǎng)勵(lì)設(shè)置將圍繞小區(qū)實(shí)際業(yè)務(wù)需求量和數(shù)據(jù)包處理量來(lái)展開(kāi)。具體來(lái)講，假設(shè)所選定的動(dòng)作空間中包含Q個(gè)搖臂，且在t時(shí)隙選擇了第q個(gè)搖臂，且該搖臂中包含的小區(qū)n的當(dāng)前緩沖區(qū)數(shù)據(jù)包個(gè)數(shù)為φn（t），同時(shí)該小區(qū)新到達(dá)數(shù)據(jù)包個(gè)數(shù)為an(t)，且在當(dāng)前搖臂下計(jì)算出該小區(qū)的數(shù)據(jù)包處理能力為，則針對(duì)該小區(qū)的瞬時(shí)獎(jiǎng)勵(lì)的具體表達(dá)式為

其中，β為大于 1 的乘性系數(shù)；Cn=為該小區(qū)在當(dāng)前動(dòng)作空間下的參考數(shù)據(jù)包處理能力。同時(shí)，由于單個(gè)搖臂通常包含多個(gè)小區(qū)，因此需要進(jìn)一步對(duì)這些小區(qū)的瞬時(shí)獎(jiǎng)勵(lì)求平均以得到該搖臂的歸一化動(dòng)作獎(jiǎng)勵(lì)，則第q個(gè)搖臂在t時(shí)隙的獎(jiǎng)勵(lì)表達(dá)式為

其中，Numq表示該搖臂包含的小區(qū)數(shù)量。

3) 非穩(wěn)態(tài)MAB 模型的求解

首先，給定動(dòng)作空間A，該動(dòng)作空間包含的搖臂數(shù)量為QA，則基于前文的獎(jiǎng)勵(lì)設(shè)置，通過(guò)折扣上界置信區(qū)間（D-UCB,discounted upper confidence bound）算法進(jìn)行非穩(wěn)態(tài)MAB 決策，從而得出該動(dòng)作空間下的時(shí)隙分配方案[12]。

具體來(lái)講，首先，在t時(shí)隙計(jì)算出該動(dòng)作空間下第q個(gè)搖臂的折扣期望獎(jiǎng)勵(lì)為

2.4 最優(yōu)波束等級(jí)組合方案選擇

利用D-UCB 算法可得出給定動(dòng)作空間下的最優(yōu)時(shí)隙分配方案。在這之前，需要選擇最優(yōu)動(dòng)作空間以確定最優(yōu)波束等級(jí)組合方案。本節(jié)考慮以二階差分容量最小化為準(zhǔn)則選擇最優(yōu)波束等級(jí)組合方案。具體流程如下。首先，從波束等級(jí)組合方案集合S中選擇一種波束等級(jí)組合方案s；然后，基于非穩(wěn)態(tài)MAB 模型完成該方案下的時(shí)隙分配；接著，根據(jù)時(shí)隙分配結(jié)果計(jì)算方案s下小區(qū)業(yè)務(wù)需求量和實(shí)際處理量的二階差分容量，即最后，選擇二階差分容量最小的方案作為最優(yōu)波束等級(jí)組合方案，從而完成時(shí)隙分配與波束等級(jí)匹配的聯(lián)合優(yōu)化。

考慮到不同波束等級(jí)組合方案s下的時(shí)隙分配是互相獨(dú)立的，因此可以并行執(zhí)行動(dòng)態(tài)時(shí)隙分配。最終，可將本文所提時(shí)隙分配和波束等級(jí)聯(lián)合優(yōu)化算法流程總結(jié)為圖6。

圖6 時(shí)隙分配和波束等級(jí)匹配聯(lián)合優(yōu)化算法流程

3 仿真結(jié)果與分析

3.1 場(chǎng)景和參數(shù)設(shè)置

本文采用的仿真工具為MATLAB R2022a，并且在仿真時(shí)，假設(shè)LEO 衛(wèi)星工作于Ka 頻段，覆蓋區(qū)域內(nèi)包含19 個(gè)小區(qū)。其余仿真參數(shù)如表1 所示。

表1 仿真參數(shù)

3.2 仿真結(jié)果與分析

在進(jìn)行仿真結(jié)果分析之前，本文先引入以下性能評(píng)估指標(biāo)。

系統(tǒng)吞吐量。每輪實(shí)驗(yàn)中傳輸?shù)臄?shù)據(jù)包總數(shù)。

波束重訪時(shí)間。跳波束所分配的時(shí)隙之間的間隔時(shí)間，重訪時(shí)間過(guò)長(zhǎng)將會(huì)影響用戶終端的同步[4]。

系統(tǒng)歸一化平均冗余度。當(dāng)方案s完成時(shí)隙分配后，通過(guò)計(jì)算該方案下實(shí)際業(yè)務(wù)處理量與實(shí)際業(yè)務(wù)需求量的差值并在歸一化后取平均，即可得出該方案下的系統(tǒng)歸一化平均冗余度，該指標(biāo)可以直觀反映出系統(tǒng)資源的利用情況，其表達(dá)式為

1) 混合波束等級(jí)方案優(yōu)勢(shì)分析

首先，為了體現(xiàn)混合波束等級(jí)帶來(lái)的優(yōu)勢(shì)，本文考慮了以下6 種場(chǎng)景。①所有小區(qū)需求均較低；②所有小區(qū)需求均較高，但都未超過(guò)單一等級(jí)波束最大處理能力；③大部分小區(qū)需求較低，剩余小區(qū)需求較高；④大部分小區(qū)需求較高，剩余小區(qū)需求較低；⑤中心小區(qū)需求較低，剩余小區(qū)需求較高；⑥中心小區(qū)需求較高，剩余小區(qū)需求較低。

然后，分別繪制了不同場(chǎng)景下混合波束等級(jí)方案、單一波束方案和單一等級(jí)（L1）方案下的系統(tǒng)歸一化平均冗余度曲線，如圖7 所示。

圖7 不同場(chǎng)景下系統(tǒng)歸一化平均冗余度對(duì)比

由圖7 可知，在各種場(chǎng)景下，混合波束等級(jí)方案均保持了較低的系統(tǒng)平均冗余度。在場(chǎng)景①中，由于所有小區(qū)業(yè)務(wù)需求均較低，因此單一波束方案即可滿足要求；在場(chǎng)景②中，由于所有小區(qū)需求均較高且都未超過(guò)單一等級(jí)波束最大處理能力，因此場(chǎng)景②下采用單一等級(jí)（L1）波束進(jìn)行跳變即可達(dá)到最低系統(tǒng)歸一化平均冗余度；在其余場(chǎng)景中，由于混合等級(jí)波束方案可以通過(guò)波束等級(jí)匹配來(lái)空出時(shí)隙以滿足其余業(yè)務(wù)需求量較大的小區(qū)，因此當(dāng)小區(qū)間業(yè)務(wù)差距較大時(shí)，混合波束等級(jí)方案依然可以表現(xiàn)出較低的系統(tǒng)歸一化平均冗余度。

2) D-UCB 算法參數(shù)分析

對(duì)于D-UCB 算法來(lái)說(shuō)，折扣因子γ的選取將直接影響該算法的性能。當(dāng)γ=1.0時(shí)，D-UCB 算法將退化為傳統(tǒng)UCB 算法，并適用于獎(jiǎng)勵(lì)分布穩(wěn)定已知的情況；當(dāng)γ=0時(shí)，D-UCB 算法則完全依賴于歷史的獎(jiǎng)勵(lì)，只根據(jù)瞬時(shí)獎(jiǎng)勵(lì)做出決策。因此本文分別考慮了γ=0、γ=0.5以及γ=1.0這3種典型情況下系統(tǒng)吞吐量隨總業(yè)務(wù)需求量的變化情況，如圖8 所示。

圖8 不同折扣因子下系統(tǒng)吞吐量變化對(duì)比

由圖8 可知，當(dāng)γ=0時(shí)，D-UCB 算法在總業(yè)務(wù)需求量較高時(shí)難以保證穩(wěn)定的性能，且系統(tǒng)吞吐量始終難以滿足業(yè)務(wù)需求量的要求；當(dāng)γ=0.5和γ=1.0時(shí)，D-UCB 算法下的系統(tǒng)吞吐量均能保持穩(wěn)定增長(zhǎng)，且前者性能相對(duì)更高，這也反映出當(dāng)獎(jiǎng)勵(lì)非穩(wěn)定時(shí)，通過(guò)對(duì)歷史獎(jiǎng)勵(lì)的選擇性利用，可以讓D-UCB 算法保持較好的效果。

3) 不同算法性能對(duì)比分析

為了驗(yàn)證本文所提出的基于非穩(wěn)態(tài)MAB 模型的動(dòng)態(tài)時(shí)隙分配算法的性能，本節(jié)考慮將該算法與平均時(shí)隙分配算法、貪婪時(shí)隙分配算法以及ε時(shí)隙分配算法進(jìn)行對(duì)比，其中對(duì)比算法的具體介紹如下。

平均時(shí)隙分配算法。在跳波束周期中的每個(gè)時(shí)隙依次選擇一個(gè)小區(qū)進(jìn)行時(shí)隙分配。

貪婪時(shí)隙分配算法。在跳波束周期中的每個(gè)時(shí)隙選擇當(dāng)前緩沖區(qū)數(shù)據(jù)包數(shù)量最大的小區(qū)進(jìn)行時(shí)隙分配。

ε時(shí)隙分配算法。在跳波束周期中的每個(gè)時(shí)隙按照1-ε的概率對(duì)D-UCB 算法進(jìn)行時(shí)隙分配，否則依舊選擇當(dāng)前小區(qū)進(jìn)行時(shí)隙分配。

最后，本文對(duì)比了不同算法下系統(tǒng)吞吐量情況，如圖9 所示。

圖9 不同算法下系統(tǒng)吞吐量對(duì)比

由圖9 可知，隨著總業(yè)務(wù)需求量的增加，平均時(shí)隙分配算法不能充分實(shí)現(xiàn)波束等級(jí)和時(shí)隙資源的靈活分配，因此其系統(tǒng)吞吐量始終較低；貪婪時(shí)隙分配算法只注重當(dāng)前時(shí)隙的緩沖區(qū)數(shù)據(jù)情況，其決策從整個(gè)跳波束周期來(lái)看未必最優(yōu)，因此其吞吐量相對(duì)較低；ε時(shí)隙分配算法的性能在總業(yè)務(wù)需求量較低時(shí)比較接近本文算法，但由于其決策時(shí)仍然存在一定的隨機(jī)性，因此該算法仍然存在一定的性能損失；相比這3 種算法，本文算法的系統(tǒng)吞吐量隨著總業(yè)務(wù)需求量的增加仍然能保持較穩(wěn)定的增長(zhǎng)，同時(shí)在總業(yè)務(wù)需求量較高時(shí)也能保持相對(duì)較好的性能。

4) 波束重訪時(shí)間變化分析

波束重訪時(shí)間也是衡量跳波束系統(tǒng)性能的一個(gè)重要指標(biāo)。為了衡量本文算法的波束重訪時(shí)間，本節(jié)進(jìn)行了50 次實(shí)驗(yàn)，并統(tǒng)計(jì)每次實(shí)驗(yàn)下的波束平均重訪時(shí)間，最終結(jié)果如圖10 所示。

圖10 波束平均重訪時(shí)間變化

由圖10 可知，本文算法的波束平均重訪時(shí)間始終保持在300 ms 以內(nèi)，且大部分情況下可以保持在250 ms 左右，因此能夠基本滿足跳波束系統(tǒng)的同步性能要求[5]。

4 結(jié)束語(yǔ)

本文研究了LEO 跳波束衛(wèi)星系統(tǒng)中的時(shí)隙分配和波束等級(jí)聯(lián)合優(yōu)化問(wèn)題，從而在小區(qū)業(yè)務(wù)需求時(shí)變性和空間不均勻性的情況下實(shí)現(xiàn)衛(wèi)星資源的靈活分配。相比于已有的跳波束算法，本文借助于非穩(wěn)態(tài)MAB 模型實(shí)現(xiàn)了在不依賴于環(huán)境信息以及較高計(jì)算資源下的動(dòng)態(tài)時(shí)隙分配，且通過(guò)采用分等級(jí)波束技術(shù)實(shí)現(xiàn)了波束覆蓋范圍與小區(qū)業(yè)務(wù)需求的匹配。仿真結(jié)果表明，相比單一波束方案和單一等級(jí)波束方案，本文所提混合波束等級(jí)方案的系統(tǒng)平均冗余度均不超過(guò)20%；當(dāng)總業(yè)務(wù)需求量從1 200 Mbit/s 增長(zhǎng)到3 600 Mbit/s 時(shí)，本文所提動(dòng)態(tài)時(shí)隙分配算法依然能保證較高的系統(tǒng)吞吐量，并將波束平均重訪時(shí)間控制在300 ms 以內(nèi)，從而提高了LEO跳波束衛(wèi)星系統(tǒng)的資源利用率。