一種5G低時延業(yè)務(wù)在多邊緣計算中心部署環(huán)境下優(yōu)選接入的方法的研究

吳旭東，范清棟，張 銳

（中國移動通信集團(tuán)廣西有限公司柳州分公司，廣西 柳州 545000）

0 引言

將新一代5G通信網(wǎng)絡(luò)體系與過往通信技術(shù)體系相比較，5G通信網(wǎng)絡(luò)體系引入了三大側(cè)重點完全不同的通信應(yīng)用，其分別對應(yīng)著增強(qiáng)的移動寬帶通信（eMMB，Enhanced Mobile Broadband）、大規(guī)模機(jī)器類型通信（mMTC， Massive Machine Type Communication）以 及超 可靠低時延通信（uRLLC， Ultra-Reliable and Low Latency Communication）場景。其中，eMMB主要指當(dāng)前的移動寬帶服務(wù)的直接演進(jìn)，重點突出高數(shù)據(jù)速率、高流量的特點；mMTC強(qiáng)調(diào)單個小區(qū)支持大量終端接入，終端普遍具有造價低、能耗低及超長的終端電池使用時間等特點；uRLLC關(guān)注極低時延和極高可靠性，主要支持自動工業(yè)控制、遠(yuǎn)程醫(yī)療及車聯(lián)網(wǎng)等業(yè)務(wù)[1]。為了在一個體系下支撐三種截然不同的應(yīng)用場景，不僅僅需要革新無線接入技術(shù)，還需要在傳輸網(wǎng)絡(luò)中應(yīng)用切片分組網(wǎng)（SPN， Slicing Packet Network）技術(shù)，核心網(wǎng)則需朝著通用化及虛擬化方向的方向演進(jìn)，整個5G通信網(wǎng)絡(luò)體系整體結(jié)構(gòu)呈現(xiàn)扁平化、邊緣計算需求量增大等特點。

5G垂直行業(yè)應(yīng)用也稱為面向企業(yè)業(yè)務(wù)（ToB， To Business），其主要依托于uRLLC場景開展業(yè)務(wù)，整個業(yè)務(wù)開展過程中，極度強(qiáng)調(diào)服務(wù)響應(yīng)及時性及鏈路穩(wěn)定性，終端需要按照規(guī)劃接入某邊緣計算中心開展業(yè)務(wù)，當(dāng)業(yè)務(wù)規(guī)模較小時，采用“一對一”指定終端固定接入的方式簡單易行，倘若業(yè)務(wù)進(jìn)一步發(fā)展，接入終端數(shù)量勢必將大幅度增加，業(yè)務(wù)量增大也會導(dǎo)致邊緣計算中心擴(kuò)容。此時，如下問題亟待解決：早期接入規(guī)劃已不適用于當(dāng)前業(yè)務(wù)發(fā)展，人工規(guī)劃不僅耗且有效性時限短，急需引入一種基于算法的接入機(jī)制，使得終端能夠自主的在多個邊緣計算中心之間自主選擇接入，保證終端能夠接入到響應(yīng)時延較短的邊緣計算中心的同時不會導(dǎo)致該邊緣計算中心性能劣化。

1 ToB業(yè)務(wù)組網(wǎng)結(jié)構(gòu)

基于連接需求及業(yè)務(wù)專屬性考慮，ToB低時延業(yè)務(wù)往往采取5G無線網(wǎng)絡(luò)接入、傳輸網(wǎng)絡(luò)SPN回傳的方式，業(yè)務(wù)可依據(jù)客戶的具體要求按照路由接入邊緣計算中心服務(wù)器或是托管于運營商IDC機(jī)房內(nèi)的服務(wù)器，在不考慮主備鏈路的情況下，垂直行業(yè)應(yīng)用業(yè)務(wù)流量原則上應(yīng)避免經(jīng)過互聯(lián)網(wǎng)中轉(zhuǎn)后再路由回邊緣計算中心的情況。通用組網(wǎng)結(jié)構(gòu)如圖1所示：

圖1 ToB業(yè)務(wù)組網(wǎng)結(jié)構(gòu)

（1）用戶終端側(cè)：工業(yè)用戶終端可在獨立使用企業(yè)專用SIM卡后可直接連接5G基站或可通過統(tǒng)一終端接入5G無線網(wǎng)絡(luò)。

（2）無線接入網(wǎng)：5G基站可采用企業(yè)專享方式或公共共享兩種配置方案，當(dāng)使用企業(yè)專享接入方案時，企業(yè)可以獨立管理企業(yè)專用SIM卡，享有包括SIM卡的注冊、注銷、服務(wù)等級及準(zhǔn)入策略設(shè)置以及留存專用用戶的登錄歷史記錄等權(quán)限，實現(xiàn)網(wǎng)絡(luò)完全自治；當(dāng)采取公共共享接入方案時，基站可通過辨識PLMN，將行業(yè)用戶及普通用戶進(jìn)行區(qū)分，普通用戶業(yè)務(wù)流量導(dǎo)向運營商核心網(wǎng)，而行業(yè)用戶流量則路由至園區(qū)內(nèi)邊緣計算中心。

（3）傳輸網(wǎng)絡(luò)：使用服務(wù)質(zhì)量（QoS， Quality of Service）區(qū)分不同優(yōu)先級業(yè)務(wù)，利用分片技術(shù)保障網(wǎng)絡(luò)帶寬，優(yōu)先傳輸高優(yōu)先級業(yè)務(wù)。

（4）邊緣計算中心：可以采用企業(yè)自建、企業(yè)租用三方服務(wù)器或是企業(yè)租用運營商服務(wù)器等方式構(gòu)建邊緣計算中心，鑒于當(dāng)前業(yè)務(wù)發(fā)展尚處于試點實驗階段，行業(yè)用戶大都選擇后兩種方式構(gòu)建邊緣計算中心，且邊緣計算中心大都僅存在一臺服務(wù)器，待業(yè)務(wù)發(fā)展成熟，考慮到業(yè)務(wù)負(fù)荷量及數(shù)據(jù)安全冗余性，邊緣計算中心將采用虛擬化主機(jī)為基礎(chǔ)的云計算方式或多個邊緣計算中心的方式部署，邊緣計算中心之間業(yè)務(wù)數(shù)據(jù)進(jìn)行同步，以保證終端接入其中任何一個邊緣計算中心后均能開展業(yè)務(wù)。

2 ToB業(yè)務(wù)流程

垂直行業(yè)的應(yīng)用層通信協(xié)議各不相同，例如，工業(yè)控制領(lǐng)域中，終端設(shè)備高層普遍使用以太網(wǎng)/IP（EIP，Ethernet IP）協(xié)議，它是一種高級的工業(yè)應(yīng)用層協(xié)議，業(yè)務(wù)控制數(shù)據(jù)由上層應(yīng)用層至下層物理層進(jìn)行層層封裝，其中，在網(wǎng)絡(luò)傳輸層，上層封裝數(shù)據(jù)會被繼續(xù)封裝在TCP/UDP協(xié)議內(nèi)，因此，業(yè)務(wù)發(fā)起流程可歸結(jié)如圖2所示：

圖2 ToB業(yè)務(wù)發(fā)起流程

（1）準(zhǔn)備階段：行業(yè)終端主動發(fā)起業(yè)務(wù)會話請求，邊緣計算中心服務(wù)器被動偵聽服務(wù)端口，準(zhǔn)備隨時響應(yīng)來自終端的會話請求。

（2）建立端對端連接：ToB業(yè)務(wù)普遍采用基于面向連接的連接協(xié)商機(jī)制，行業(yè)終端與邊緣計算中心服務(wù)器間通過TCP協(xié)議的三次握手機(jī)制建立可靠的端對端連接。

（3）業(yè)務(wù)數(shù)據(jù)傳輸：待端對端連接建立完畢，被封裝過的業(yè)務(wù)數(shù)據(jù)在該連接上進(jìn)行傳輸。

3 業(yè)務(wù)時延建模

由于低時延是低時延業(yè)務(wù)的一項重要性能指標(biāo)，因此有必要對該類業(yè)務(wù)的時延進(jìn)行建模。結(jié)合圖1中的通用結(jié)構(gòu)及圖2的業(yè)務(wù)發(fā)起流程，可構(gòu)建一個描述ToB業(yè)務(wù)端到端的時延模型，令Tdelay為業(yè)務(wù)開展中一次通信的總時延，即行業(yè)應(yīng)用終端發(fā)起業(yè)務(wù)請求至獲取到服務(wù)端的響應(yīng)數(shù)據(jù)包的時間間隔，Tclient代表行業(yè)應(yīng)用終端數(shù)據(jù)高層協(xié)議處理時延，Twireless表示數(shù)據(jù)包在5G接入網(wǎng)中傳輸一次的往返時延，Twire為數(shù)據(jù)包在有線網(wǎng)絡(luò)中傳輸一次的往返時延，Tserver定義為邊緣計算中心內(nèi)數(shù)據(jù)包處理時延，則Tdelay可由式（1）計算得出：

式中，Twireless及Twire兩項時延均歸屬于網(wǎng)絡(luò)時延，可以統(tǒng)一使用Ttransmission表示，則式（1）的時延模型可以修正為：

Tclient取決于終端處理應(yīng)用層報文的能力，與終端硬件及軟件能力有著很大關(guān)系，而Tserver也與服務(wù)器硬件能力及當(dāng)前業(yè)務(wù)負(fù)荷量有關(guān)，Ttransmission構(gòu)成較為復(fù)雜，延遲因素及原因歸納總結(jié)如表1所示：

表1 延遲因素及其說明

因此，Ttransmission及Tserver兩個時延的測量評估至關(guān)重要，以Ttransmission表示延遲測量評估值，則Ttransmission可經(jīng)式（2）計算：

由業(yè)務(wù)發(fā)起流程可知，Testimation時延可以通過統(tǒng)計一次端到端的數(shù)據(jù)包交互時間獲取，低時延業(yè)務(wù)中的終端應(yīng)該向擁有最小Testimation值得邊緣計算中心發(fā)起服務(wù)，其中n表示邊緣計算中心的編號：

4 接入選擇方式

常見的選擇算法有平均選擇算法及往返時延（RTT，Round-Trip Time）兩種[3]。平均選擇算法不考慮行業(yè)應(yīng)用終端至各個邊緣計算中心的端到端時延，無差別在各個備選的邊緣計算中心服務(wù)器間選擇接入，因此各個邊緣計算中心服務(wù)器的負(fù)載基本相同。一般采用等概率隨機(jī)選擇或輪詢（RB， Round-Robin）機(jī)制實現(xiàn)[2]。這種方式應(yīng)用廣泛且實現(xiàn)簡單，服務(wù)器間負(fù)荷較為均衡，對終端能力要求較低，這是其的優(yōu)點，但其缺點也同樣明顯，終端每次選擇的接入目標(biāo)服務(wù)器可能并非擁有最小響應(yīng)時延，整體性能較差，據(jù)此，針對對于時延有嚴(yán)格要求的垂直行業(yè)應(yīng)用業(yè)務(wù)，平均選擇算法顯然并不適合。

4.1 RTT相關(guān)的選擇算法

一方面通過以上低時延業(yè)務(wù)的時延建模結(jié)果，終端若能每次接入擁有最小的Testimation邊緣計算中心，就可以保證終端低時延業(yè)務(wù)感知。另一方面，RTT相關(guān)的算法是以報文往返時間作為測量對象的一種算法，因此可用來解決如何選擇最小Testimation的問題。

根據(jù)業(yè)務(wù)流程，當(dāng)終端發(fā)出TCP三次握手協(xié)議中第一個握手包時，終端會啟動計時器，當(dāng)收到TCP三次握手協(xié)議中第二個握手包時計時器終止，以此來標(biāo)識一個終端至該邊緣計算中心服務(wù)器的RTT值，也就是本次連接的Testimation。

選擇最小RTT有兩種方式，一種是直接選擇最小的RTT值邊緣計算中心接入；另一種則是為RTT值區(qū)間賦予概率權(quán)重，以概率大小進(jìn)行選擇，通常RTT值越小被賦予的概率越大。

然而RTT算法中存在兩個問題需要解決，問題一是終端初始接入問題，由于RTT值測量需要在TCP三次握手包交換的過程中進(jìn)行，當(dāng)終端實施了TCP三次握手流程，即意味著終端已經(jīng)選定了一個邊緣計算中心進(jìn)行接入，因此，在終端沒有獲得實際的往返延遲之前，會至少對每個備選的邊緣計算中心都選擇一次，并記錄其RTT值?？梢詾槊總€備選邊緣計算中心設(shè)置一個遠(yuǎn)低于實際的數(shù)值，達(dá)到初始化賦值的效果；問題二是網(wǎng)絡(luò)處在不斷變化中，原本具有較大RTT的邊緣計算中心隨著時間推移，其RTT可能會變小，從而成為優(yōu)選對象，但終端只有選擇了才能探測到其變化，而選擇接入的正是因為有了最小的RTT，這就形成了一個死循環(huán)，為了解決這一問題，大多數(shù)RTT相關(guān)的選擇算法都會采用RTT衰減的策略，即對于沒有被選擇的邊緣計算中心，終端側(cè)所記錄的RTT值會按照一定的方式逐漸變小，這就使得每個邊緣計算中心周期性的都有能被選擇的機(jī)會，不會永遠(yuǎn)都選擇同一個邊緣計算中心接入。

4.2 SRTT算法

為了解決RTT算法中存在的兩個問題以解決邊緣計算中心選擇問題，引入了平滑RTT（SRTT， Smoothed Round Trip Time）算法[4]，具體算法如下：

4.2.1 初始賦值

終端在緩存內(nèi)對每個邊緣計算中心賦予一個初始值化的SRTTinit，具體公式如下：

式中，R為一個生成的32比特長的大隨機(jī)數(shù)。以上所計算出的每個邊緣計算中心的SRTTinit會是一個近乎為零的值，因此所有的邊緣計算中心都有機(jī)會第一次被優(yōu)選。

4.2.2 SRTT的計算

終端發(fā)起本次業(yè)務(wù)時，其在獲取到本次RTT后，會用該RTT值與之前的SRTT進(jìn)行加權(quán)求和，并更新其記錄中的該邊緣計算中心的SRTT值，具體計算方式如下：

式中，α這個權(quán)重參數(shù)可調(diào)，一般取值0.7。

4.2.3 SRTT衰減

為了防止終端在開展業(yè)務(wù)時一直都選擇某個SRTT最小的邊緣計算中心，而忽略了其余未被選中的邊緣計算中心可能會擁有更短響應(yīng)時延的情況，需要在算法中加入機(jī)制，算法如下：

式中，β這個權(quán)重參數(shù)可調(diào)，一般取值0.998。

采用SRTT及其衰減機(jī)制的效果在于終端每發(fā)生一次業(yè)務(wù)，都會修正一次所有邊緣計算中心的SRTT，本次業(yè)務(wù)選擇的邊緣計算中心依據(jù)的是上一次發(fā)生業(yè)務(wù)修正SRTT，且每發(fā)生一次業(yè)務(wù)，所選擇的邊緣計算中心的SRTT會趨向于升高，而未被選擇的邊緣計算中心的SRTT會趨向于降低，因此所有的邊緣計算中心都會周期性的被選擇的機(jī)會，以此可以主動探知原本SRTT較大的邊緣計算中心變小這一網(wǎng)絡(luò)變化[3]，同時也可以均衡各個邊緣計算中心的負(fù)荷，避免單個邊緣計算中心由于接入終端過多而導(dǎo)致性能下降。

5 SRTT算法應(yīng)用效果

算法應(yīng)用效果評估將分兩部分進(jìn)行評估，首先將評估多終端在多個邊緣計算中心的情況下分別使用SMRTT算法及平均選擇算法的平均時延，其次，再評估多個邊緣計算中心在使用SMRTT算法時的負(fù)荷情況。

5.1 終端時延表現(xiàn)

仿真環(huán)境中，模擬多個終端同時對多個邊緣計算中心發(fā)起業(yè)務(wù)請求的情況，分別使用了SMRTT算法及平均選擇算法測試，結(jié)果如下，其中藍(lán)點為SMRTT算法終端的平均接入時延，橘色點為平均選擇算法終端的平均接入時延：

圖3 終端平均響應(yīng)時延

表2 算法測試環(huán)境及結(jié)果

5.2 邊緣計算中心負(fù)荷情況

仿真環(huán)境中，模擬多個終端同時對多個邊緣計算中心發(fā)起業(yè)務(wù)請求的情況，當(dāng)使用了SMRTT算法時，單個邊緣計算中心的負(fù)荷情況如下，其中藍(lán)點為邊緣計算中心A的負(fù)荷情況，橘色點為邊緣計算中心B的負(fù)荷情況：

表3 單邊緣計算中心負(fù)荷情況

6 結(jié)束語

當(dāng)前垂直行業(yè)業(yè)務(wù)尚處于起步階段，普遍采取人工先期規(guī)劃，終端業(yè)務(wù)路由接入固定邊緣計算中心的組網(wǎng)結(jié)構(gòu)，業(yè)務(wù)量尚未達(dá)到需要在一個園區(qū)內(nèi)部署多個邊緣計算中心進(jìn)行負(fù)荷分流的規(guī)模，但隨著業(yè)務(wù)量增長，同一園區(qū)內(nèi)部署多個邊緣計算中心的組網(wǎng)結(jié)構(gòu)成為可能。在此情況下，終端業(yè)務(wù)接入邊緣計算中心的規(guī)劃方案將直接決定著業(yè)務(wù)時延指標(biāo)及邊緣計算中心間的負(fù)荷情況，且該方案還應(yīng)將網(wǎng)絡(luò)拓展性納入考慮，以使網(wǎng)絡(luò)能夠適應(yīng)未來一段時間內(nèi)業(yè)務(wù)的發(fā)展，假若該些問題完全依靠先期規(guī)劃及日常人工優(yōu)化解決，該項工作必定繁重而復(fù)雜，因此，考慮使用終端依靠算法選擇接入的方式代替全人工規(guī)劃優(yōu)化的方式，一定程度上減輕運維工作負(fù)擔(dān)。為了達(dá)成這一目標(biāo)，該算法應(yīng)能使終端每次發(fā)起業(yè)務(wù)時，都盡可能地選擇低時延邊緣計算中心接入，同時，在不考慮單個終端實際業(yè)務(wù)量的情況下，全局上能夠維持多個邊緣計算中心之間業(yè)務(wù)接入量均衡。本文探討了兩種選擇接入算法，在多終端整體接入平均時延及多邊緣計算中心間負(fù)荷這兩個評估維度上，SRTT接入算法較平均接入算法更能降低多終端平均接入時延，同時維持邊緣計算中心間接入負(fù)荷均衡。