基于負載均衡的MEH靜態切換機制

劉海鵬

?

基于負載均衡的MEH靜態切換機制

劉海鵬1,2

（1. 聯想集團，北京 100085；2. 北京經貿職業學院，北京 102488）

對歐洲電信標準化協會（ETSI）提出的針對移動邊緣主機（MEH）服務器的切換機制進行了補充和完善，提出了基于負載均衡的MEH靜態切換機制。該機制通過將用戶設備對應應用實例遷移到與其所屬本地高負載服務器相鄰的某個低負載服務器，實現了緩解原控制服務器處瓶頸效應、均衡網絡節點間負載、優化信令平均等待時延的目的。分析和仿真結果表明，提出的靜態切換機制能夠在均衡網絡負載和提升用戶滿意度方面對ETSI規范提供有效的補充和完善。

5G；移動邊緣計算；切換；負載均衡

1 引言

伴隨著5G移動通信技術[1]大規模商業化的日益臨近，5G技術所特有的低時延、高帶寬、大容量等特性激發起全球電信運營商以及互聯網廠商對新興“殺手級”業務出現的無限憧憬與聯想。與此同時，正在興起的車聯網（internet of vehicle）、增強現實（augmented reality，AR）、物聯網（internet of things，IoT）、智能視頻加速（intelligent video acceleration）、無人機等業務則寄希望于能夠得到5G網絡在諸如端到端時延、網絡帶寬、存儲及計算能力等方面的有力支持，實現用戶體驗和滿意度方面質的提升和飛躍。在這種業務與網絡相互促進與融合現狀的推動下，移動邊緣計算（mobile edge computing，MEC，也被稱為多接入邊緣計算（multi-access edge computing））[2-3]技術作為5G最重要的代表性業務能力之一，引起了學術界和產業界的高度關注。MEC通過把網絡遠端云計算中心側部分存儲和計算能力按需轉移到網絡邊緣側，使第三方業務廠商能夠直接在更加靠近業務終端的位置向最終用戶提供滿足超低時延、超高帶寬以及超高存儲和計算能力的服務。歐洲電信標準化協會（European Telecommunications Standards Institute，ETSI）、第三代合作伙伴計劃（3rd Generation Partnership Project，3GPP）等國際標準化組織正在對MEC系統架構及其實現方案進行深入研究、規范和定義。MEC的系統參考架構如圖1所示[4]，通常一個獨立的MEC系統由若干個移動邊緣主機（mobile edge host，MEH）實體及其他軟硬件實體協作構成。MEH實體可被看作移動邊緣業務應用（ME application）運行服務器，其軟件模塊主要包括移動邊緣平臺（mobile edge platform，MEP）、虛擬基礎設施（virtualization infrastructure，VI）以及運行在MEH上的多個ME App等。移動邊緣編排器（mobile edge orchestrator，MEO）是整個MEC系統的核心控制管理組件，負責管理和維護當前系統中全部MEH及其存儲和計算資源，協調各個ME App所需承載MEH的選擇和變換，同時跟蹤和觸發ME App的實例化、運行、終止以及特定場景下ME App實例在不同MEH之間的遷移等。

2 MEC系統中的移動性管理

參考現有研究成果[5]，一種MEC系統的典型網絡拓撲部署如圖2所示。整個重疊網絡（overlay network）系統分成上下兩層，分別是底層的物理通信承載蜂窩網絡（LTE（long term evolution）網絡或者5G網絡）和上層由MEC不同功能實體（如MEH、MEO等）構成的MEC網絡。每個蜂窩小區可以是LTE小區或者5G小區，一個MEH物理上被部署在某一特定蜂窩小區基站處，可能會同時負責管理維護本蜂窩小區和周邊多個相鄰蜂窩小區內授權用戶設備（user equipment，UE）的移動邊緣業務。當某一UE啟動其訂購的相應服務后，其所屬區域對應MEH中會自動實例化一個應用對象，這里稱為應用實例（application instance，AI），AI主要負責保存相應的服務上下文信息，記錄當前使用該服務的UE信息，同UE進行實時的交互，監控和保障服務的正常使用。

圖1 MEC系統參考架構

圖2 MEC系統部署方案示意

在ETSI 018規范建議中[6]，為了保障UE上業務連續性和良好的用戶業務體驗（quality of experience，QoE），當UE在底層承載網絡相鄰蜂窩小區之間移動時，會觸發承載網絡蜂窩小區基站對UE管理權的切換，進一步也有可能會觸發上層相鄰兩個MEH服務器之間對UE上所運行業務應用實例管理權的切換，從而導致AI在不同MEH之間的遷移。也就是說，UE的物理移動可能會最終導致特定AI從當前源承載MEH（source MEH，S-MEH）切換到目標承載MEH（target MEH，T-MEH），本文中將這種切換方式定義為MEH動態切換。同上述場景相對應的是當UE在特定承載網絡蜂窩小區內處于相對靜止狀態下（沒有離開當前小區的運動趨勢或者動作），由于當前所屬本地MEH負載過重導致的服務質量下降和QoE異常，或者其他原因也有可能導致MEH管理權的切換，這里將這種切換方式定義為MEH靜態切換。

動態切換和靜態切換都是將UE服務對應的AI從S-MEH遷移到T-MEH，但是兩者的觸發條件和產生原因是不同的。動態切換發生的最根本原因是UE在物理位置上發生了移動和改變，而靜態切換發生的直接原因則是由于當前MEH負載過重或者通信鏈路負載過重等。針對兩種切換模式的研究對于保證MEC業務連續性和用戶業務體驗QoE都是極其重要的[4,6]，但是當前針對MEC系統中移動性的管理研究[7-8]以及MEH切換技術的研究才剛剛起步，無論是針對MEH動態切換還是MEH靜態切換的研究成果都很少見，本文提出一種基于不同MEH服務器節點間負載均衡的MEH靜態切換機制。

3 基于負載均衡的MEH靜態切換機制

通常情況下MEC網絡主要由若干MEH節點協作構成，每個MEH節點負責維護相應地理范圍內全部本地UE的MEC業務，這里把特定UE當前所屬本地MEH定義為該UE的控制MEH（controlling MEH，C-MEH），與C-MEH在MEC網絡拓撲圖中相鄰的MEH被稱為參與MEH（participating MEH，P-MEH）。每個MEH節點服務小區的實際管轄范圍對應底層一個或者多個蜂窩網絡通信小區，并且MEH就部署在某個蜂窩小區的基站側。為避免混淆，本文后續在分析MEH切換算法時將忽略底層的物理通信承載網絡，只關注上層的MEH節點、MEO節點及MEC網絡其他相關節點。當特定UE在所屬本地MEH服務小區管轄范圍內相對靜止（沒有明顯離開本MEH服務小區的運動趨勢或者動作）時，有可能發生由于當前C-MEH服務器節點負載過重導致的服務質量和用戶體驗QoE下降，從而觸發MEH靜態切換。

3.1 機制描述

為了方便判定特定MEH服務器是否能夠被作為待切換目標服務器以及標記與衡量其負載狀況，定義服務器待切換狀況參考指數。關于的取值，首先要考慮該服務器是否能夠滿足在接管特定UE后的業務時延要求，這可以通過MEO定期向指定UE及其所屬MEH發送相關業務時延環回測試指令消息，并根據返回消息的時延等參數來驗證和判定。因為只有在服務器能夠滿足業務時延要求的前提下，業務在服務器之間的切換才有實際意義。當服務器滿足業務時延要求時，其對應參考指數的取值主要體現的是服務器當前負載狀況，這可以通過MEO定期向相關MEH發送指定查詢和測量消息，然后根據接收到反饋消息的內容以及接收到反饋消息的時延等參數進一步遵循特定算法計算得到。進一步定義的有效取值范圍（比如滿足條件0<<1），當取值滿足在特定時間段內持續大于特定閾值（比如>0.8），則認為相應MEH處于高負載狀況，需要啟動切換算法來進行UE所屬C-MEH服務器的靜態切換；反之，則不用啟動切換算法，維持當前C-MEH不變。這里特定時間段長度和參考閾值的選擇要根據具體場景確定，同時注意避免產生切換的乒乓效應。文中對切換機制的描述重點集中在切換操作的主要觸發要素、目標切換節點的選擇策略、待切換目標節點隊列的更新維護算法等幾個主要方面，關于觸發過程中采用的信令交互流程可參照參考文獻[6]中關于動態切換信令交互部分的建議，這里不再贅述。針對特定UE的MEH靜態切換算法操作步驟描述如圖3所示。

圖3 針對特定UE的MEH靜態切換算法操作流程

待切換目標隊列更新算法（包括4個子算法）描述如圖4所示。

圖4 更新待切換目標隊列算法

待切換目標隊列為當前指定UE的C-MEH節點和所有P-MEH節點中的有效節點構成的虛擬隊列。從隊列頭至隊列尾各個節點按照本身值的大小升序排列，即隊列中越是位置靠前（靠近隊頭）的節點其值越小，負載越低；越是位置靠后（遠離隊頭）的節點其值越大，負載越高。隊列頭部節點始終為啟動切換操作后的首要T-MEH（隊列中負載最低的節點），切換成功完成后，將該頭部節點從待切換隊列中刪除，隊列中其他后續節點在隊列中的位置均自動前移一位，同時相對位置和順序保持不變。這樣可以保證負載更小的節點有更多的機會被切換成C-MEH。

隊列中有效節點的定義為該節點值不超過閾值的節點，即如果該節點負載狀況正常，就可以作為待切換目標節點；反之則為無效節點。由此分析可知，一般來說剛剛完成切換操作的S-MEH通常是無效節點（因為該節點通常都是大于閾值的），也不會被插入待切換隊列中。總之，待切換隊列中的節點都是有效節點，如果隊列中某節點值超過了閾值，轉換成無效節點，則該節點會實時地從待切換目標隊列中被刪除，隊列中其他節點相對位置和順序保持不變。反之，如果某無效節點的負載狀況有所改善而轉換成有效節點，也需要根據該節點的實時值插入隊列中相應位置上。另外，隊列中所有有效節點在隊列中的相對位置和順序要求根據每個節點最新值實時動態更新。

這里還要補充切換機制要遵循的2個基本原則。

? 由于UE是相對靜止在當前服務小區內，故要求其對應AI最遠只能由與當前服務小區相鄰服務小區的P-MEH來接管，這就保證了UE始終與當前C-MEH距離在1跳范圍內。距離超出1跳范圍內的切換機制不在本文討論范圍之內。

? 只要UE所在小區的MEH服務器節點負載狀況恢復正常（小于閾值），就把UE所在小區MEH服務器節點切換回C-MEH節點，即UE所在小區本地MEH服務器節點擁有隨時被切換回C-MEH的最高優先級（其優先級超過待切換目標節點隊列中所有節點），這樣可以最大限度地保證UE同AI之間的信令消息在底層承載網絡中傳輸時延最小。

3.2 工作實例

本節提供一個工作實例，在圖5中分別就MEH靜態切換機制以及待切換目標隊列的幾種典型工作場景進行描述和闡釋。假定MEC網絡由5個MEH相鄰節點構成，包括1個C-MEH和4個P-MEH。初始狀態某UE工作在C-MEH管轄范圍內，且C-MEH負載狀況正常（<|’|，’為負載參考閾值）。圖5中每個節點標識含義如下：分隔符前面數字為節點標識，分隔符后面數字為該節點在當前待切換等待隊列中的位置標識。比如“3-3”表示節點3，其在待切換等待隊列中位置為3，還有2個節點排在其前面，依次類推。有陰影標識的節點為負載異常節點，沒有陰影標識的節點為負載正常節點。雙環的節點為當前C-MEH節點，即UE服務對應AI當前所在節點，如圖5（a）中的節點0、圖5（b）中的節點1等。

圖5 典型工作場景機制和原理

4 數據仿真及分析

基于負載均衡的MEH靜態切換機制主要作用在上層MEC功能節點網絡中，如果當前C-MEH節點負載過重導致本服務小區下屬UE服務質量和QoE下降，則通過將C-MEH功能遷移到相鄰的某個負載相對較輕的小區，從而達到平衡MEH服務器節點之間負載、減少UE用戶信令平均等待時延、提升用戶體驗和QoE的目的。下面分別從MEH服務器負載均衡性、UE用戶信令平均等待時延以及該機制的代價3個方面進行分析[9]。為討論方便且不失一般性，可以假設任意一個MEH服務器服務等待隊列中來自本小區UE的各種信令分組到達率符合泊松分布，每個分組得到CPU的處理時間符合負指數分布，只有一個等待處理隊列（相當于只有一個服務窗口），且服從“先來先服務”的原則，是一個排隊論中M/M/1隊列模型且服務率保持不變。這里從UE所在小區MEH服務器節點處的平均服務強度和來自UE的信令分組在服務器節點處的平均停留時延兩個方面來分析采用靜態切換機制前后服務器處負載變化情況，MEC會話定義相關變量見表1。

表1 MEC會話相關變量定義

4.1 MEH服務器負載均衡性分析

4.1.1 UE所在小區本地MEH服務器負載分析

由式（1）可得切換前在整個會話中C-MEH到達的信令分組總數為：

采用切換機制后UE所在小區MEH服務器到達的信令分組總數為：

定義平均服務強度對比函數：

由式（2）~式（4）可得：

由Little公式可知采用靜態切換機制前來自UE的信令分組在C-MEH處的平均停留時延為：

當采用靜態切換機制將C-MEH切換到相鄰MEH服務器后，來自UE的信令分組在原C-MEH服務器（該節點角色已轉換為P-MEH）處的平均停留時延為：

由式（6）、式（7）定義平均停留時延對比函數：

用MATLAB仿真工具對式（5）和式（8）分別分析對比，結果如圖6和圖7所示。

圖6 平均服務強度對比函數

圖7 切換前后平均停留時延對比函數

從圖6可以看出，當UE所在小區本地MEH下屬UE數量固定時，值越大，（，）函數值越大，說明當UE數量固定時，遷移出去的AI越多，切換后本地MEH服務器負載減輕越多。當值固定時，UE數量越大，（，）函數值越小，說明相對于較大的UE用戶數量，只有盡量多地遷移本地UE所對應的AI到相鄰服務器，才能更好地減輕本地MEH服務器的節點負載。

4.1.2 切換后新C-MEH服務器負載分析

4.1.3 負載均衡性分析

本節分析切換機制前后MEC網絡各個MEH服務器節點之間負載均衡性變化情況。為了討論方便且不失一般性，可用每個MEH服務器所管轄UE數量隨機變量來衡量該服務器處負載情況，下屬UE數量越多，其負載越大，下屬UE數量越少，其負載越小。結合參考文獻[10,11]中關于判斷負載均衡性好壞的算法及方差的物理意義，本文通過隨機變量方差的大小來衡量采用切換機制前后系統負載均衡性的好壞，方差越小，說明系統負載均衡性越好，方差越大，說明負載均衡性越差。進一步比較切換前后方差的差值，差值為正且越大說明采用切換對系統負載差異起到的平衡作用越好。根據方差的基本性質“方差等于平方的均值減去均值的平方”，可得切換前的方差為：

切換后的方差為：

由式（9）和式（10）可得切換前后方差的差值為：

在式（11）中，當=0時，意味著沒有發生任何UE對應AI在MEH服務器間的轉移，討論無意義。當>0且滿足（+）<時，切換前后方差的差值恒大于0。表明只要滿足切換后新C-MEH當前下屬UE數量沒有原C-MEH下屬UE數量多，切換后負載均衡性就比切換前更好。注意此時切換后新C-MEH當前下屬UE數量包括本來的個UE和遷移過來的個UE，這里個UE并未真正發生物理位置上的改變（相應UE所屬物理承載網絡小區沒變），但是這些UE在MEC網絡中對應AI所屬的MEH服務器發生了切換。

如果值保持不變，切換前后負載均衡性的差別主要由和的差值大小決定，和差值越大，切換前后負載均衡性差別越大，切換后負載均衡性要比切換前更好，可見切換對平衡系統負載起到了積極作用。另外當不同MEC小區下屬UE數量差別很大時，更容易引起不同MEH服務器節點負載之間的巨大差異。在現實網絡環境下，各個MEC小區當前下屬UE數量是一個隨機變量，因此更證明了本文提出的靜態切換方案的必要性。

4.2 等待時延分析

4.3 代價分析

引入MEH靜態切換機制后整個系統付出的代價可以從3個方面進行考慮：首先是MEO需要維護用于標記與衡量會話中全部相關MEH服務器（包括C-MEH和P-MEH）負載狀況的參考指數，這項任務對于通常具備很高配置的MEO服務器來說，其代價是可以接受的。其次是系統決定啟動切換機制繼而觸發切換操作直到切換完成后所進行的相關信令交互的代價，相對于5G服務控制信令與數據消息交互超大總量來說，此方面也是可以忽略不計的。最后，由于采用切換機制后底層承載通信網絡相當于也被切換到了其他服務小區，所以UE和新C-MEH中相關AI進行信令消息交互的物理通信時延相應會有所增大，但是由于本切換機制里限定了上層MEC網絡中的切換操作僅限制在1跳距離（拓撲圖中兩個相鄰MEH節點）范圍內，所以消息交互時延增大幅度基本可以接受（在第4.2節中已經進行過分析）。總之，相對于由于當前UE所在小區MEH服務器負載狀況惡化導致的業務連續性和用戶業務體驗QoE嚴重下降，上述提到的幾方面代價能夠換來用戶體驗和滿意度方面的明顯提升是值得的。

5 結束語

ETSI對MEC會話中MEH服務器的切換操作定義[6]只提到了當UE移動引起實際的底層物理承載網絡切換時可能會觸發上層MEC網絡中MEH服務器切換，沒有定義UE不動但是由于UE當前小區本地MEH負載異常導致的服務質量下降時，系統應該采取怎樣的應對策略。本文提出的基于負載均衡的MEH靜態切換機制對上述應用場景進行了補充定義，該機制能夠有效平衡MEC會話中各MEH節點負載，降低UE請求處理信令在服務器處平均等待時延和用戶總等待時延，提升服務質量和用戶體驗，對ETSI規范進行了有效補充和完善。后續研究工作將對部署在NFV環境中MEC網絡[12]的UE在同一個網絡切片甚至跨不同切片[13]場景下產生明顯運動趨勢時，系統如何進行預判并預先啟動相應切換策略[6]進行深入的研究和分析，進一步降低用戶對小區業務切換產生影響的感知，使無縫切換更好地服務于5G低時延、高帶寬、大容量的新業務。

[1] FOUKAS X, PATOUNAS G, ELMOKASHFI A, et al. Network slicing in 5G: survey and challenges [J]. IEEE Communications Magazine, 2017, 55(5): 94-100.

[2] TRAN T X, HAJISAMI A, PANDEY P, et al. Collaborative mobile edge computing in 5G networks: new paradigms, scenarios, and challenges[J]. IEEE Communications Magazine, 2017, 55(4): 54-61.

[3] ETSI. White paper No.11 mobile edge computing a key technology towards 5G[R]. 2015.

[4] ETSI. Mobile edge computing (MEC); framework and reference architecture: GS MEC 003 V1.1.1[S]. 2016.

[5] 張建敏, 謝偉良, 楊峰義, 等. 移動邊緣計算技術及其本地分流方案[J]. 電信科學, 2016, 32(7): 132-143.

ZHANG J M, XIE W L, YANG F Y, et al. Mobile edge computing and application in traffic offloading[J]. Telecommunications Science, 2016, 32(7): 132-143.

[6] ETSI. Mobile edge computing (MEC); end to end mobility spects: GR MEC 018 V1.1.1[S]. 2017.

[7] 田輝, 范紹帥, 呂昕晨, 等. 面向5G需求的移動邊緣計算[J]. 北京郵電大學學報, 2017, 40(2): 1-10.

TIAN H, FAN S S, LV X C, et al. Mobile edge computing for 5G requirements[J]. Journal of Beijing University of Posts and Telecommunications, 2017, 40(2): 1-10.

[8] 李子姝, 謝人超, 孫禮, 等. 移動邊緣計算綜述[J]. 電信科學, 2018, 34(1): 87-101.

LI Z S, XIE R C, SUN L, et al. A survey of mobile edge computing[J]. Telecommunications Science, 2018, 34(1): 87-101.

[9] 劉海鵬, 廖建新, 朱曉民. PoC中一種負載均衡與時延優化的RTP媒體流轉發機制[J]. 通信學報, 2010, 31(8): 105-113.

LIU H P, LIAO J X, ZHU X M. RTP stream transferring scheme with load balancing and delay optimization in PoC[J]. Journal on Communications, 2010, 31(8): 105-113.

[10] TURGUT D, TURGUT B, DAS S K, et al. Balancing loads in mobile ad hoc networks[C]//The 10th International Conference on Telecommunications, ICT 2003, Feb 23-Mar 1, 2003, Papeete, French Polynesia. Piscataway: IEEE Press, 2003: 490-495.

[11] 鄭相全. 基于負載均衡的無線自組網關鍵技術與算法研究[D]. 成都: 電子科技大學, 2005: 44-45.

ZHENG X Q. Research on load-balance based key technologies and algorithms for ad hoc networks[D]. Chengdu: University of Electronic Science and Technology of China, 2005: 44-45.

[12] ETSI. Mobile edge computing (MEC); deployment of mobile edge computing in an NFV environment: GR MEC 017 V1.1.1[S]. 2018.

[13] 項弘禹, 肖揚文, 張賢, 等. 5G邊緣計算和網絡切片技術[J]. 電信科學, 2017, 33(6): 54-63.

XIANG H Y, XIAO Y W, ZHANG X, et al. Edge computing and network slicing technology in 5G[J]. Telecommunications Science, 2017, 33(6): 54-63.

A static MEH handover scheme based on load balancing

LIU Haipeng1,2

1. Lenovo Group, Beijing 100085, China 2. Beijing Professional Business Institute, Beijing 102488, China

Based on the MEH (mobile edge host) handover scheme proposed by ETSI (European Telecommunications Standards Institute), an improved and supplementary static handover scheme was put forward. By transferring the former C-MEH (controlling MEH) to a neighbor server with lighter load, the scheme decreased the average waiting time of a signal message at the former C-MEH site. The negative effect of bottle-neck at the former C-MEH could also be lightened. Analysis and simulation results show that the scheme can provide effective and positive supplementary to the ETSI specification in balancing network load and improving user’s satisfaction.

5G, mobile edge computing, handover, load balancing

TN915

A

10.11959/j.issn.1000?0801.2018183

2018?02?26；

2018?05?21

劉海鵬（1975?），男，博士，聯想集團高級工程師，北京經貿職業學院副教授，主要研究方向為網絡功能虛擬化（NFV）及移動邊緣計算。