基于學(xué)習(xí)驅(qū)動(dòng)的多接入移動(dòng)邊緣計(jì)算卸載策略研究

蘇志凱，楊 健，馬鵬飛

（中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081）

0 引 言

近年來，隨著網(wǎng)絡(luò)流量的不斷增加和移動(dòng)終端設(shè)備的指數(shù)性增長，第五代通信網(wǎng)絡(luò)（5G）中的大量新型應(yīng)用業(yè)務(wù)如虛擬現(xiàn)實(shí)、自動(dòng)駕駛、智慧醫(yī)療以及智慧工廠等爆發(fā)性增長[1]。此類業(yè)務(wù)具有高吞吐量、高帶寬、低時(shí)延的業(yè)務(wù)需求特性，需要消耗大量的無線網(wǎng)絡(luò)資源，而現(xiàn)有的移動(dòng)終端計(jì)算能力和電池能量受限，無法滿足新型業(yè)務(wù)如工業(yè)物聯(lián)網(wǎng)和電子醫(yī)療等時(shí)延敏感的業(yè)務(wù)需求，對5G無線網(wǎng)絡(luò)中的通信資源、計(jì)算資源以及存儲資源等提出嚴(yán)峻挑戰(zhàn)。

現(xiàn)有的新型業(yè)務(wù)可為計(jì)算密集型和時(shí)延敏感型兩類[2]。其中，計(jì)算密集型具有高帶寬和高吞吐量的特性，如虛擬現(xiàn)實(shí)；而時(shí)延敏感型具有低延時(shí)的特性，如自動(dòng)駕駛。面向上述業(yè)務(wù)，具有強(qiáng)大計(jì)算能力的云計(jì)算可以將移動(dòng)終端的計(jì)算任務(wù)傳輸?shù)皆贫朔?wù)器進(jìn)行計(jì)算，從而為資源受限的移動(dòng)終端提供充足的計(jì)算資源。然而，由于移動(dòng)終端距離云端服務(wù)器距離較遠(yuǎn)，導(dǎo)致傳輸時(shí)延大，傳輸能耗高。多接入移動(dòng)邊緣計(jì)算作為5G無線網(wǎng)絡(luò)的新型技術(shù)，將云端的服務(wù)能力下沉到網(wǎng)絡(luò)邊緣，智能移動(dòng)終端可以卸載計(jì)算任務(wù)到位于網(wǎng)絡(luò)邊緣的服務(wù)器上，滿足低能耗和低延時(shí)的業(yè)務(wù)需求。

其中，計(jì)算卸載問題是移動(dòng)邊緣計(jì)算的關(guān)鍵問題，根據(jù)用戶移動(dòng)終端的電池容量和計(jì)算能力等情景信息，選擇合適的MEC服務(wù)器進(jìn)行高效地任務(wù)卸載，從而保證網(wǎng)絡(luò)延時(shí)性能，減少能量消耗。文獻(xiàn)[2]考慮不同接入技術(shù)的約束特性，提出了基于非正交多址接入技術(shù)的MEC任務(wù)卸載策略。文獻(xiàn)[3]中考慮到不同的業(yè)務(wù)服務(wù)質(zhì)量（Quality of Service，QoS）約束，基于博弈理論提出了一種可以保證強(qiáng)延時(shí)邊界的卸載策略。在文獻(xiàn)[4]中，考慮到用戶移動(dòng)終端的資源受限，提出了基于馬爾科夫決策的時(shí)延最優(yōu)卸載策略。文獻(xiàn)[5]基于斯塔克爾伯格博弈理論，提出了一種基于價(jià)格的分布式MEC任務(wù)卸載算法，從而使得用戶可以自主決策。文獻(xiàn)[6]中考慮到智能移動(dòng)終端的電池容量特性和業(yè)務(wù)時(shí)延特性，提出了基于能量和時(shí)延約束下計(jì)算資源和通信資源的聯(lián)合優(yōu)化卸載算法。此外，在文獻(xiàn)[7]中，考慮超密無線網(wǎng)絡(luò)場景，提出了一種高能效的MEC任務(wù)卸載算法，通過最優(yōu)化卸載決策變量和功率帶寬分配，從而最小化能量開銷。

現(xiàn)有的MEC任務(wù)卸載研究中，假設(shè)MEC的計(jì)算能力和存儲能力已知，基于單一MEC服務(wù)器的研究場景，以時(shí)延最優(yōu)或能量最優(yōu)為目標(biāo)，進(jìn)行計(jì)算任務(wù)的卸載決策。然而，隨著5G網(wǎng)絡(luò)中基站部署的密集化，大量的MEC服務(wù)器將部署在距離用戶移動(dòng)終端較近的基站或者接入點(diǎn)（Acess Point，AP）點(diǎn)上。例如，自主駕駛的車聯(lián)網(wǎng)場景中，大量的MEC服務(wù)器部署在路側(cè)智能設(shè)備（Road Side Unit，RSU）及基站上，為自主駕駛的時(shí)延敏感業(yè)務(wù)提供低延時(shí)、高可靠的計(jì)算服務(wù)需求。不同MEC服務(wù)器的計(jì)算能力和存儲能力各不相同，因此用戶側(cè)的移動(dòng)終端需要根據(jù)業(yè)務(wù)特性和網(wǎng)絡(luò)環(huán)境等情景信息，自主決策選擇最優(yōu)的MEC服務(wù)器接入策略，從而保證網(wǎng)絡(luò)延時(shí)的同時(shí)降低網(wǎng)絡(luò)能耗，實(shí)現(xiàn)高能效的MEC服務(wù)器任務(wù)卸載策略。

1 問題描述

假設(shè)在5G無線網(wǎng)絡(luò)場景中包含U個(gè)用戶，M個(gè)基站，每個(gè)基站包含一個(gè)MEC服務(wù)器（為簡化描述，基站和MEC服務(wù)器統(tǒng)一用M表示）。假設(shè)系統(tǒng)總帶寬為B，系統(tǒng)帶寬中假定一共有K個(gè)子載波。在t時(shí)刻，假設(shè)用戶只能接入一個(gè)基站，且最多只有一個(gè)用戶可以接入子載波。因此：

用戶終端i與基站m在k資源塊上的信干噪比為：

用戶到基站的傳輸速率為：

MEC網(wǎng)絡(luò)架構(gòu)模型如圖1所示。

圖1 MEC網(wǎng)絡(luò)架構(gòu)模型

1.1 時(shí)延敏感業(yè)務(wù)

對于時(shí)延敏感業(yè)務(wù)，假設(shè)數(shù)據(jù)包的到達(dá)率符合到達(dá)速率為λds的泊松分布且數(shù)據(jù)包的固定長度為Lds，為保障時(shí)延敏感業(yè)務(wù)的QoS約束，因此基于有效帶寬理論，定義具有傳輸時(shí)延界的有效寬帶為：

式中，W(θv)為有效帶寬，θv為用戶終端的QoS指數(shù)，Z(t)表示在時(shí)間(0,t)時(shí)間內(nèi)達(dá)到的數(shù)據(jù)包數(shù)目，E(·)表示數(shù)學(xué)期望。傳輸時(shí)延的違反概率為：

式中，Dv表示用戶到基站的時(shí)延，Dmax表示延時(shí)界，ζ表示違反概率的最大時(shí)延邊界，Lds表示數(shù)據(jù)包的固定長度。為了保障違反概率的時(shí)延邊界，系統(tǒng)的最小傳輸概率應(yīng)該等于系統(tǒng)有效帶寬，即：

1.2 任務(wù)計(jì)算模型

式中，bi表示用戶側(cè)任務(wù)的計(jì)算負(fù)載，可以通過離線測量獲得。

1.3 時(shí)延分析

對于用戶的計(jì)算任務(wù)而言，任務(wù)數(shù)據(jù)處理的總時(shí)延開銷包含數(shù)據(jù)傳輸時(shí)間、數(shù)據(jù)等待時(shí)間以及MEC服務(wù)器計(jì)算時(shí)間，表示為：

2 學(xué)習(xí)驅(qū)動(dòng)的MEC服務(wù)器自主卸載策略

在實(shí)際系統(tǒng)中，網(wǎng)絡(luò)的全局信息很難獲得，因此在本文中的優(yōu)化問題P中，基于隨機(jī)賭博機(jī)模型，設(shè)計(jì)了基于學(xué)習(xí)驅(qū)動(dòng)的自主卸載決策算法，用戶移動(dòng)終端i根據(jù)自身的電池容量和計(jì)算任務(wù)時(shí)延需求自主選擇MEC服務(wù)器進(jìn)行任務(wù)卸載[8]。在MAB模型中包含N個(gè)賭博臂和一個(gè)玩家進(jìn)行多輪次的選擇，玩家每次選擇其中的一個(gè)賭博臂并收到對應(yīng)獎(jiǎng)勵(lì)回報(bào)，且玩家在選擇該臂之后只能獲取該臂獎(jiǎng)勵(lì)值，每個(gè)賭博臂的獎(jiǎng)勵(lì)值服務(wù)某種未知的特定分布且相互獨(dú)立。玩家通過探索與利用學(xué)習(xí)不同賭博臂的獎(jiǎng)勵(lì)分布，經(jīng)過J輪游戲后，玩家的優(yōu)化目標(biāo)為最大化獎(jiǎng)勵(lì)回報(bào)的期望值。在學(xué)習(xí)過程中，玩家主要采用利用策略和探索策略兩種策略，其中利用策略每次選擇到目前為止已知獎(jiǎng)勵(lì)值最高的賭博臂作為最優(yōu)臂；探索策略中玩家嘗試探索其他未知的可能可以獲得更高獎(jiǎng)勵(lì)值的賭博臂。因此，玩家需要在探索策略和利用策略進(jìn)行合理地選擇利用從而獲取最大化獎(jiǎng)勵(lì)值[9]。

本文提出了學(xué)習(xí)驅(qū)動(dòng)的MEC-MAB自主決策卸載算法，用戶移動(dòng)終端i作為玩家，MEC服務(wù)器m作為賭博臂。如果用戶i選擇接入MEC服務(wù)器m，則對應(yīng)的獲得隨機(jī)獎(jiǎng)勵(lì)值Qi,m。其中，各個(gè)MEC服務(wù)器的獎(jiǎng)勵(lì)值服從均值π=[π1,π2,…,πm] 的特定分布且相互獨(dú)立。πm表示為MEC服務(wù)器m的真實(shí)獎(jiǎng)勵(lì)值[10]。由于用戶不能一直選擇到最高真實(shí)值的服務(wù)器，因此定義后悔值Rj為經(jīng)過j次選擇后，實(shí)際獲得的獎(jiǎng)勵(lì)值與期望獲得的最大獎(jiǎng)勵(lì)值間的差值為：

本文采用Thompson-Sampling算法，將MAB模型中的每個(gè)選擇MEC服務(wù)器的獎(jiǎng)勵(lì)值概率看作一個(gè)Beta(α,β)分布，則選擇MEC服務(wù)器行為的獎(jiǎng)勵(lì)值分布概率函數(shù)為：

其中，對Beta分布的參數(shù)更新規(guī)則為：

在本文的MEC-MAB算法中，隨著在MEC服務(wù)器選擇觀測結(jié)果的增加，Beta分布的置信區(qū)間就越來越窄，從而使得用戶選擇可以獲得最大獎(jiǎng)勵(lì)值的最優(yōu)MEC服務(wù)器。具體算法流程如下所示[11]。

初始化時(shí)，用戶移動(dòng)終端觀測自己的電池狀態(tài)和計(jì)算任務(wù)的QoS等情景信息，并設(shè)定t=0和γ=0。當(dāng)（t≤T）時(shí)，t時(shí)刻，用戶移動(dòng)終端進(jìn)行MEC服務(wù)器選擇行為的獎(jiǎng)勵(lì)估值滿足W(m)~Beta(αm,βm)。用戶選擇獎(jiǎng)勵(lì)值最大的MEC服務(wù)器arg maxmW(m)→MECt，網(wǎng)絡(luò)應(yīng)用此次選擇接入行為并觀測相應(yīng)的回報(bào)值rt，參數(shù)更新 (α1,β1)+(rt, 1-rt)→ (α1,β1)。

3 仿真結(jié)果分析

本文對上述基于學(xué)習(xí)驅(qū)動(dòng)的MEC任務(wù)自主決策卸載策略進(jìn)行了仿真驗(yàn)證，假設(shè)用戶個(gè)數(shù)為10。其中用戶移動(dòng)終端計(jì)算任務(wù)量服從泊松分布，路徑損耗指數(shù)為2。MEC服務(wù)器節(jié)點(diǎn)數(shù)（基站數(shù)）分別為3、5以及10時(shí)，仿真后悔值與迭代次數(shù)的變化關(guān)系如圖2所示。在不同的MEC服務(wù)器數(shù)目下，網(wǎng)絡(luò)后悔值都可以在短時(shí)間內(nèi)收斂。隨著MEC服務(wù)器數(shù)目的增多算法收斂速度逐漸變慢，但是整體收斂較快，因此說明了本文所提出的MEC-MAB自主決策卸載策略具有良好的收斂性能。

圖2 后悔值與迭代次數(shù)的變化關(guān)系

本文對所提的MEC-MAB算法和經(jīng)典的e-greedy貪婪算法進(jìn)行性能對比。圖3描述了不同算法的后悔值隨著迭代次數(shù)的性能變化情況。從圖3中可以看出，概率e越小，表示純探索階段越短，在所有MEC接入動(dòng)作中均等的進(jìn)行選擇，從而出現(xiàn)選擇動(dòng)作時(shí)出現(xiàn)獎(jiǎng)勵(lì)值最差的情況。本文提出的MEC-MAB算法與貪婪算法相比較而言，可以獲得更小的后悔值，即獲得的累計(jì)獎(jiǎng)勵(lì)值最大，從而性能更優(yōu)[12]。

圖3 算法性能對比分析

4 結(jié) 論

為滿足5G網(wǎng)絡(luò)中新型應(yīng)用服務(wù)高吞吐量、低延時(shí)以及高能效的性能需求。本文在沒有MEC服務(wù)器計(jì)算和存儲能力以及信道狀態(tài)等先驗(yàn)信息的情景下，自主選擇最優(yōu)的MEC服務(wù)器進(jìn)行任務(wù)卸載，所提出的卸載策略可以在保證用戶延時(shí)的同時(shí)最小化能量消耗。最后，通過仿真驗(yàn)證了本文所提算法的良好性能。