基于異步獎(jiǎng)勵(lì)深度確定性策略梯度的邊緣計(jì)算多任務(wù)資源聯(lián)合優(yōu)化

摘要：移動(dòng)邊緣計(jì)算（MEC）系統(tǒng)中，因本地計(jì)算能力和電池能量不足，終端設(shè)備可以決定是否將延遲敏感性任務(wù)卸載到邊緣節(jié)點(diǎn)中執(zhí)行。針對(duì)卸載過程中用戶任務(wù)隨機(jī)產(chǎn)生且系統(tǒng)資源動(dòng)態(tài)變化問題，提出了一種基于異步獎(jiǎng)勵(lì)的深度確定性策略梯度（asynchronousrewarddeepdeterministicpolicygradient，ARDDPG）算法。不同于傳統(tǒng)獨(dú)立任務(wù)資源分配采用順序等待執(zhí)行的策略，該算法在任務(wù)產(chǎn)生的時(shí)隙即可執(zhí)行資源分配，不必等待上一個(gè)任務(wù)執(zhí)行完畢，以異步模式獲取任務(wù)計(jì)算獎(jiǎng)勵(lì)。ARDDPG算法在時(shí)延約束下聯(lián)合優(yōu)化了任務(wù)卸載決策、動(dòng)態(tài)帶寬分配和計(jì)算資源分配，并通過深度確定性策略梯度訓(xùn)練神經(jīng)網(wǎng)絡(luò)來探索最佳優(yōu)化性能。仿真結(jié)果表明，與隨機(jī)策略、基線策略和DQN算法相比，ARDDPG算法在不同時(shí)延約束和任務(wù)生成率下有效降低了任務(wù)丟棄率和系統(tǒng)的時(shí)延和能耗。

關(guān)鍵詞：邊緣計(jì)算；任務(wù)卸載；資源聯(lián)合優(yōu)化；動(dòng)態(tài)帶寬分配；DDPG

中圖分類號(hào)：TN915.07文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）05-032-1491-06

0引言

隨著5G通信的發(fā)展，移動(dòng)設(shè)備產(chǎn)生了各種計(jì)算密集性任務(wù)［1］，如智能終端、虛擬現(xiàn)實(shí)、自動(dòng)駕駛、農(nóng)業(yè)無人機(jī)和工業(yè)物聯(lián)網(wǎng)等［2～6］，這些計(jì)算密集型任務(wù)需要更低的處理時(shí)間和能耗。移動(dòng)邊緣計(jì)算（mobileedgecomputing，MEC）［7］是將數(shù)據(jù)處理服務(wù)器移動(dòng)到網(wǎng)絡(luò)邊緣，更接近終端設(shè)備。這樣，設(shè)備將計(jì)算密集型數(shù)據(jù)卸載到邊緣節(jié)點(diǎn)，從而減少了數(shù)據(jù)傳輸?shù)胶诵木W(wǎng)絡(luò)所帶來的不必要的延遲和能耗［8］，為實(shí)現(xiàn)高效的計(jì)算卸載、確保網(wǎng)絡(luò)效率和改善用戶體驗(yàn)提供了一種切實(shí)有效的方案［9］。

MEC系統(tǒng)有著豐富的計(jì)算資源和網(wǎng)絡(luò)資源，可以為任務(wù)卸載提供高帶寬和高吞吐量，從而提高傳輸速率并節(jié)省通信時(shí)延［10］，有效降低延遲敏感性任務(wù)丟棄的比率。在實(shí)際應(yīng)用中，由于邊緣節(jié)點(diǎn)和終端設(shè)備的多樣性，MEC需要采用合適的計(jì)算卸載策略。由于帶寬和功率等通信資源、邊緣節(jié)點(diǎn)存儲(chǔ)和計(jì)算資源的約束，為了降低連續(xù)時(shí)隙內(nèi)的時(shí)延和能耗，MEC需要按需分配這些資源來平衡各種設(shè)備卸載任務(wù)時(shí)對(duì)資源的競爭。因此，如何聯(lián)合優(yōu)化連續(xù)時(shí)隙內(nèi)MEC系統(tǒng)的計(jì)算卸載策略和資源分配策略成為一個(gè)關(guān)鍵性問題［11，12］。針對(duì)上述問題，相關(guān)學(xué)者進(jìn)行了廣泛關(guān)注和研究。

針對(duì)目標(biāo)優(yōu)化問題，Kuang等人［13］在單用戶MEC系統(tǒng)場景下提出了拉格朗日對(duì)偶分解方法，在用戶卸載分配傳輸功率約束下減少系統(tǒng)的時(shí)延和能耗；Huang等人［14］聯(lián)合任務(wù)卸載和帶寬分配，提出了一種基于深度強(qiáng)化學(xué)習(xí)的優(yōu)化方法，以最小化能量成本、計(jì)算成本和延遲成本方面的總卸載成本；Guo等人［15］提出了一種邊緣云協(xié)同卸載的策略，該策略將任務(wù)集中分配到不同的邊緣節(jié)點(diǎn)或云節(jié)點(diǎn)，旨在最小化系統(tǒng)能耗和延遲。然而，文獻(xiàn)［13～15］只考慮了計(jì)算卸載決策或單資源分配決策，未充分考慮系統(tǒng)帶寬和計(jì)算資源等共同分配與卸載決策聯(lián)合優(yōu)化問題。Labidi等人［16］提出了一種離線策略，并在延時(shí)和系統(tǒng)資源約束下降低了系統(tǒng)能耗；Ren等人［17］利用用戶的部分計(jì)算卸載，通過聯(lián)合優(yōu)化計(jì)算和通信資源分配，研究了多用戶MEC系統(tǒng)的延遲最小化問題；Li等人［18］為保證用戶公平競爭計(jì)算資源和通信帶寬，同時(shí)聯(lián)合優(yōu)化部分任務(wù)卸載，采用遺傳算法減少系統(tǒng)時(shí)延，并獲得了最優(yōu)的卸載策略。文獻(xiàn)［16～18］聯(lián)合系統(tǒng)資源和計(jì)算卸載優(yōu)化了延時(shí)或能耗，但優(yōu)化目標(biāo)單一，未能共同考慮時(shí)延和能耗等多目標(biāo)優(yōu)化問題。

上述研究基于傳統(tǒng)的數(shù)學(xué)方法，計(jì)算復(fù)雜度高，對(duì)于非凸優(yōu)化問題容易陷入局部最優(yōu)解。而深度強(qiáng)化學(xué)習(xí)具有自學(xué)習(xí)和自適應(yīng)的特點(diǎn)［19］，能夠處理高維動(dòng)態(tài)和隨機(jī)變化的資源分配問題。Zhao等人［20］采用深度Q網(wǎng)絡(luò)算法解決多用戶和多接入點(diǎn)之間的卸載問題，并采用多種動(dòng)態(tài)帶寬資源分配方案優(yōu)化用戶與接入點(diǎn)之間的無線頻譜，但未考慮系統(tǒng)計(jì)算資源的聯(lián)合優(yōu)化問題，且忽略了系統(tǒng)的等待時(shí)延。Li等人［21］針對(duì)信道和負(fù)載動(dòng)態(tài)時(shí)變的場景，將聯(lián)合優(yōu)化問題分解成兩個(gè)子問題，并采用二分搜索和深度強(qiáng)化學(xué)習(xí)分別求解這兩個(gè)問題，該算法研究了最優(yōu)動(dòng)態(tài)資源分配輔助計(jì)算卸載，但其只考慮單服務(wù)器的場景，未考慮任務(wù)產(chǎn)生的隨機(jī)性和等待時(shí)延。Tang等人［22］提出了基于長短期記憶（LSTM）的DQN和決斗DQN算法，通過將網(wǎng)絡(luò)分布部署到各設(shè)備來解決任務(wù)隨機(jī)產(chǎn)生和卸載決策問題，但由于其網(wǎng)絡(luò)部署在設(shè)備端，無法聯(lián)合優(yōu)化系統(tǒng)帶寬和計(jì)算資源。Chen等人［23］將增強(qiáng)現(xiàn)實(shí)應(yīng)用建模成有向無環(huán)圖，針對(duì)任務(wù)卸載和動(dòng)態(tài)資源分配的聯(lián)合優(yōu)化問題，提出了多代理的DDPG（MADDPG）算法，該算法也是在每個(gè)用戶端部署DDPG網(wǎng)絡(luò)，并且分別對(duì)卸載決策、上下行傳輸資源和計(jì)算資源進(jìn)行訓(xùn)練，由于其狀態(tài)空間和動(dòng)作空間非常大，任務(wù)一旦增加，每個(gè)用戶不能及時(shí)作出決策。文獻(xiàn)［20，21，23］通過集中式部署神經(jīng)網(wǎng)絡(luò)來分配資源，在等待上一波任務(wù)執(zhí)行完畢且獲得獎(jiǎng)勵(lì)和下一個(gè)狀態(tài)后，隨機(jī)產(chǎn)生的任務(wù)才能統(tǒng)一作出決策并分配資源。本文在多用戶多邊緣節(jié)點(diǎn)場景下，按時(shí)隙劃分并在每個(gè)時(shí)隙隨機(jī)產(chǎn)生任務(wù)，提出：a）系統(tǒng)按照當(dāng)前時(shí)隙傳輸隊(duì)列中某用戶數(shù)據(jù)量所占比例分配帶寬，保證等待傳輸?shù)挠脩羧蝿?wù)同時(shí)傳輸完畢，體現(xiàn)系統(tǒng)的公平性和下一時(shí)隙所有用戶作出決策的實(shí)時(shí)性；b）將當(dāng)前時(shí)隙到達(dá)邊緣節(jié)點(diǎn)的任務(wù)（之前時(shí)隙產(chǎn)生）作為狀態(tài)，為到達(dá)的任務(wù)分配計(jì)算資源；c）針對(duì)傳輸隊(duì)列的等待情況和到達(dá)邊緣節(jié)點(diǎn)的任務(wù)數(shù)據(jù)作為狀態(tài)，為隨機(jī)產(chǎn)生的任務(wù)作出卸載決策。

用戶任務(wù)的狀態(tài)和動(dòng)作的時(shí)隙與卸載到邊緣節(jié)點(diǎn)分配計(jì)算資源、執(zhí)行完畢并獲得獎(jiǎng)勵(lì)的時(shí)隙并非在一個(gè)時(shí)隙，期間對(duì)于每個(gè)時(shí)隙隨機(jī)產(chǎn)生的任務(wù)都可以立即作出決策并執(zhí)行卸載，同時(shí)系統(tǒng)在每個(gè)時(shí)隙都檢測是否有任務(wù)處理完畢并獲取獎(jiǎng)勵(lì)，體現(xiàn)了獎(jiǎng)勵(lì)的異步性。因此，本文提出了一種基于異步獎(jiǎng)勵(lì)的DDPG算法（ARDDPG）來聯(lián)合優(yōu)化計(jì)算卸載決策和資源分配決策，并通過緩存方法來解決系統(tǒng)獎(jiǎng)勵(lì)的異步性問題，目標(biāo)為最小化系統(tǒng)時(shí)延和能耗。

1任務(wù)卸載模型

1.1系統(tǒng)模型

本文建立了一個(gè)多用戶多服務(wù)器模型，如圖1所示。本文定義系統(tǒng)中所有任務(wù)都是按照先來先服務(wù)（FCFS）的模式運(yùn)行，每個(gè)用戶設(shè)備會(huì)產(chǎn)生一系列任務(wù)，并自主決策是否卸載到邊緣節(jié)點(diǎn)。該訓(xùn)練算法將為卸載的任務(wù)動(dòng)態(tài)分配網(wǎng)絡(luò)資源和計(jì)算資源。此模型使用EuclidMathOneMAp={1，2，…，M}表示用戶設(shè)備的集合，lm，i為用戶設(shè)備m∈EuclidMathOneMAp產(chǎn)生的第i任務(wù)。本文重點(diǎn)關(guān)注一段持續(xù)時(shí)間EuclidMathOneTAp包含一組時(shí)隙集合{1，2，…，EuclidMathOneTAp}，其中每個(gè)時(shí)隙為τ，用戶任務(wù)lm，i可按照比例隨機(jī)在時(shí)隙EuclidMathOneTAp內(nèi)生成。MEC系統(tǒng)中，用戶任務(wù)lm，i確定卸載決策αm，i，決定在本地執(zhí)行或者從邊緣服務(wù)器節(jié)點(diǎn)集合EuclidMathOneNAp={1，2，…，N}中選擇其中的一個(gè)節(jié)點(diǎn)n∈EuclidMathOneNAp作為卸載目標(biāo)。令αm，i∈{0，1，2，…，N}，即αm，i=0時(shí)，用戶任務(wù)lm，i將在本地執(zhí)行，αm，i=n（n≠0）時(shí)，任務(wù)lm，i將下載到邊緣節(jié)點(diǎn)n中執(zhí)行。本文定義所有用戶共用帶寬Bw，系統(tǒng)中多個(gè)用戶可以隨時(shí)產(chǎn)生任務(wù)并通過無線鏈路傳輸?shù)竭吘壒?jié)點(diǎn)，為此本文提出根據(jù)每個(gè)用戶設(shè)備產(chǎn)生的所有任務(wù)卸載量所占的比例動(dòng)態(tài)分配帶寬Bw和MEC邊緣節(jié)點(diǎn)頻率fmecn，從而聯(lián)合優(yōu)化系統(tǒng)資源并最小化系統(tǒng)能耗和時(shí)延。以下將給出計(jì)算卸載的詳細(xì)建模。

3實(shí)驗(yàn)與結(jié)果分析

3.1參數(shù)設(shè)置

本文考慮了一個(gè)10用戶3邊緣節(jié)點(diǎn)的系統(tǒng)。與文獻(xiàn)［22］類似，每個(gè)用戶在300個(gè)時(shí)隙內(nèi)按照指定比例隨機(jī)產(chǎn)生任務(wù)。每個(gè)任務(wù)數(shù)據(jù)量Dm，i在2～5Mbit［22］，每個(gè)時(shí)隙時(shí)間τ為0.1s，在優(yōu)化目標(biāo)中本文使用時(shí)隙個(gè)數(shù)作為時(shí)延部分，本地和邊緣節(jié)點(diǎn)的能效系數(shù)均為2.97mJ/Mbit，加權(quán)參數(shù)λ=0.9。卸載過程中，仿真設(shè)置上行鏈路帶寬r=140Mbps，傳輸功率為0.5W。每個(gè)用戶設(shè)備的計(jì)算能力flocm=2.5GHz，每個(gè)邊緣節(jié)點(diǎn)的計(jì)算能力fmecn=200GHz。最后，本文假設(shè)任務(wù)可以在邊緣節(jié)點(diǎn)分別分配的計(jì)算資源下并行計(jì)算。深度強(qiáng)化學(xué)習(xí)算法DDPG超參數(shù)設(shè)置如表1所示。

3.2結(jié)果分析

本文將ARDDPG與隨機(jī)策略（random）、僅本地計(jì)算策略（fulllocal）、僅邊緣策略（fullmec）和DQN的性能進(jìn)行比較。其中，random策略是隨機(jī)產(chǎn)生卸載策略和邊緣節(jié)點(diǎn)計(jì)算資源分配策略；fullmec算法是所有用戶任務(wù)都在邊緣節(jié)點(diǎn)處理，并通過ARDDPG算法選擇邊緣節(jié)點(diǎn)進(jìn)行卸載和為所有邊緣節(jié)點(diǎn)的任務(wù)分配計(jì)算資源；DQN算法是深度強(qiáng)化學(xué)習(xí)的一種基本算法，是本文重點(diǎn)對(duì)比的算法。

圖5（a）（b）分別顯示了任務(wù)生成率為0.3（約900個(gè)任務(wù)）和0.5（約1500個(gè)任務(wù)）的情況下五種策略系統(tǒng)獎(jiǎng)勵(lì)的收斂性能。每個(gè)回合的獎(jiǎng)勵(lì)值是在系統(tǒng)所有任務(wù)執(zhí)行完畢后總體時(shí)延和能耗的加權(quán)和的相反數(shù)。可以看出，隨著訓(xùn)練回合的增加，ARDDPG、fullmec和DQN三種算法逐漸達(dá)到收斂，random策略一直在一個(gè)范圍波動(dòng)，fulllocal策略每一回合固定處理，獎(jiǎng)勵(lì)不變。收斂穩(wěn)定后，本文提出的ARDDPG算法在收斂速度和獎(jiǎng)勵(lì)方面較其他四種策略更優(yōu)。

圖6顯示了所提算法在不同學(xué)習(xí)率下系統(tǒng)獎(jiǎng)勵(lì)的收斂性，其中學(xué)習(xí)率用于調(diào)整ARDDPG網(wǎng)絡(luò)權(quán)重ω的更新速率。當(dāng)學(xué)習(xí)率為0.001時(shí)，其收斂速率相較于學(xué)習(xí)率為0.0001時(shí)更快，獎(jiǎng)勵(lì)值更大且最平穩(wěn)；當(dāng)學(xué)習(xí)率超過0.01時(shí)，訓(xùn)練陷入局部最優(yōu)，未獲得全局最優(yōu)獎(jiǎng)勵(lì)。因此，本文選取DDPG網(wǎng)絡(luò)學(xué)習(xí)率為0.001。

圖7顯示了小批量樣本數(shù)（batchsize）對(duì)系統(tǒng)獎(jiǎng)勵(lì)收斂性的影響，小批量樣本數(shù)即為每次訓(xùn)練所需的經(jīng)驗(yàn)樣本數(shù)。經(jīng)過300次訓(xùn)練后，隨著小批量樣本數(shù)由4增加到32，系統(tǒng)收斂速率更快且獲取的獎(jiǎng)勵(lì)更大。因此，從收斂速度和獎(jiǎng)勵(lì)方面看，小批量樣本數(shù)越大越好。本文在對(duì)比分析其他性能指標(biāo)時(shí)，選擇batchsize為32。

圖8（a）顯示了算法訓(xùn)練過程中任務(wù)產(chǎn)生概率對(duì)任務(wù)丟棄數(shù)量的影響。可以看出，在訓(xùn)練達(dá)到穩(wěn)定后，任務(wù)生成概率為0.1和0.3時(shí)，丟包數(shù)量最少且趨于0。隨著任務(wù)生成率的增大，任務(wù)丟包量越多。當(dāng)任務(wù)生成率為0.7時(shí)，任務(wù)丟包數(shù)量最多且抖動(dòng)最明顯，容易陷入局部極小值。圖8（b）顯示了算法訓(xùn)練過程中最大時(shí)延約束（maxdelay）Tmax對(duì)任務(wù)丟棄數(shù)量的影響。可以看出，隨著最大時(shí)延約束的增大，任務(wù)丟包量依次減少，在最大時(shí)延約束超過1s時(shí)，任務(wù)丟棄量明顯趨于0。因此，本文可以在滿足系統(tǒng)時(shí)延情況下適當(dāng)增加最大時(shí)延約束，可以顯著降低系統(tǒng)丟包數(shù)。

下面將ARDDPG算法與其他四種聯(lián)合優(yōu)化策略在任務(wù)丟棄數(shù)占任務(wù)生成數(shù)的比例（proportionofdroppedtasks）和系統(tǒng)每個(gè)任務(wù)的平均成本ave（Φ）（systemaveragecost，式（15））兩個(gè)指標(biāo)上進(jìn)行了對(duì)比分析。

圖9（a）顯示了五種策略下任務(wù)生成率與任務(wù)丟棄占比的關(guān)系。可以看出，隨著任務(wù)生成率的增加，五種策略任務(wù)丟棄占比逐漸增加，但ARDDPG算法丟棄任務(wù)數(shù)量較其他四種更低。由于fulllocal和fullmec策略只能在本地或邊緣節(jié)點(diǎn)中執(zhí)行，計(jì)算資源不足，所以任務(wù)丟棄占較大。圖9（b）顯示了五種策略下任務(wù)生成率與系統(tǒng)平均成本ave（Φ）的關(guān)系。隨著任務(wù)生成率的增加，ARDDPG算法系統(tǒng)平均成本明顯低于其他四種策略，表明ARDDPG算法能同時(shí)兼顧任務(wù)卸載比率和系統(tǒng)平均成本，很好地體現(xiàn)了ARDDPG算法的性能。

圖10（a）顯示了五種策略下最大時(shí)延約束與任務(wù)丟棄占比的關(guān)系。隨著最大時(shí)延約束的增大，五種策略任務(wù)丟棄比例均出現(xiàn)下降。與DQN訓(xùn)練算法相比，ARDDPG算法在最大時(shí)延約束下任務(wù)丟棄占比最小。特別地，在最大時(shí)延約束為1s時(shí)，ARDDPG算法任務(wù)丟棄占比已經(jīng)達(dá)到最小值0。圖10（b）顯示了五種策略下最大時(shí)延約束與系統(tǒng)平均成本ave（Φ）的關(guān)系。隨著任務(wù)最大時(shí)延約束增加，系統(tǒng)任務(wù)丟包數(shù)減少，因此random和fulllocal策略的系統(tǒng)任務(wù)計(jì)算時(shí)延和能耗增大。由于DQN算法、fullmec和ARDDPG算法在最大時(shí)延約束超過1s時(shí)，任務(wù)丟棄占比趨于0，系統(tǒng)總成本不變，所以系統(tǒng)平均成本趨于穩(wěn)定。五種策略相比，ARDDPG算法訓(xùn)練得到的系統(tǒng)平均成本最低。

基于以上分析，由于DQN算法只使用目標(biāo)網(wǎng)絡(luò)來訓(xùn)練系統(tǒng)成本，容易產(chǎn)生高估問題，且由于其只能從海量離散的資源里面選擇合適的動(dòng)作，算法收斂慢，且訓(xùn)練的系統(tǒng)成本明顯高于ARDDPG算法。進(jìn)一步說明ARDDPG算法能夠有效地實(shí)現(xiàn)系統(tǒng)計(jì)算卸載策略和資源分配策略的聯(lián)合優(yōu)化。

4結(jié)束語

本文重點(diǎn)針對(duì)多用戶多邊緣節(jié)點(diǎn)場景下連續(xù)時(shí)隙內(nèi)的聯(lián)合優(yōu)化任務(wù)卸載決策和資源分配問題開展研究，同時(shí)為了解決卸載過程中隨機(jī)性產(chǎn)生任務(wù)的問題，研究了基于ARDDPG的深度強(qiáng)化學(xué)習(xí)策略。該策略以降低系統(tǒng)的時(shí)延和能耗為目標(biāo)，在任務(wù)產(chǎn)生時(shí)即可實(shí)時(shí)地執(zhí)行動(dòng)作，到該任務(wù)獲取獎(jiǎng)勵(lì)期間的每個(gè)時(shí)隙仍然可以對(duì)其他任務(wù)執(zhí)行動(dòng)作。同時(shí)ARDDPG算法能夠以集中方式自適應(yīng)地從海量動(dòng)作空間中訓(xùn)練得到全局最優(yōu)解，由于算法只需要一個(gè)智能體集中訓(xùn)練網(wǎng)絡(luò)，算法收斂快且不易產(chǎn)生高估問題。仿真結(jié)果表明，該算法相較于基線策略和DQN顯著降低了系統(tǒng)的丟包率和總體效用，對(duì)于復(fù)雜聯(lián)合優(yōu)化問題具有良好的適用性。未來工作中，將針對(duì)云邊協(xié)同系統(tǒng)聯(lián)合優(yōu)化卸載策略和資源分配策略，并將該方法和網(wǎng)絡(luò)切片技術(shù)應(yīng)用到優(yōu)化過程中，緩解核心網(wǎng)絡(luò)的傳輸壓力，減少網(wǎng)絡(luò)擁塞，這是物聯(lián)網(wǎng)網(wǎng)絡(luò)架構(gòu)的發(fā)展趨勢(shì)。

參考文獻(xiàn)：

［1］SaeikF，AvgerisM，SpatharakisD，etal.Taskoffloadinginedgeandcloudcomputing：asurveyonmathematical，artificialintelligenceandcontroltheorysolutions［J］.ComputerNetworks，2021，195（8）：108177.

［2］AbnerM，WongPKY，ChengJCP.Batterylifespanenhancementstrategiesforedgecomputing-enabledwirelessbluetoothmeshsensornetworkforstructuralhealthmonitoring［J］.AutomationinConstruction，2022，140（8）：104355.

［3］JinXinqi，LiLingkun，DangFan，etal.Asurveyonedgecomputingforwearabletechnology［J］.DigitalSignalProcessing，2022，125（6）：103146.

［4］陳清林，鄺祝芳.基于DDPG的邊緣計(jì)算任務(wù)卸載和服務(wù)緩存算法［J］.計(jì)算機(jī)工程，2021，47（10）：26-33.（ChenQinglin，KuangZhufang.TaskoffloadingandservicecachingalgorithmbasedonDDPGinedgecomputing［J］.ComputerEngineering，2021，47（10）：26-33.）

［5］SongZhengyu，QinXintong，HaoYuanyuan，etal.Acomprehensivesurveyonaerialmobileedgecomputing：challenges，state-of-the-art，andfuturedirections［J］.ComputerCommunications，2022，191（7）：233-256.

［6］FengChuan，HanPengchao，ZhangXu，etal.Computationoffloadinginmobileedgecomputingnetworks：asurvey［J］.JournalofNetworkandComputerApplications，2022，202（6）：103366.

［7］MaoYuyi，YouChangsheng，ZhangJun，etal.Asurveyonmobileedgecomputing：thecommunicationperspective［J］.IEEECommunicationsSurveysandTutorials，2017，19（4）：2322-58.

［8］FangJuan，ZhangMengyuan，YeZhiyuan，etal.Smartcollaborativeoptimizationsstrategyformobileedgecomputingbasedondeepreinforcementlearning［J］.Computersamp;ElectricalEngineering，2021，96（12）：107539.

［9］YanPeizhi，ChoudhuryS.DeepQ-learningenabledjointoptimizationofmobileedgecomputingmulti-leveltaskoffloading［J］.ComputerCommunications，2021，180（12）：271-283.

［10］Bréhon-GrataloupL，KacimiR，BeylotAL.MobileedgecomputingforV2Xarchitecturesandapplications：asurvey［J］.ComputerNetworks，2022，206（4）：108797.

［11］MachP，BecvarZ.Mobileedgecomputing：asurveyonarchitectureandcomputationoffloading［J］.IEEECommunicationsSurveysandTutorials，2017，19（3）：1628-56.

［12］趙潤暉，文紅，侯文靜.基于MADDPG的邊緣網(wǎng)絡(luò)任務(wù)卸載與資源管理［J］.通信技術(shù)，2021，54（4）：864-868.（ZhaoRunhui，WenHong，HouWenjing.MADDPG-basedtaskoffloadingandresourcemanagementforedgenetworks［J］.CommunicationsTechnology，2021，54（4）：864-868.）

［13］KuangZhufang，LiLinfeng，GaoJie，etal.Partialoffloadingschedulingandpowerallocationformobileedgecomputingsystems［J］.IEEEInternetofThingsJournal，2019，6（4）：6774-85.

［14］HuangLiang，F(xiàn)engXu，ZhangCheng，etal.Deepreinforcementlear-ning-basedjointtaskoffloadingandbandwidthallocationformulti-usermobileedgecomputing［J］.DigitalCommunicationsandNetworks，2019，5（1）：10-17.

［15］GuoXueying，SinghR，ZhaoTianchu，etal.Anindexbasedtaskassignmentpolicyforachievingoptimalpower-delaytradeoffinedgecloudsystems［C］//ProcofIEEEInternationalConferenceonCommunications.Piscataway，NJ：IEEEPress，2016：1109-1115.

［16］LabidiW，SarkissM，KamounM.Jointmulti-userresourceschedulingandcomputationoffloadinginsmallcellnetworks［C］//Procofthe11thIEEEInternationalConferenceonWirelessandMobileComputing，NetworkingandCommunications.Piscataway，NJ：IEEEPress，2015：794-801.

［17］RenJinke，YuGuanding，CaiYunlong，etal.Latencyoptimizationforresourceallocationinmobile-edgecomputationoffloading［J］.IEEETransonWirelessCommunications，2018，17（8）：5506-5519.

［18］LiZhi，ZhuQi.Geneticalgorithm-basedoptimizationofoffloadingandresourceallocationinmobile-edgecomputing［J］.Information，2020，11（2）：DOI：10.3390/info11020083.

［19］ChenWen，ChenYuhu，WuJiaxing，etal.Amulti-userservicemigrationschemebasedondeepreinforcementlearningandSDNinmobileedgecomputing［J］.PhysicalCommunication，2021，47（8）：101397.

［20］ZhaoRui，WangXinjie，XiaJunjuan，etal.Deepreinforcementlear-ningbasedmobileedgecomputingforintelligentInternetofthings［J］.PhysicalCommunication，2020，43（12）：101184.

［21］LiYang，WangTianshun，WuYuan，etal.Optimaldynamicspectrumallocation-assistedlatencyminimizationformulti-usermobileedgecomputing［J］.DigitalCommunicationsandNetworks，2022，8（3）：247-256.

［22］TangMing，WongVWS.Deepreinforcementlearningfortaskoffloa-dinginmobileedgecomputingsystems［J］.IEEETransonMobileComputing，2022，21（6）：1985-1997.

［23］ChenXing，LiuGuizhong.Energy-efficienttaskoffloadingandresourceallocationviadeepreinforcementlearningforaugmentedrealityinmobileedgenetworks［J］.IEEEInternetofThingsJournal，2021，8（13）：10843-10856.