基于改進深度強化學習的動態(tài)移動機器人協(xié)同計算卸載

摘 要：移動邊緣計算是解決機器人大計算量任務需求的一種方法。傳統(tǒng)算法基于智能算法或凸優(yōu)化方法，迭代時間長。深度強化學習通過一次前向傳遞即可求解，但只針對固定數(shù)量機器人進行求解。通過對深度強化學習分析研究，在深度強化學習神經(jīng)網(wǎng)絡中輸入層前進行輸入規(guī)整，在輸出層后添加卷積層，使得網(wǎng)絡能夠自適應滿足動態(tài)移動機器人數(shù)量的卸載需求。最后通過仿真實驗驗證，與自適應遺傳算法和強化學習進行對比，驗證了所提算法的有效性及可行性。

關鍵詞：移動邊緣計算；計算卸載；深度強化學習；協(xié)同計算

中圖分類號：TP242.2 文獻標志碼：A

文章編號：1001-3695（2022）07-026-2087-04

doi：10.19734/j.issn.1001-3695.2021.11.0654

基金項目：國家自然科學基金資助項目（U1908212，6101020101）；遼寧省興遼英才項目（XLYC1907057）；國家重點研發(fā)項目（2018YFB1700200）

作者簡介：李少波（1996-），男，河北邯鄲人，碩士研究生，主要研究方向為邊緣計算；劉意楊（1980-），男（通信作者），遼寧沈陽人，研究員，碩導，博士，主要研究方向為智能控制與智能優(yōu)化（sialiuyiyang@sia.cn）．

Dynamic mobile robot collaborative computing offloading

based on improved deep reinforcement learning

Li Shaobo^{1，2，3，4}，Liu Yiyang^1，2，3?

（1.Key Laboratory of Networked Control Systems，Chinese Academy of Sciences，Shenyang 110016，China；2.Shenyang Institute of Automation，Chinese Academy of Sciences，Shenyang 110016，China；3.Institutes for Robotics amp; Intelligent Manufacturing，Chinese Academy of Sciences，Shenyang 110169，China；4.University of Chinese Academy of Sciences，Beijing 100049，China）

Abstract：Mobile edge computing is a method to solve the computing-intensive task requirements of robots.Traditional algorithms are based on intelligent algorithms or convex optimization methods，and the iteration time is long.Deep reinforcement learning can be solved in a single forward pass，but only for a fixed number of robots.Through the analysis and research of deep reinforcement learning，this paper performed input regularization before the input layer in the deep reinforcement learning neural network，and added a convolution layer after the output layer so that the network could adaptively meet the unloading requirements of the number of dynamic mobile robots.Finally，it carried out the simulation experiments to verify the effectiveness and feasibility of proposed algorithm，compared with the adaptive genetic algorithm and reinforcement learning.

Key words：mobile edge computing；compute unload；deep reinforcement learning；collaborative computing

0 引言

伴隨近年來嵌入式、傳感器以及大數(shù)據(jù)人工智能技術在相關領域不斷發(fā)展，機器人技術逐漸覆蓋到人們生活各個方面，尤其是在移動機器人領域，根據(jù)國際機器人聯(lián)合會（IFR）發(fā)布的《2021年世界機器人—服務機器人報告》，在2021年全球范圍內(nèi)專業(yè)服務機器人相比2020年增長了12%，目前有三分之一專業(yè)機器人用于貨物運輸，移動機器人和送貨機器人增長了11%^［1］。位于網(wǎng)絡邊緣移動機器人是提供服務的重要載體，可以就近提供邊緣智能服務。近些年來人們嘗試將移動機器人應用于救援場景進行信息收集或用于小區(qū)無人送貨場景，然而受限于移動機器人自身體積以及計算能力限制，難以進行應對各種非結(jié)構化環(huán)境以及計算密集型任務需求。為提高移動機器人執(zhí)行任務的能力，文獻［2］在2010年提出“云機器人”概念，通過借助通信技術以及云計算技術，使機器人的運算工作在云端完成，執(zhí)行工作在移動機器人完成，打通了移動機器人與人工智能之間的壁壘，但這就需要解決云機器人的任務卸載問題。文獻［3］對云機器人系統(tǒng)從網(wǎng)絡架構以及網(wǎng)絡資源兩個角度進行網(wǎng)絡優(yōu)化，同時在計算卸載方面，提出一種能耗敏感的計算卸載策略對計算任務卸載。伴隨著移動機器人移動服務范圍擴大，文獻［4］提出一種將環(huán)境、任務、領域進行模塊分解，在各個模塊之間進行知識共享的知識型云機器人。文獻［5］提出一種基于市場管理策略多傳感數(shù)據(jù)檢索框架來提高機器人和云服務器之間動態(tài)協(xié)作能力。文獻［6］提供一個云機器人平臺，允許機器人訪問平臺中的知識庫，便于機器人在云端部署。文獻［7］提出一種云機器人架構，能夠支持機器人到機器人以及機器人到云通信，通過彈性計算模型，使得機器人相互之間能夠共享信息以及任務卸載。在云機器人中，機器人與云服務器之間通過網(wǎng)絡傳輸數(shù)據(jù)和應用過程中會出現(xiàn)網(wǎng)絡延遲并且占用過多網(wǎng)絡資源^［8］。

邊緣計算的出現(xiàn)可以將計算云機器人任務卸載到邊緣服務器進行，降低網(wǎng)絡延遲以及網(wǎng)絡占用率。文獻［9］提出一種基于邊緣計算云機器人系統(tǒng)，探討四種對于在邊緣側(cè)服務器實現(xiàn)這種云原生機器人可行性方案；文獻［10］討論邊緣計算在設備、車間、企業(yè)三個制造層次中的使用，建立機器人柔性自適應加工制造模型；文獻［11］考慮邊緣網(wǎng)絡動態(tài)性，使用光纖無線增強網(wǎng)絡通信能力，提出一種基于軟件定義網(wǎng)絡負載均衡任務卸載方案；文獻［12］提出一種停車邊緣計算概念，旨在充分利用空閑資源；文獻［13］基于任務相似性以及計算能力相似性，將移動機器人劃分為兩個子集合，提出一種協(xié)同任務計算的計算方式，降低向邊緣服務器卸載任務量；文獻［14］提出一種車輛鄰居概念，構架一種邊緣網(wǎng)絡體系結(jié)構，根據(jù)移動車輛數(shù)據(jù)觀測進行分組，并進行組內(nèi)相似任務共享服務；文獻［15］提出一種基于深度強化學習計算卸載算法，將計算任務分為耐延遲以及非耐延遲類型，對于非耐延遲類型卸載至邊緣服務器計算，耐延遲卸載至云服務器計算，提高整體計算效益；文獻［16］基于上行和下行流量差異提出上下文分析和基于凸優(yōu)化計算卸載策略；文獻［17］研究邊緣計算中設備周期性產(chǎn)生密集型計算任務場景，在該場景建立博弈論模型，提出一種計算邊緣側(cè)調(diào)度算法；文獻［18］引入一種設備和設備之間協(xié)作中繼，提出一種基于博弈論的卸載調(diào)度和負載均衡方案；文獻［19］研究邊緣計算中邊緣設備的移動性以及邊緣服務器可遷移性，構建一種可遷移的移動性計算框架，通過深度強化學習算法來進行設備計算卸載以及遷移決策優(yōu)化；文獻［20］提出一種綜合考慮時延和能耗，基于信譽值的計算分配模型，通過改進粒子群算法和拉格朗日乘法進行求解。

上述文獻對于云機器人以及移動邊緣計算研究作出很大貢獻，然而都只是針對設備數(shù)量固定場景進行研究，未考慮到移動機器人動態(tài)數(shù)量情況下計算任務卸載研究。本文針對動態(tài)移動機器人場景下進行計算任務調(diào)度研究，提出一種改進深度強化學習神經(jīng)網(wǎng)絡的調(diào)度算法。

1 系統(tǒng)模型

1.1 多機器人邊緣計算場景架構

本文假設在路一側(cè)部署一個MEC（mobile edge computing）服務器，在一段長度為400 m，寬度為10 m的直線線路中部署模型，系統(tǒng)由一個MEC服務器和若干個移動機器人組成，如圖1所示。

本文以路線左下角為原點，路長度方向為x軸，向右為正方向，寬度為y軸，向上為正方向。MEC服務器部署在路一側(cè)，MEC服務器建模為MECS={fs，Ps，Bs，locs}，其中，fs表示MECS的計算能力，用其CPU的每秒周期數(shù)表示，Ps表示MECS的通信功率，Bs表示MECS的通信帶寬，locs表示MECS的位置。將移動機器人集合表示為R={R1，R2，R3，…，Rn}，第i個機器人建模為Ri={fi，Pi，taski，loci}，其中，fi表示第i個移動機器人計算能力，用移動機器人CPU每秒周期數(shù)表示，Pi表示第i個移動機器人發(fā)射功率，taski表示第i個機器人產(chǎn)生任務。task建模為taski= {datai，cyclei}，其中datai表示第i個任務數(shù)據(jù)量，cyclei表示每個任務中每個bit數(shù)據(jù)需要的循環(huán)數(shù)量，loci表示第i個移動機器人位置坐標loci = （xi，yi）。將移動機器人與移動機器人之間卸載矩陣表示為式（1），用n來表示移動機器人數(shù)量。

其中：XR2Ri，j表示第i個和第j個移動機器人之間的可卸載關系。移動機器人與MEC服務器之間的卸載關系為

MEC服務器可以覆蓋一個半徑為r范圍內(nèi)的移動機器人，移動機器人之間可以在距離d^maxRi，Rj之間進行通信，每個移動機器人都可以產(chǎn)生任務。這個計算任務可以在本地計算或卸載到MEC服務器中計算或者附近通信范圍內(nèi)的移動機器人進行計算，任務處理后，將處理結(jié)果返回任務卸載機器人。

1.2 時延模型

a）當?shù)趇個移動機器人產(chǎn)生的任務在本地進行計算時，本地計算時延模型為

b）當?shù)趇個移動機器人產(chǎn)生任務，卸載至第j個移動機器人時，兩個移動機器人之間的數(shù)據(jù)傳輸速率rRi，Rj為

其中：BRi，Rj表示兩個移動機器人之間的帶寬；d^-rRi，Rj表示兩個移動機器人之間的信道系數(shù)；dRi，Rj表示兩個移動機器人之間的距離；r表示信道衰落因子，此處r=4；N0表示信道噪聲功率。故將計算任務傳輸至另一個移動機器人的傳輸時延為

承擔計算任務移動機器人的計算時間為

本文忽略計算結(jié)果返回的時間，故在兩個移動機器人之間的卸載任務時間即為任務發(fā)送時間與任務計算時間之和，如式（9）所示。

c）當?shù)趇個移動機器人產(chǎn)生任務，卸載至MEC服務器時，移動機器人與MEC服務器之間的數(shù)據(jù)傳輸速率為

其中：BRi，MECS表示移動機器人與MEC服務器之間的帶寬；Pi表示移動機器人與MEC服務器之間的通信功率；dRi，Rj表示移動機器人與MEC服務器之間的距離；r表示信道衰落因子，此處r=4，N1表示信道噪聲功率。故將計算任務傳輸至MEC服務器的傳輸時延為

MEC服務器計算時間為

本文忽略任務計算結(jié)果返回時間，故在MEC服務器卸載任務的時間即為任務發(fā)送時間與任務計算時間之和，如式（13）所示。

1.3 移動機器人之間可卸載關系模型

對于移動機器人之間的卸載關系，可通過以下要求進行計算，為簡單描述，將發(fā)出任務卸載機器人稱為任務機，將承擔任務計算的機器人稱為承擔機。

a）任務機與承擔機之間的卸載關系需要滿足：承擔機計算能力要高于任務機。

其中：fi表示卸載機的計算能力；fj表示承擔機的計算能力。當承擔機計算能力高于卸載機計算能力，承擔機才有可能承擔卸載機的計算任務。

b）任務機與承擔機之間可通信時間，用tRi，Rj表示Ri與Rj之間在通信范圍內(nèi)的時間，即dRi，Rjlt;d^maxRi，Rj時間長短。

任務機與承擔機在可通信范圍內(nèi)時間越長，其承擔卸載任務可能性越大。

綜合上述兩個條件，兩個機器人之間的卸載關系表示為

1.4 卸載決策及優(yōu)化目標

為使系統(tǒng)盡可能完成卸載任務，采用最小化系統(tǒng)總時延為優(yōu)化目標，即系統(tǒng)中所有任務計算以及傳輸時間之和，此處忽略任務計算完后結(jié)果傳輸時間。

2 改進深度強化學習卸載算法設計

本文目標是設計一個卸載策略函數(shù)G，使其能夠在得到可卸載矩陣以及任務后，可以計算出對應卸載矩陣，在這里先將可卸載矩陣XR2R、XR2S和任務矩陣task轉(zhuǎn)換為行向量X，即

本文學習的卸載策略函數(shù)為

其中：Y為卸載策略。而后將卸載策略Y轉(zhuǎn)為卸載矩陣，即

為使算法能夠適應不同輸入維度內(nèi)容，若XR2R維度不足100，則首先將可卸載矩陣XR2R以過補零的方式轉(zhuǎn)換為維度為100×100矩陣，task也同樣通過補零的方式轉(zhuǎn)換為100列向量，將XR2S也同樣補零轉(zhuǎn)換為100列向量。其次將轉(zhuǎn)換完的矩陣送入神經(jīng)網(wǎng)絡中進行預測，生成K組卸載方式矩陣。若XR2R維度不足100，首先將K組卸載方式矩陣分別進行卷積，卷積至與XR2R相同維度，得到一組新的可卸載矩陣；得到多組可卸載矩陣后，將多組可卸載矩陣輸入環(huán)境中分別計算其系統(tǒng)總體時延；將最優(yōu)卸載方式放入緩存中，若放入數(shù)量超過緩存大小，則將儲存時間最長的緩存內(nèi)容進行替換。待一組預測完成后，隨機選擇緩存中一定數(shù)量的內(nèi)容，對神經(jīng)網(wǎng)絡進行訓練，如此進行迭代。偽代碼如下：

算法1 算法計算過程

輸入：當前狀態(tài)。

輸出：卸載動作。

初始化DNN，K，經(jīng)驗存儲器M，d。

for each episode do：

根據(jù)式（16）計算出可卸載矩陣XR2R和XR2S，生成任務矩陣task；

if len（XR2R） lt; 100：

XR2R，XR2S，task擴展為100維；

將XR2R，XR2S，task轉(zhuǎn)換為一維數(shù)組X；

DNN（X）得到K組卸載向量Y；

將向量Y轉(zhuǎn)換為卸載矩陣a；

if len（XR2R） lt; 100：

將卸載矩陣a通過卷積卷到len（XR2R）維度；

通過式（17）判斷K組卸載矩陣R2R和R2S最優(yōu)項，放入經(jīng)驗池M中；

if經(jīng)過一百個周期：

從M中隨機選擇d個樣本，訓練DNN，更新DNN參數(shù)。

Y轉(zhuǎn)換為卸載矩陣的過程為：Y轉(zhuǎn)換成比XR2R多一行的卸載矩陣a。最后一行表示移動機器人向MEC服務器卸載向量。卷積過程為：此處設卷積核維度為k，卷積步長為s，卷積步長為

s=100/（n-1）（向下取整）（21）

卷積核k大小為

k=100-（s×（n-1））（22）

卷積核為k×k，卷積核對矩陣a進行步長為s的卷積（除去最后一行），對最后一行向量采用1×k卷積核對其進行步長為s的卷積，將a卷積為（n+1）×n矩陣。

3 仿真實驗分析

仿真平臺采用Python 3.6+PyTorch 1.9，硬件條件i5-10210U CPU，8 GB內(nèi)存，根據(jù)總體任務處理時延和任務成功率來評估，與自適應遺傳算法以及強化學習進行對比。

3.1 主要參數(shù)設置

本文參數(shù)設置如表1所示。

3.2 結(jié)果分析

本文算法網(wǎng)絡結(jié)構為輸入層寬度為100 200，第二層寬度為200，第三層寬度為100，第四層寬度為100 100，中間層激活函數(shù)選用sigmoid，如圖2所示。

在不同步長設置下收斂速度如圖3所示。從圖3中可以看出，在不同學習步長下其收斂速度不一致，在學習步長為0.01時收斂很快，在100步左右收斂；在學習步長為0.001時，在500步左右收斂；在學習步長為0.005時，在1 000步左右收斂；在學習步長為0.000 1時，由于訓練中步長過短，未能收斂；當學習步長為0.01時，收斂速度過快，有可能是收斂到局部最優(yōu)位置，不能充分學習整個映射函數(shù)特征；在學習步長為0.001與0.000 5時，都有較長迭代時間，能夠充分學習映射特征。為使其能夠?qū)W習充分，此處采用學習步長為0.005。

圖4是在不同任務概率下的總體時延情況。可以看出，伴隨著任務產(chǎn)生概率的升高，各個方案的總體時延都逐漸升高，這是因為整個系統(tǒng)中的計算資源是有限的，但任務密度是逐漸增加的，故整體的時延增加。與自適應遺傳算法和強化學習算法相比，自適應網(wǎng)絡強化學習算法的總體時延增加幅度較小，可以看出本文算法的性能更好。

圖5給出在不同任務概率下的任務成功率情況。可以看出，伴隨任務產(chǎn)生概率增加，各個方案任務成功率都有所下降，這是因為整個系統(tǒng)中計算資源是有限的，但任務密度增加。與自適應遺傳算法和強化學習算法相比，本文的自適應網(wǎng)絡強化學習算法的成功率較高，可以看出本文算法的優(yōu)越性。

與自適應遺傳算法和強化學習算法相比，在不同設備數(shù)量下系統(tǒng)總體延遲時間差別如圖6所示。可以看到，隨著設備數(shù)量的增加，系統(tǒng)總體延遲時間增加，這是因為伴隨著移動機器人增加，計算任務也會增加，總體任務量增加，MEC服務器計算資源有限；同時可以看到伴隨著移動機器人數(shù)量增加，自適應遺傳算法卸載策略和強化學習算法的卸載策略相對于本文算法卸載策略系統(tǒng)整體時延增幅越來越大，這主要是因為本文算法在使用不同數(shù)量的機器人數(shù)據(jù)進行訓練時，網(wǎng)絡中有多種工況的經(jīng)驗，相較于自適應遺傳算法和強化學習，本文算法有更好的不同機器人數(shù)量工況的自適應性。

圖7給出在相同任務時延要求下，不同移動機器人數(shù)量下各個方案的失敗率，可以看出，伴隨著邊緣計算機器人數(shù)量增加，各個方案算法成功率都有所降低。相較于自適應遺傳算法和強化學習算法，本文算法的成功率降低幅度更小，這是因為隨著移動機器人數(shù)量增加，系統(tǒng)整體狀態(tài)空間更大，而本文算法在多種工況進行學習，網(wǎng)絡中經(jīng)驗更豐富，能夠有效適應多種不同機器人數(shù)量的工況。

圖8是在不同移動機器人數(shù)量情況下的算法運行時間。可以看到，伴隨著移動機器人數(shù)量的增加，自適應遺傳算法運算時間也是逐漸增加，這是因為遺傳算法中交叉與變異操作是按位進行的，同時自適應遺傳算法中基因數(shù)量也是伴隨著移動機器人數(shù)量增加而增加。強化學習以及本文算法運行時間相對于自適應遺傳算法，其運行時間可忽略不計，這是因為本文算法以及強化學習算法在訓練完成后只需要進行一次神經(jīng)網(wǎng)絡前向計算，而自適應遺傳算法需要迭代才能夠找到最優(yōu)值。

4 結(jié)束語

本文提出一種改進深度強化學習計算卸載算法。在深度強化學習中神經(jīng)網(wǎng)絡輸入層固定，難以滿足不定數(shù)量機器人之間的卸載需求。針對這個問題，本文首先研究影響移動機器人之間互相服務的影響因素；為使系統(tǒng)中成功率更高，將最小化系統(tǒng)總體時延作為優(yōu)化目標；通過對深度強化學習神經(jīng)網(wǎng)絡輸入層增加一層預擴展將輸入擴展為與神經(jīng)網(wǎng)絡相同的輸入寬度，在輸出層增加一層卷積，將神經(jīng)網(wǎng)絡輸出通過卷積到合適維度，滿足動態(tài)移動機器人數(shù)量需求。仿真實驗結(jié)果表明，本文方法在相同任務概率不同機器人數(shù)量情況下，系統(tǒng)總體時延相較于自適應遺傳算法平均提升23.16%，任務成功率平均提升14.79；相較于強化學習算法提升10.01%，任務成功率平均提升5.78%，其中隨著移動機器人數(shù)量越多，本文算法提升效果越明顯。在相同機器人數(shù)量不同任務概率情況下，本文算法相較于自適應遺傳算法成功率提升11.19%，總體時延情況平均提升21.23%；相較于強化學習算法，總體時延情況平均提升15.52%，算法成功率提升4.96%。在算法運行時間方面，本文算法運行時間相較于遺傳算法，運行時間可忽略不計，具有較高的可行性與實用性。本文主要研究了在單服務器多機器人場景下的計算任務卸載算法，下一步將展開多服務器多機器人場景下的計算任務卸載策略的研究，主要研究計算任務在多服務器下的卸載考慮因素以及卸載策略。

參考文獻：

［1］International Federation of Robotics.Executive summary world robotics 2021 industrial robots［EB/OL］.（2020）.https：//ifr.org/ img/world-robotics/Executive_Summary_WR_Industrial_Robots_2021.pdf.

［2］Kuffner J.Cloud-enabled robots［C］//Proc of IEEE International Conference on Humanoid Robot.Piscataway，NJ：IEEE Press，2010：176-181.

［3］Guo Yu，Mi Zhenqiang，Yang Yang，et al.An energy sensitive system framework for cloud robotic network［J］.International Journal of Communication Systems，2019，32（14）：e4028.

［4］Tenorth M，Kamei K，Satake S，et al.Building knowledge-enabled cloud robotics applications using the ubiquitous network robot platform［C］//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2013：5716-5721.

［5］Wang Lujia，Liu Ming，Meng M Q H.Real-time multisensor data retrieval for cloud robotic systems［J］.IEEE Trans on Automation Science and Engineering，2015，12（2）：507-518.

［6］Mohanarajah G，Hunziker D，D′andrea R，et al.Rapyuta：a cloud robotics platform［J］.IEEE Trans on Automation Science and Engineering，2015，12（2）：481-493.

［7］Hu Guoqiang，Tay W P，Wen Yonggang.Cloud robotics：architecture，challenges and applications［J］.IEEE Network，2012，26（3）：21-28.

［8］李波，薛端，黃鑫.云機器人系統(tǒng)研究綜述［J］.計算機工程與應用，2017，53（17）：26-40.（Li Bo，Xue Duan，Huang Xin.Survey of cloud robot system［J］.Computer Engineering and Applications，2017，53（17）：26-40.）

［9］王大偉，王卓，王鵬，等.基于邊緣計算的云原生機器人系統(tǒng)［J］.智能科學與技術學報，2020，2（3）：275-283.（Wang Dawei，Wang Zhuo，Wang Peng，et al.Cloud native robot system based on edge computing［J］.Chinese Journal of Intelligent Science and Technology，2020，2（3）：275-283.）

［10］景軒，姚錫凡.大數(shù)據(jù)驅(qū)動的云霧制造體系架構［J］.計算機集成制造系統(tǒng)，2019，25（9）：2119-2139.（Jing Xuan，Yao Xifan.Big data driven cloud-fog manufacturing architecture［J］.Computer Integrated Manufacturing Systems，2019，25（9）：2119-2139.）

［11］Zhang Jie，Guo Hongzhi，Liu Jiajia，et al.Task offloading in vehicular edge computing networks：a load-balancing solution［J］.IEEE Trans on Vehicular Technology，2019，69（2）：2092-2104.

［12］Li Yuwei，Yang Bo，Chen Zhijie，et al.A contract-Stackelberg offloa-ding incentive mechanism for vehicular parked-edge computing networks［C］//Proc of the 89th IEEE Vehicular Technology Conference.2019：1-5.

［13］Qiao Guanhua，Leng Supeng，Zhang Ke，et al.Collaborative task offloading in vehicular edge multi-access networks［J］.IEEE Communications Magazine，2018，56（8）：48-54.

［14］Huang Xumin，Yu Rong，Kang Jiawen，et al.Exploring mobile edge computing for 5G-enabled software defined vehicular networks［J］.IEEE Wireless Communications，2017，24（6）：55-63.

［15］Khan I，Tao Xiaofeng，Rahman G M S，et al.Advanced energy-efficient computation offloading using deep reinforcement learning in MTC edge computing［J］.IEEE Access，2020，8：82867-82875.

［16］Zhao Pengtao，Tian Hui，Chen K C，et al.Context-aware TDD configuration and resource allocation for mobile edge computing［J］.IEEE Trans on Communications，2019，68（2）：1118-1131.

［17］Joilo S，Dán G.Computation offloading scheduling for periodic tasks in mobile edge computing［J］.IEEE/ACM Trans on Networking，2020，28（2）：667-680.

［18］趙臨東，莊文芹，陳建新，等.異構蜂窩網(wǎng)絡中分層任務卸載：建模與優(yōu)化［J］.通信學報，2020，41（4）：34-44.（Zhao Lindong，Zhuang Wenqin，Chen Jianxin，et al.Hierarchical task offloading in heterogeneous cellular network：modeling and optimization［J］.Journal on Communications，2020，41（4）：34-44.）

［19］Tang Zhiqing，Zhou Xiaojie，Zhang Fuming，et al.Migration modeling and learning algorithms for containers in fog computing［J］.IEEE Trans on Services Computing，2018，12（5）：712-725.

［20］亓晉，孫海蓉，鞏錕，等.移動邊緣計算中基于信譽值的智能計算卸載模型研究［J］.通信學報，2020，41（7）：141-151.（Qi Jin，Sun Hairong，Gong Kun，et al.Research on intelligent computing offloading model based on reputation value in mobile edge computing［J］.Journal on Communications，2020，41（7）：141-151.）