云邊協同計算中基于深度強化學習的任務二次申請卸載策略

收稿日期：2022-04-12；修回日期：2022-06-07" 基金項目：國家自然科學基金資助項目（61802227）；山東省農業重大應用技術創新項目（SD2019NJ007）

作者簡介：楊昆侖（1995-），男，山東濰坊人，碩士，主要研究方向為工業物聯網和邊緣計算；王茂勵（1981-），男（通信作者），山東淄博人，教授，博導，主要研究方向為智能邊緣計算、物聯網信息技術和自適應控制（wangml@qunu.edu.cn）；王亞林（1996-），女，山東棗莊人，碩士研究生，主要研究方向為邊緣計算和網絡安全；馬旭（1985-），男，山東濟寧人，副教授，碩導，主要研究方向為應用密碼學、隱私保護和機器學習．

摘 要：現有的任務卸載策略通常在一個時隙內制定卸載決策，沒有考慮多個卸載時隙間的內在聯系，因此無法根據任務的實際需求進行卸載。針對該問題，提出了一種基于深度強化學習的任務二次申請卸載策略（DQN-TSAO）。首先提出了一種支持任務進行二次申請卸載的云邊端三層架構，建立了任務卸載優先級模型、時延模型和能耗模型；然后以最小化系統能耗為目標，將能耗優化問題轉變為最大累積卸載獎勵的馬爾可夫決策過程；最后通過DQN-TSAO算法提取各個時隙的任務卸載特征，使任務在與環境不斷交互的過程中獲得多個時隙內的最佳卸載決策。仿真結果表明DQN-TSAO算法能夠有效降低一段時間內的系統總能耗。

關鍵詞：云邊協同計算；任務卸載；能耗優化；二次申請；DQN

中圖分類號：TP393"" 文獻標志碼：A

文章編號：1001-3695（2022）12-037-3760-05

doi：10.19734/j.issn.1001-3695.2022.04.0220

Task secondary application offloading strategy based on deep reinforcement learning in cloud-edge collaborative computing

Yang Kunlun1，Wang Maoli2，Wang Yalin2，Ma Xu2

（1.School of Computer Science，Qufu Normal University，Rizhao Shandong 276826，China；2.School of Cyber Science amp; Engineering，Qufu Normal University，Qufu Shandong 273165，China）

Abstract：Existing task offloading strategy usually makes offloading decision within one time slot without considering the internal relationship between multiple offload time slots，so they cannot be offloaded according to the actual needs of tasks.To solve this problem，this paper proposed a task secondary application offloading strategy based on deep Q network （DQN-TSAO）.Firstly，this paper introduced a three-layer of cloud-edge-end architecture that supported task secondary application offloading，and established priority model，delay model and energy consumption model for task offloading.Secondly，aiming at minimizing system energy consumption，it transformed the energy consumption optimization problem into a Markov decision process problem of maximum cumulative offloading reward.Finally，DQN-TSAO algorithm could extract the task offload characteristics of each time slot，which enabled the task to obtain the optimal offloading decision of multiple time slots in the continuous interaction with the environment.Simulation results validate that DQN-TSAO algorithm can effectively reduce the total energy consumption of the system in a period of time.

Key words：cloud-edge collaborative computing；task offloading；energy optimization；secondary application；DQN

0 引言

隨著物聯網（Internet of Things，IoT）技術［1］的迅速發展，數以億計的IoT設備接入網絡，實現了任何時間、任何地點，人、機、物的互聯互通。智慧交通、智慧工廠、增強現實、智能健康檢測等多種智能應用服務［2～4］的迅速產生和廣泛使用標志著萬物互聯［5］的時代已經到來。但這些智能應用服務在改變人們日常生活方式的同時也帶來了數據的爆炸式增長［6］，使得算力有限的IoT設備無法滿足新型應用密集計算和實時交互的任務需求［7］。任務卸載技術是降低IoT設備計算壓力的重要手段。通常，任務需要在給定的截止期限內完成，這使得截止期限驅動的任務卸載成為一項必不可少的工作。作為結合云計算［8］和邊緣計算［9］優點的新型網絡計算模式，云邊協同計算［10］可以通過軟件定義網絡［11］技術實現云計算服務器（cloud computing server，CCS）和邊緣計算服務器（edge computing server，ECS）計算資源的合理統籌，提供了相較于單一卸載模式更為高效的卸載服務。然而，現有的任務卸載策略通常只考慮在一個時隙內生成卸載決策，但對于一些時間截止期限較長的任務來說，當前時隙產生的卸載決策也許不是其時間截止期限內的最佳卸載決策。不合理的卸載決策延長了IoT設備的計算時間，增加了系統能耗。因此，如何根據任務的卸載屬性制定靈活的卸載策略，成為任務卸載優化問題的新挑戰。

深度強化學習 （deep reinforcement learning，DRL）［12］是人工智能領域的一個新的研究熱點，它以一種通用的形式將深度學習的感知能力與強化學習的決策能力相結合，實現從原始輸入到輸出的直接控制［13］。在一些固定的IoT場景中，相同時隙的任務卸載屬性和卸載環境是相似的。因此，可以在任務卸載策略中引入DRL方法，利用深度神經網絡的強表征能力提取各個時隙任務的卸載屬性特征，并通過強化學習的高決策能力產生多個時隙間的任務卸載決策，從而有效解決NP-hard［14］的任務卸載優化問題。

1 相關工作

隨著機器學習應用領域的擴展，人們意識到使用DRL算法自組織地形成任務卸載策略，能夠更好地適應多元、異構的IoT場景［15］。Tong等人［16］考慮了移動用戶設備的移動性，在移動邊緣計算環境中提出了一種自適應的任務卸載和資源分配算法，使用深度強化學習方法來確定任務是否需要卸載并為任務分配計算資源，有效地降低了任務平均響應時間和系統總能耗，提升了系統效用。Gong等人［17］在移動邊緣計算中提出了一種利用有源射頻通信和低功率反向散射通信進行互補操作的混合卸載模型，并通過定制DRL框架學習兩種通信技術中的最佳傳輸調度和工作負載分配，平衡了本地計算和數據卸載的能耗，能最大限度地提高MEC的卸載能效。Ren等人［18］為了滿足實際工業物聯網的嚴格要求，在霧計算中為每個工業物聯網設備創建 DRL 模型來處理動作空間的維度災難問題，從而快速調整設備的霧節點選擇，該方法在云端進行離線訓練，在線作出決策，避免了迭代的在線優化過程，最終實現了更低的延遲和系統能耗。Li等人［19］研究了支持非正交多路訪問的協同計算卸載問題，通過區塊鏈挖掘任務和數據處理任務，將聯合問題表述為馬爾可夫決策過程，提出了一種多智能體深度強化學習框架，使用聯合專家策略和分層聯盟的混合策略提高了協同計算卸載的性能。Wang等人［20］為了解決任務依賴性和適應動態場景的挑戰，提出了一種新的基于DRL的卸載框架，該框架可以通過專門設計的序列到序列神經網絡有效地學習卸載策略，自動發現各種應用程序背后的共同模式，從而推斷出不同場景下的最佳卸載策略，實現了近乎最佳的性能。從以上研究可以看出，使用深度強化學習解決任務卸載問題已經取得了令人滿意的效果，但在目前的研究工作中仍存在著以下不足：大多數卸載策略中只使用了一種計算資源；現有的卸載策略只基于當前時隙的卸載環境產生卸載決策，忽略了時間的連貫性。

基于上述研究情況，本文在任務卸載策略的制定過程中充分利用了CCS和ECS兩種計算資源，同時將多個獨立時隙內的卸載決策結合為一段時間內的多時隙卸載決策，從而為任務提供最佳卸載時間和卸載位置，進而降低IoT系統在一段時間內的卸載總能耗。

2 模型建立

本章介紹了一種任務二次申請卸載系統模型，并對任務的卸載優先級和卸載能耗進行建模。同時，由于卸載需要在時間截止期限內完成，所以需要對任務卸載時延進行建模。在該模型中，由CCS和ECS共同提供計算資源。此外，模型中供于卸載的無線信道個數有限，任務需要通過搶占無線信道的方式獲得卸載權限。模型中的主要元素和符號列于表1。

2.1 二次申請卸載模型

如圖1所示，IoT場景中存在多個IoT設備、一臺ECS和一臺CCS。IoT設備在場景內隨機分布，且每個IoT設備只產生一個任務。ECS部署在無線基站（base station，BS）附近，因此ECS與BS之間的傳輸時間可以忽略。IoT設備與BS之間通過無線網絡連接，BS與CCS之間通過主干網絡連接。此外，BS中設有任務調度管理器（task scheduler manager，TSM）和任務緩存池（task buffer pool，TBP）。TSM用于計算任務的卸載能耗和時延，并通過優先級等級調度任務的卸載請求。TBP則具有任務存儲功能，如果高優先級任務已經搶占完全部信道，剩余的任務可以緩存在TBP中，等待進一步卸載處理（本地卸載或下一時隙二次申請卸載）。

2.2 優先級模型

在多元化的IoT場景中，根據任務的產生順序進行卸載已經不能滿足應用的計算需求，需要結合任務的屬性重新建立優先級模型。本文綜合考慮了任務的卸載時延特性和任務類型，將可等待時間和重要程度設為優先級的衡量標準。其中可等待時間為任務能夠在TBP中緩存的時間，代表需要處理卸載請求的緊急程度。將其定義為時間截止期限減本地計算時間，以保證在二次申請卸載失敗時仍有足夠的時間在本地完成任務。任務的重要程度則分為三大類九個等級。如表2所示，安全任務最為重要，實時任務次之，日常任務的重要等級最低。

因此，任務優先級數η可定義為

η=α（-1）x「ln（|TD-TL|）+β·S（1）

其中：x表示任務可等待時間正負；TD是時間截止期限；TL是本地計算時間；S是重要等級；α和β是判斷任務優先級時兩者的權重，且α與β之和為1。在本文研究中，α和β取值為0.5。通過式（1）所得的優先級數η越小，任務優先級越高。

2.3 本地卸載模型

設IoT設備Dai的計算能力為Cai，在A時隙內產生任務ai，其所需的CPU周期為wai，數據量為dai，則本地計算時延為

Tai=waiCai（2）

IoT設備的計算能耗取決于CPU芯片的結構、CPU的計算能力和任務的計算量［21］。每個CPU周期IoT設備Dai的能耗模型為執行頻率的超線性函數，記為

δai=κL（cai）2（3）

其中：κL代表IoT設備的CPU結構能量常系數。因此，當任務通過TSM獲得本地卸載決策時，IoT設備的計算能耗為

ELai=δaiwai=κL（cai）2wai（4）

2.4 邊緣卸載模型

在任務二次申請卸載的過程中，時隙內的任務數是動態變化的。為了簡化任務的特征值，本文使用獨立信道的正交頻分多址（OFDMA）作為無線通信系統的多重接取技術。設無線信道的帶寬為B，任務的無線傳輸速率為

rai=Blog2（1+paigaiσ2）（5）

其中：pai為設備Dai的傳輸功率，gai為無線信道的信道增益，σ2為信道的高斯噪聲功率。當任務通過TSM獲得邊緣卸載決策時，由于任務計算結果的傳輸數據量遠小于任務自身的傳輸數據量，所以在卸載過程中通常不考慮計算結果的回傳時間。邊緣卸載時延主要包括任務在無線信道中的傳輸時延和任務在ECS中的計算時延，可表示為

TEai=dairai+waifE（6）

任務的邊緣卸載能耗主要包括由IoT設備的傳輸能耗和ECS的計算能耗，可表示為

EEai=paidairai+κE（fE）2wai（7）

其中：κE代表ECS的CPU結構能量常系數。

2.5 云卸載模型

當任務通過TSM獲得云卸載決策時，卸載時延主要包括任務在無線網絡、主干網絡中的傳輸時延以及任務在CCS中的計算時延，可表示為

TCai=dairai+dairc+waifC（8）

由于BS與CCS之間通過主干網絡鏈接，主干網絡的數據傳輸速率可使用恒定值rc表示。任務的云卸載能耗包括IoT設備的傳輸能耗、BS的傳輸能耗和ECS的計算能耗，可表示為

ECai=pai（dairai+dairc）+κC（fC）2wai（9）

其中：κC代表CCS的CPU結構能量常系數。

3 多時隙能耗優化問題

本文研究的主要目標是通過為任務提供多個時隙內的卸載決策，使一段時間內的IoT系統總卸載能耗最小化。因此，多時隙任務卸載能耗優化問題可表示為

Emin=E*L+E*E+E*C+E′*L+E′*E+E′*C=∑κL（cai，j）2wai，j+

∑pai，jdai，jrai，j+κE（fE）2wai，j+∑pai，j（dai，jrai，j+dai，jrc）+κC（fC）2wai，j

C1：∑Ki≤Kmax，i∈I

C2：TW+Ti≤TDi，i∈I

C3：ηi≤η′j，i∈I，j∈J

C4：ri（t）lt;ri（t+1），i∈I

C5：ri（t+1）gt;rj（t′），i∈I，j∈J（10）

任務在TBP內等待二次申請卸載的過程中，每當緩存一段時間TW，任務優先級會相應發生改變。

η′=α（-1）x「ln（|TD-TL-TW|）+β·S（11）

用s（t）代表根據卷積神經網絡提取的下一時隙卸載環境狀態，所有可能的狀態s（t）組成狀態空間S。s（t）可表示為

s（t）=［η（t′），E（t′），K（t′）］（12）

其中：η（t′）為下一時隙所產生任務的優先級，E（t′）為下一時隙的任務進行卸載所獲得的能耗收益，K（t′）為下一時隙卸載環境中的信道狀態。

用a（t）代表TSM為當前時隙任務產生的卸載動作，所有可能的卸載動作組成動作空間A。a（t）可表示為

a（t）=［a1（t），a2（t），…，ai（t）］ a（t）∈A（13）

其中：ai（t）∈{E，C，E′，C′}代表不同時隙的ECS或CCS。

用r（t）代表二次申請卸載產生的能耗收益，E（t）代表當前時隙的任務卸載能耗收益，則r（t）=E（t）-E（t′）。將任務卸載動作構建為馬爾可夫決策過程，可以獲得IoT系統的最大化累積獎勵為

R=∑Ii=1γτ-τ0ri（τ）（14）

其中：γ為折扣因子，τ代表任務的卸載時隙。

4 任務二次申請卸載算法

為了解決多個時隙任務卸載問題，本章對任務卸載決策的產生流程進行重構。在每個時隙內，TSM根據優先級順序產生任務卸載決策并分配無線信道，未被分配信道的任務將被緩存在TBP中。在各個時隙間，TSM則通過DQN-TSAO算法輸出TBP中任務的多時隙卸載決策。若任務滿足二次申請卸載條件，TSM將在目標時隙重新發起卸載請求操作。DQN-TSAO算法流程如圖2所示。針對任務特征值提取，DQN-TSAO算法通過卷積神經網絡輸出卸載動作的Q值，其更新方式可以表示為

Q（St，At，ω）←Q（St，At，ω）+α［Rt+1+γmaxa（st+1，at，ω）-Q（St，At，ω）］（15）

產生卸載動作的Q值后根據卸載條件產生卸載決策，并根據卸載收益選擇是否執行。在訓練迭代的過程中，為了預防掉入梯度陷阱，DQN-TSAO算法采用ε-greedy策略選擇卸載動作，且ε的值隨著迭代次數的增加逐漸減小。每次執行卸載動作后，更新卸載環境s（t），獲得卸載獎勵r（t），并將卸載交互數據（當前環境狀態s，卸載動作a，卸載獎勵r，更新后環境狀態s′）存入記憶庫D中。當記憶庫中有足夠多的數據后，在之后DQN的每次更新中，隨機抽取記憶庫中的經驗（s，a，r，s′）∈D進行學習。價值函數逼近最優Q值的過程中，使用當前網絡計算Q的預測值，使用Q-target網絡計算Q目標值，然后計算兩者之間的損失函數L（ω）。

L（ω）=E［（r+γmaxa′Q^（s′，a′，ω′）-Q（s，a，ω））2］（16）

同時，利用隨機梯度下降法來更新當前網絡參數：

Δω=α（r+γmaxa′Q^（s′，a′，ω′）-Q^（s，a，ω））·ωQ^（s，a，ω）（17）

重復若干次后將當前網絡的參數賦值給Q-target網絡。

算法1 基于深度Q網絡的任務二次申請卸載算法

輸入：任務屬性η，wai，dai。

輸出：任務的卸載時隙和卸載位置。

a）初始化動作空間A；

用固定容量|D|初始化經驗池D；

用權重初始化main網絡和target網絡；

b）for each time slot

根據當前環境對任務進行卸載決策；

將未卸載任務緩存在任務緩存池中；

觀察下一時隙卸載環境s（t）=［η（t′），E（t′），K（t′）］；

for each task

規范化動作序列［ai，s（t）］；

將動作設置為Q網絡的輸入；

觀察并記錄輸出Q（s（t），ai|θ）；

以ε-greedy策略選擇動作a（t）∈A；

評估下一時隙任務的時間截止期限和優先級；

評估卸載獎勵R（t）；

將經驗φ（t）存儲到重放內存中D；

if Tgt;|D| then

從D中隨機抽取小批量的數據；

利用SGD算法更新網絡權重θ；

更新Q-target網絡 θ-=θ；

end if

end for

獲得當前時隙累積獎勵最大的卸載決策

end for

c）任務卸載請求在TBP中緩存至下一時隙；

重復步驟b） 操作進行下一個時隙的任務卸載決策；

d）return Emin。

5 仿真實驗

本文使用PyCharm軟件，在PyTorch深度學習框架中進行仿真實驗。實驗中將云卸載算法［22］、邊緣卸載算法［23］和云邊協同卸載算法［24］作為DQN-TSAO算法的基準算法，根據各算法在不同實驗參數下的表現評估所提算法的性能。

5.1 仿真參數設置

在實驗場景中，本文設置了兩個連續時隙A、B作為IoT場景中的一段時間。經過大量計算，任務的平均卸載時延約為1 s。因此將任務生成間隔設為1 s，表示在制定卸載決策時，無線信道處于閑置狀態。無線信道的信道增益函數為ga，bi=38.46+20log10（da，bi），其中，da，bi代表IoT設備與BS之間的距離［25］。仿真參數如表3所示。

DQN網絡中使用的main和target網絡為卷積神經網絡，其中輸入層一層、隱藏層三層、輸出層一層，隱藏層中神經元個數為160，引入非線性函數ReLU作為激勵函數。DQN的配置參數如表4所示。

5.2 仿真結果分析

圖3展示了不同時隙任務優先級屬性對申請進行二次卸載的任務數量的影響。其中，無線信道數量為30，時隙內的任務數量分別為50和30。此時，無線信道全部處于占用狀態，且前一時隙有大量的任務未被卸載，因此可以很好地分析任務優先級與卸載個數之間的關系。可以看出，當提高前一時隙任務的平均優先級時，在TBP中緩存至下一時隙進行卸載的任務數量呈增加趨勢，且增速逐漸放緩。在任務平均優先級差距為3時，二次申請卸載的任務數量基本達到最大值，約占前一時隙未卸載任務數量的三分之一。這是因為DQN-TSAO算法可以在學習過程中根據任務的卸載屬性選擇合理的卸載決策，從而減少高優先任務對下一時隙服務器計算資源的貪婪占用。

圖4展示了一段時間內任務計算量與系統能耗之間的關系。其中，無線信道數量為30，兩個相鄰時隙內的任務數量分別為60和30，每組實驗數據的任務計算量在0～1 G cycle到0～8 G cycle隨機分布。可以看出，四種卸載算法所產生的卸載能耗都與任務計算量成正比關系。由式（4）（7）（9）可知，任務卸載的計算能耗與設備計算能力和任務計算量相關。因此，隨著計算量的增加，各算法產生的計算能耗增加，總卸載能耗隨之增加，且由于不同設備的CPU結構能量常系數不同，系統能耗的增速也不同。其中，本文算法的能耗增速最小，這是因為DQN-TSAO算法能夠合理地利用各時隙的卸載資源，所以產生的系統能耗明顯小于其他三種任務卸載算法，表明DQN-TSAO算法對于不同計算屬性的任務都能獲得更好的卸載效果。

圖5展示了一段時間內任務傳輸數據量與系統能耗之間的關系。其中，任務的計算量在0～4 G cycle隨機分布，每組實驗數據的任務數據量則在0～1 MB到0～7 MB隨機分布。由于任務的數據量是計算任務傳輸時延和傳輸能耗的重要指標之一，所以從圖中可以發現，隨著任務數據量的變化，三種基準算法的卸載能耗波動較大。當任務數據量較小時，任務在網絡中的傳輸時間短，傳輸能耗在系統能耗中的占比小，因此cloud算法的能耗明顯小于edge算法的能耗。隨著任務數據量的增加，傳輸能耗在系統能耗中的占比逐漸增加，因此距離設備更近的edge算法能夠獲得更低的卸載能耗。edge-cloud算法能夠合理地使用ECS和CCS的計算資源，因此在不同的任務數據量中都靠近兩種卸載算法中卸載能耗較小的算法，且能獲得等于或低于兩者的卸載能耗。DQN-TSAO算法則在edge-cloud算法的基礎上協調了各個時隙的卸載資源，將更多的任務卸載到了ECS和CCS，因此在不同的任務數據量下都能獲得更低的系統卸載能耗。圖6展示了不同時隙任務數量差距與系統能耗之間的關系。與DQN-TSAO算法相比，cloud、edge與edge-cloud算法都只制定當前時隙的卸載決策。所以在一段時間內，隨著時隙間任務數量差距的不斷增加，三種基準算法的系統總能耗上升迅速。其中，edge-cloud算法利用了兩種卸載資源，可以為高優先級任務提供更多的卸載決策，從而占用了更多的無線信道，使得更多數量的低優先級任務無法在時隙內獲得合理的卸載決策，因此卸載能耗增長更為迅速。而DQN-TSAO算法通過將該時隙未獲得最佳卸載決策的任務緩存至下一個空閑時隙重新申請卸載，提升了一段時間內的網絡計算資源利用率，有效解決了系統能耗隨各時隙任務數量差距增長的問題，保證了系統能耗的基本穩定。

圖7展示了一段時間內無線信道數量與系統能耗之間的關系。其中，兩個相鄰時隙內的任務數量分別為60和30。可以看出，隨著無線信道的增加，TSM能夠將更多的任務卸載到ECS或CCS，因此四種算法的系統能耗都明顯降低。edge-cloud算法的系統能耗在信道資源充足時會小于cloud算法的卸載能耗，在信道資源緊缺時大于cloud算法的卸載能耗。而DQN-TSAO算法則在edge-cloud算法的基礎上充分利用了其他時隙的計算資源，能夠為任務提供當前時隙外的更優卸載決策，因此系統能耗下降最為迅速。在信道數量為35時，DQN-TSAO算法就基本到達IoT系統的最小能耗值。同時可以發現，在不同的信道數量中，DQN-TSAO算法中都能夠獲得相較于三種基準算法更低的系統能耗，展現出了更強的網絡通用性。

6 結束語

本文研究了任務在一段時間內的卸載方式，提出了一種基于深度強化學習的任務二次申請卸載策略。根據任務自身屬性定義了任務卸載優先級計算方法，建立了任務二次申請卸載模型，并通過DQN-TSAO算法統籌多個時隙的卸載資源，實現了當前時隙任務與其他時隙卸載環境的交互，從而使任務在多個時隙內尋找到最佳的卸載位置。仿真實驗表明，該策略能夠有效地降低IoT場景在一段時間內的系統總能耗。

參考文獻：

［1］Li Shangcang，Xu Lida，Zhao Shanshan.The Internet of Things：a survey［J］.Information Systems Frontiers，2015，17（2）：243-259.

［2］Ge Xiaohu，Pan Linghui，Li Qiang，et al.Multipath cooperative communications networks for augmented and virtual reality transmission［J］.IEEE Trans on Multimedia，2017，19（10）：2345-2358.

［3］Mrozek D，Koczur A，Maysiak-Mrozek B.Fall detection in older adults with mobile IoT devices and machine learning in the cloud and on the edge［J］.Information Sciences，2020，537：132-147.

［4］Zhang Ning，Zhang Shan，Yang Peng，et al.Software defined space-air-ground integrated vehicular networks：challenges and solutions［J］.IEEE Communications Magazine，2017，55（7）：101-109.

［5］Iannacci J.Internet of Things（IoT）；Internet of Everything （IoE）；tactile Internet；5G-a （not so evanescent） unifying vision empowered by EH-MEMS （energy harvesting MEMS） and RF-MEMS （radio frequency MEMS）［J］.Sensors and Actuators A：Physical，2018，272：187-198.

［6］Alkhalaileh M，Calheiros R N，Nguyen Q V，et al.Data-intensive application scheduling on mobile edge cloud computing［J］.Journal of Network and Computer Applications，2020，167：102735.

［7］Jun S，Kang Y，Kim J，et al.Ultra-low-latency services in 5G systems：a perspective from 3GPP standards［J］.ETRI Journal，2020，42（5）：721-733.

［8］Arunarani A R，Manjula D，Sugumaran V.Task scheduling techniques in cloud computing：a literature survey［J］.Future Generation Computer Systems，2019，91：407-415.

［9］Mao Yuyi，You Changsheng，Zhang Jun，et al.A survey on mobile edge computing：the communication perspective［J］.IEEE Communications Surveys amp; Tutorials，2017，19（4）：2322-2358.

［10］Wang Bo，Wang Changhai，Huang Wanwei，et al.A survey and taxonomy on task offloading for edge-cloud computing［J］.IEEE Access，2020，8：186080-186101.

［11］Zhang Xinchang，Wang Yinlong，Geng Guanggang，et al.Delay-optimized multicast tree packing in software-defined networks［J］.IEEE Trans on Services Computing，2021，14（5）：1-14.

［12］Mnih V，Kavukcuoglu K，Silver D，et al.Human-level control through deep reinforcement learning［J］.Nature，2015，518（7540）：529-533.

［13］劉全，翟建偉，章宗長，等.深度強化學習綜述［J］.計算機學報，2018，41（1）：1-27.（Liu Quan，Zhai Jianwei，Zhang Zongchang，et al.A survey on deep reinforcement learning［J］.Chinese Journal of Computers，2018，41（1）：1-27.）

［14］Chen Xu，Jiao Lei，Li Wenzhong，et al.Efficient multi-user computation offloading for mobile-edge cloud computing［J］.IEEE/ACM Trans on Networking，2016，24（5）：2795-2808.

［15］Li He，Ota K，Dong Mianxiong.Learning IoT in edge：deep learning for the Internet of Things with edge computing［J］.IEEE Network，2018，32（1）：96-101.

［16］Tong Zhao，Deng Xiaomei，Ye Feng，et al.Adaptive computation offloading and resource allocation strategy in a mobile edge computing environment［J］.Information Sciences，2020，537：116-131.

［17］Gong Shimin，Xie Yutong，Xu Jing，et al.Deep reinforcement learning for backscatter-aided data offloading in mobile edge computing［J］.IEEE Network，2020，34（5）：106-113.

［18］Ren Yijing，Sun Yaohua，Peng Mugen.Deep reinforcement learning based computation offloading in fog enabled industrial Internet of Things［J］.IEEE Trans on Industrial Informatics，2021，17（7）：4978-4987.

［19］Li Zhenni，Xu Minrui，Nie Jiangtian，et al.NOMA-enabled cooperative computation offloading for blockchain-empowered Internet of Things：a learning approach［J］.IEEE Internet of Things Journal，2021，8（4）：2364-2378.

［20］Wang Jin，Hu Jia，Min Geyong，et al.Computation offloading in multi-access edge computing using a deep sequential model based on reinforcement learning［J］.IEEE Communications Magazine，2019，57（5）：64-69.

［21］Chen Xihan，Cai Yunlong，Li Liyan，et al.Energy-efficient resource allocation for latency-sensitive mobile edge computing［J］.IEEE Trans on Vehicular Technology，2020，69（2）：2246-2262.

［22］Tseng F H，Cho H H，Chang K D，et al.Application-oriented offloa-ding in heterogeneous networks for mobile cloud computing［J］.Enterprise Information Systems，2018，12（4）：398-413.

［23］You Qiang，Tang Bing.Efficient task offloading using particle swarm optimization algorithm in edge computing for industrial Internet of Things［J］.Journal of Cloud Computing-Advances Systems and Applications，2021，10（1）：11.

［24］Zhang Zengrong.A computing allocation strategy for Internet of Things’ resources based on edge computing［J］.International Journal of Distributed Sensor Networks，2021，17（12）：15501477211064800.

［25］Zhang Guowei，Shen Fei，Liu Zening，et al.FEMTO：fair and energy-minimized task offloading for fog-enabled IoT networks［J］.IEEE Internet of Things Journal，2019，6（3）：4388-4400.