無線供能邊緣計算時延優化卸載策略研究綜述

黃博聞 陳曉龍 方存亮 周文樺 李金紅 黃琪雯 池凱凱

摘要：無線供能及移動邊緣計算技術的整合為下一代無線通信網的實現提供了技術支持。然而，用戶數量的激增將對諸如系統響應時效性和超低延時等需求的實現提出了新的挑戰。因此，如何設計迭代次數少、收斂速度快、靈活性強的實時計算卸載策略成了研究的新熱點。文章梳理了無線供能移動邊緣計算（Wireless Powered Mobile Edge Computing，WP-MEC）系統在實現超低延時需求上面臨的問題與挑戰；總結了WP-MEC系統的網絡模型及其計算卸載策略的研究概況；詳細闡述了4種不同接入方式下的WP-MEC系統的計算卸載策略研究現狀；對比分析了各類傳統的數值優化方法及深度強化學習優化方法在實時計算卸載決策方面的優劣；對低復雜度高效計算卸載策略的發展進行總結與展望，提出了延時最小化計算卸載策略的3個關鍵研究方向。

關鍵詞：深度強化學習；無線供能網絡；移動邊緣計算；卸載策略；計算延時最小化

中圖分類號：TN929.5文獻標志碼：A

0 引言

泛在物聯網被認為是下一代無線通信網的關鍵驅動力^[1-3]，將提供近100%的地理無線覆蓋范圍，但由于尺寸及制造成本的限制，泛在物聯網用戶節點（簡稱“用戶節點”）的計算能力、電池電量及壽命均受到限制。用戶節點具有數量多、部署無規律等缺點，導致為用戶節點更換電池會產生大量開銷。

移動邊緣計算（Mobile Edge Computing，MEC）的出現實現了將用戶節點數據卸載至服務器（簡稱“計算節點”）的功能，從而解決了用戶節點計算能力受限的問題^[4-7]。除此以外，無線能量傳輸（Wireless Powered Transfer，WPT）技術的出現解決了用戶節點由數據處理、任務卸載等操作而導致的大量電池能量消耗、電池能量供給不足、電池壽命降低等問題。由WPT和MEC技術集成的無線供能邊緣計算（Wireless Powered MEC，WP-MEC）系統可以較好地解決低功耗節點能量和計算能力受限的問題^[8-10]。

然而，隨著用戶節點的快速增長，如何滿足數以億計的用戶節點采集數據的時效性和超低延時要求將成為一個新的需求。為此，需要進一步提升系統處理和數據響應的能力。如何設計一種既具有較低復雜度又能夠達到計算延時最小化性能的高效計算卸載技術成了新的待攻克問題，也是我國亟需占領的物聯網技術新高地^[11-12]。此外，形成高效的無線供能邊緣計算卸載理論^[13]還有助于形成綠色低碳循環經濟體系，助力實現碳達峰碳中和目標。

1 無線供能邊緣計算系統的計算卸載策略研究現狀

1.1 無線供能邊緣計算系統計算卸載策略概述

卸載策略是在不同應用場景下，根據不同的實際情況（主要包含網絡模型種類、卸載傳輸方式、任務處理方式），結合特定的優化目標、決策變量及優化方法而確定的策略。

目前，有關WP-MEC系統計算卸載策略的研究結果如圖1所示。這些研究在確定了網絡模型種類、卸載傳輸方式和任務處理方式后，分別將計算速率、計算效率、能耗、延時、公平性作為優化目標，采用李雅普諾夫優化技術、凸優化技術、拉格朗日對偶優化方法、馬爾可夫決策過程、在線學習智能算法等，對計算節點能量、傳輸時長、用戶節點計算卸載比例、傳輸功率、CPU計算周期頻率等變量進行聯合優化。

1.2 無線供能邊緣計算系統網絡模型

目前，對于無線供能邊緣計算系統計算卸載策略的相關研究大多集中在單計算節點、多用戶節點網絡結構中，如圖2所示。對于WP-MEC系統而言，一般假設計算節點具有強大的計算能力，可以為用戶節點處理部分計算工作，并能通過下行鏈路為所有用戶節點傳輸能源；用戶節點既可通過上下行鏈路將計算任務傳遞給計算節點，又可執行本地計算。下行無線供能和本地計算功能可以同時執行，但是下行無線在進行供能的同時無法執行上行計算的卸載操作。

在已有的卸載策略中，時間幀通常包含4個階段，如圖3所示。第一階段，計算節點向K個用戶傳輸能量。第二階段，用戶通過使用時分多址（Time Division Multiple Access，TDMA）、頻分多址（frequency division multiple access，FDMA）、正交頻分多址（Orthogonal Frequency-Division Multiple Access，OFDMA）、非正交多址接入（Non-Orthgonal Multiple Access，NOMA）等無線接入技術將計算任務卸載給MEC。第三階段，MEC執行來自用戶的計算任務。第四階段，邊際外部成本（Marginal External Cost，MEC）將計算結果下載給用戶。

1.3 不同接入方式下的無線供能邊緣計算系統計算卸載策略

針對基于單計算節點、多用戶節點的網絡結構場景，本文根據不同的優化目標和無線接入方式，歸納現有文獻的研究現狀，如表1所示。下面對4種無線接入方式下的WP-MEC系統研究現狀進行詳細介紹。

1.3.1 基于TDMA接入計算卸載策略研究現狀

Zeng等^[14]提出了一種上行鏈路采用NOMA和TDMA進行信息傳輸的方法。通過聯合優化用戶節點二分卸載、能量傳輸時長、用戶節點CPU計算周期頻率和傳輸功率，所提研究方法實現了所有用戶節點計算速率總和的最大化，證明了TDMA和NOMA系統的最大可實現率是相同的；但采用NOMA進行協議傳輸的方法能夠進一步提高系統的公平性。

Feng等^[15]提出了一種考慮計算節點的傳輸功率、用戶節點的卸載數據比例和發送功率的聯合優化方法，利用拉格朗日對偶方法設計迭代算法，將被卸載的延遲約束轉換為被卸載的數據速率約束。所提方法在卸載延時約束下，既能使數據利用率最大化，又能使運營商能耗最小化。

Zhou等^[16]提出了一種計及能量傳輸時長、用戶節點計算任務卸載時間、傳輸功率、CPU計算周期頻率的聯合優化方法。在最大-最小公平計算準則下，所提方法實現了計算效率最大化。仿真結果表明，所提出的資源分配方案在用戶公平性方面優于基準資源分配方案，部分計算卸載模式在計算效率方面優于二進制計算卸載模式，NOMA在計算效率方面優于TDMA。

Bi等^[17]提出了一種考慮用戶能量傳輸和計算卸載模式（二元卸載）的聯合優化方法，實現了用戶節點的總計算率的最大化。仿真結果表明，所提出的資源分配方案在用戶公平性方面優于基準資源分配方案，部分計算卸載模式在計算效率方面優于二進制計算卸載模式，NOMA在計算效率方面優于TDMA。

Mirghasemi等^[18]提出了一種計及能量傳輸時長、用戶節點傳輸功率和CPU計算周期頻率的聯合優化方法，利用李雅普諾夫優化方法，在保證任務和能量隊列穩定性的前提以及滿足比例公平性的條件下，實現了計算效用函數最大化。

Wu等^[19]研究了WP-MEC系統中的異構物聯網系統的聯合調度問題。假設信道條件和任務到達率服從概率分布，基于李雅普諾夫優化理論，利用能量感知資源調度在線算法，在未考慮網絡狀態信息先驗知識的情況下，文章提出了一種考慮用戶節點能量傳輸和信息傳輸的時間分配以及本地計算和卸載計算的比例和上傳傳輸功率的聯合優化方法，實現了系統效用（包括吞吐量和公平性）的最大化。

Wu等^[20]考慮了數據有效時間問題，若數據超過一定時間未被處理，則認為該數據已無意義需要丟棄。利用李雅普諾夫和凸優化技術，基于數據有效時間感知調度機制，文章提出了一種計及用戶節點能量傳輸和信息傳輸的時間分配、用戶節點數據到達率和丟棄率的聯合優化方法，實現了系統效用的最大化。

Li等^[21]假設用戶節點任務到達率服從概率分布的隨機變量，采用李雅普諾夫優化技術，聯合優化能量傳輸時長、用戶節點CPU計算周期頻率、傳輸功率，實現了能源效率和延時的平衡。

葉迎暉等^[22]提出了一種考慮能量傳輸時長、用戶節點計算任務卸載比例、CPU計算周期頻率、傳輸功率的聯合優化方法，實現了各用戶節點計算延時之和最小化。Ye等^[23]考慮了集成混合被動反向通信（Back散射）和主動傳輸WP-MEC網絡，提出了一種計及專用能量傳輸時長、用戶節點計算任務卸載比例、CPU計算周期頻率、傳輸功率的聯合優化方法，實現了各用戶節點計算延時之和最小化。由此可見，文獻[22-23]研究了TDMA無線接入場景下計算延時最小化的卸載策略。

1.3.2 基于FDMA接入計算卸載策略研究現狀

Li等^[24]假設用戶節點任務到達率服從概率分布的隨機變量，采用李雅普諾夫優化技術，在每個時隙，提出一種考慮能量傳輸時長、用戶節點CPU計算周期頻率、傳輸功率的聯合優化方法，實現了時間平均計算速率的最大化。

Wang等^[25-26]利用射頻信號的發射能量波束，形成可以向具有動態任務到達率的用戶節點充電的場景。在由多個時隙組成的有限時間范圍內，基于滑動窗口的在線資源分配算法和拉格朗日對偶法，提出一種計及能量傳輸協方差矩陣、計算節點遠程執行任務輸入位數、用戶本地計算和卸載的任務輸入位數的聯合優化方法，在有限的時間范圍內實現了系統的總能耗最小化。

1.3.3 基于OFDMA接入計算卸載策略研究現狀

Tran等^[27]考慮了用戶節點采用OFDMA協議卸載到計算節點的二分卸載，提出了一種計及用戶節點與計算節點的關聯、用戶節點的發射功率和計算節點的計算資源分配的聯合優化方法，與本地計算相比，實現任務完成時間和能耗減少量加權和的最大化。

Li等^[28]同樣考慮了用戶節點采用OFDMA協議卸載到計算節點的二分卸載，提出了一種二階段啟發式算法，在每個節點的計算延遲約束下，優化節點的卸載決策、信道選擇、功率分配和計算資源分配，實現了用戶節點的能耗最小化。

Wei等^[29]提出了一種新的OFDMA系統協議，其中，無線能量傳輸輔助中繼工作在全雙工解碼和轉發模式，考慮到EH效率的非線性，通過聯合優化時隙持續時間、子載波分配及源節點和中繼節點的傳輸功率，設計了一種近乎最優的基于迭代的動態無線能量傳輸全雙工中繼算法。

Huang等^[30]假設計算節點和用戶節點分別是服務提供商（Service Provider，SP）和設備所有者（Device Owner， DO），SP設置計算資源和能源的價格，而DO根據給定的價格做出最優響應。假設SP對DO的充電時間固定，每個DO都有一個等待執行的任務，已知每個任務的數據大小、完成任務所需的計算資源以及允許完成的最大時間。假設能量傳輸時長固定，采用OFDMA卸載進行信息傳輸，制定了一個2級優化問題：上層為SP生成計算資源和能量的價格；在給定的價格下，下層為DO的模式選擇（二分卸載）、廣播功率和計算資源分配的優化。所提策略實現了SP為DO整體效用最大化。

Nguyen等^[31]考慮了基于OFDMA接入技術的反向散射通信輔助的WP-MEC網絡，通過聯合優化卸載決策、時間分配、后向散射系數和發射功率，最大化總計算速率。

綜上所述，現有研究尚未對計算延時最小化卸載策略和OFDMA接入技術中各子載波的動態分配進行深入研究。

1.3.4 基于NOMA接入計算卸載策略研究現狀

Li等^[32]基于NOMA技術，假設所有用戶節點采用二分卸載到計算節點，采用的解碼順序是從信道增益較好的用戶節點到信道增益較差的節點，在所提方案中，計算節點已知該解碼順序，以便為無線設備分配無線信道；基于李雅普諾夫優化框架，所提方案利用凸逼近方法的迭代算法，提出一種考慮能量傳輸時長、用戶節點計算卸載比例、CPU計算周期頻率和傳輸功率的聯合優化方案，在滿足延遲約束的條件下，實現能耗最小化。

Fang等^[33]考慮多個節點以NOMA技術進行部分卸載到計算節點的場景，通過聯合優化用戶節點的卸載比例和發射功率，所提方案能夠同時滿足發射功率和節點能耗的約束，實現任務計算能耗的最小化。

Vu等^[34]研究了基于NOMA技術接入的WP-MEC，推導涉及用戶節點誤塊率、吞吐量、能源效率、延遲和可靠性的閉式表達式，提出了一種有效的算法，所提算法通過優化功率分配系數來最小化NOMA用戶的誤塊率。

Cheng等^[35]研究了基于NOMA技術接入的WP-MEC系統，根據用戶到計算節點的距離，將用戶分為近端用戶和遠端用戶。研究方案選擇一個近端用戶和一個遠端用戶組成NOMA對，在下行階段收集能量，在上行階段傳輸信息，從而分析推導了信道容量。

Shi等^[36]考慮了用戶節點以NOMA技術進行部分卸載到計算節點的場景。首先，在每個周期內，計算節點進行無線供能；然后，用戶節點基于NOMA方式進行部分卸載；最后，計算節點進行任務計算。通過聯合優化時間分配、發射功率和計算頻率的迭代算法，實現了計算能量效率的最大化。

Qian等^[37]利用NOMA來實現MA-MEC中的計算卸載，提出了一種多址多任務計算卸載、NOMA傳輸和計算資源分配的聯合優化方法，其目標是在所需的延遲限制下最大限度地減少物聯網設備的總能耗，以完成其任務。文獻[14，16，18，21]同時研究了TDMA和NOMA協議。

綜上可知，目前，基于NOMA的接入技術均假設采用從信道增益較好的用戶節點到信道增益較差的節點的解碼順序，并未對計算延時最小化卸載策略和有關如何確定最優的解碼順序方面開展深入研究。

2 深度強化學習賦能的無線供能移動邊緣計算延時最小化卸載策略

2.1 深度強化學習賦能的無線供能移動邊緣計算系統計算卸載策略研究現狀

通過對無線供能移動邊緣計算系統的計算卸載策略研究現狀的分析可知，不論是二分卸載還是部分卸載，所采用的優化方法集中于傳統的非在線學習智能算法。這些傳統的優化方法未必能達到計算延時最小化的優化目標。例如，在無線衰落環境中，時變無線信道條件在很大程度上影響了無線供電MEC系統的最佳卸載決策^[38]。在多用戶場景中，主要的挑戰是單獨計算模式（即卸載或本地計算）和無線資源分配的聯合優化。而由于存在二進制卸載變量，通常將此類問題表述為混合整數規劃（Mixed Integer Programming，MIP）問題。為了解決MIP問題，現有研究采用分支定界算法^[39]和動態規劃法^[40]，但上述方法存在計算復雜度高的缺陷。為了降低計算復雜度，Bi等^[41-42]提出了啟發式局部搜索方法，Guo等^[43-44]提出了凸松弛方法。然而，以上研究都需要相當數量的迭代才能達到令人滿意的局部最優，故上述方法不適合在快速衰落信道中做出實時卸載決策，因為一旦信道衰落發生顯著變化，就需要重新解決優化問題^[45]。

為了使網絡系統的處理過程及數據響應過程實現前述的超低延遲要求，現有的研究目標是獲得一種在線學習智能算法。該算法可以將任務卸載決策和無線資源分配進行聯合優化以最優地適應時變無線信道條件。這需要在信道相干的時間內快速解決硬組合優化問題，而傳統的數值優化方法很難實現。值得一提的是，針對不同的應用場景，在線智能算法之間也存在優劣之分。在動態無線網絡中，使用深度強化學習算法相對于基于監督學習的深度神經網絡算法具有如下優勢：深度強化學習無須手動標記的訓練樣本；深度強化學習算法對用戶信道分布的變化具有更強的魯棒性。目前，對于無線供能移動邊緣計算卸載策略的研究大多采用深度強化學習方法作為在線智能算法。下面重點介紹在不同的研究目標下，基于深度強化學習方法對無線供能移動邊緣計算卸載策略進行卓有成效的研究策略。

為了降低系統的長期成本，Xu等^[46]提出了一種基于深度強化學習的在線資源管理方案。任務卸載和服務器的提供都可以通過設計一個基于決策后狀態的算法來學習。Li等^[47]采用無人機作為服務器模式為用戶節點充電，以獲取數據，據此設計了一個車載深度學習網絡來最小化用戶節點的數據包丟失方案，通過學習充電和數據收集決策，以獲得最優的解決方案。

為了最大化系統的計算效率，Huang等^[45]提出了一個基于深度強化學習的在線卸載框架。該框架利用深度神經網絡實現了一個可擴展的解決方案，從經驗中學習二進制卸載決策。所提方案消除了解決組合優化問題的需求，特別是在大型網絡中，大幅降低了計算復雜度。為了進一步降低復雜性，該文獻還提出了一個自適應程序，自動調整DROO算法的參數。數值計算結果表明，與現有的優化方法相比，該算法能在顯著減少計算時間的同時，實現接近最優性能的目標。

為了最大化系統計算速率總和，Zhang等^[48]考慮基于部分卸載模式的WP-MEC網絡，建立考慮計算節點能量傳輸時長、用戶節點的傳輸時間分配和部分卸載比例的聯合優化問題，并將上述卸載問題分解為主問題和子問題。文章設計了一個基于在線深度強化學習的框架，采用一個深度神經網絡及其探索策略和訓練策略來求主問題的最優解，并設計了一種有效的優化算法來解決子問題。數值結果表明，與使用求解器CVX求解子問題和使用深度神經網絡求解主問題的方案相比，基于深度強化學習的卸載算法實現了接近最大的總計算速率和，同時減少了至少2個數量級的處理時間。

目前，對于深度強化學習賦能的無線供能移動邊緣計算的卸載策略的研究并未在計算延時最小化卸載策略方向上進行相關探索。

2.2 深度強化學習賦能的無線供能移動邊緣計算延時最小化卸載策略研究方向的總結與展望

目前的研究成果基本上假設用戶的計算卸載時間和本地計算時間都在最大的允許范圍內，或是在給定延時要求的前提下，實現了計算速率、能耗、能效的優化。然而，根據前述分析，計算時延是MEC的關鍵性能指標，因此WP-MEC的計算延時最小化策略研究意義重大。但根據表1中文獻列表的研究現狀，有關延時最小化的計算卸載策略的研究較少，只有葉迎暉等^[22-23]研究了TDMA無線接入的場景，利用變量松弛、二分查找優化等手段處理復雜、難以直接求解的優化問題。另一方面，葉迎暉等^[22-23]采用的方法在面對優化參數較多、約束較多的WP-MEC計算延時最小化卸載問題時，存在“維度災”問題。由于存在計算節點能量傳輸時長、各用戶節點本地計算時間和計算卸載傳輸時間3個時間維度的優化，這3個時間維度的優化均是一個max-max函數，且互相耦合影響。與此同時，在能量因果約束中也存在優化變量耦合這一情況，因此和其他優化目標相比，計算延時最小化問題具有大量的優化變量、大量的約束和復雜的數學刻畫，基于優化理論的方法可能有較高的計算復雜度（無法應用于快衰落無線信道）。而人工智能模型如DQN（Deep Q-network）、深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）等，由于巨大的狀態空間和動作空間以及難以處理的大量約束，很難實現最終的收斂目標（即使收斂，收斂性能通常也不理想）。因此，設計既具有較低復雜度又能達到較好任務計算性能的計算延時最小化卸載算法面臨較大的挑戰。

綜上所述，為了能夠實現具有較低計算復雜度的同時獲得近似最優的計算性能，形成相關理論推動WP-MEC邊緣計算技術的發展，未來可以在以下3個關鍵問題上展開進一步的探究，如圖4所示。

2.2.1 基于TDMA的計算延時最小化卸載策略設計

對該問題的研究旨在設計出基于信道增益、用戶任務的最優化能量傳輸時長的深度強化學習框架，形成基于TDMA接入技術的深度強化學習和優化技術聯合賦能的計算延時最小化卸載技術及理論。

該研究方向需要基于TDMA接入方式，探明計算延時和信道增益、能量傳輸時長、傳輸功率、CPU計算周期頻率、計算任務大小、卸載比例分配之間的因果關系，構建計算延時最小化優化模型。如何將優化問題轉化為適合深度強化學習模型以及基于凸優化、連續凸近似等優化理論求解的子問題將是一個具有挑戰性的工作。另外，探索策略的設計也是該研究的一個難點。所研究的基于能量傳輸時長與各控制變量因果關系，不僅要設計提升深度神經網絡連續變量優化算法性能的探索策略，還要設計合適的候選能量傳輸時長的集合，避免算法的局部收斂，以在計算復雜度、收斂速度和收斂效果上取得較好的均衡。

2.2.2 基于OFDMA的計算延時最小化卸載策略設計

對該問題的研究旨在設計出基于信道增益、用戶任務的最優化用戶節點子載波數目分配策略的深度強化學習框架，形成基于OFDMA接入技術的深度強化學習和優化技術聯合賦能的計算延時最小化卸載技術及理論。

該研究方向需要基于OFDMA接入方式，在研究基于TDMA的計算延時最小化卸載策略設計的因果關系基礎上，進一步探明計算延時和各用戶節點子載波數目分配的因果關系，構建計算延時最小化優化模型。對于該研究問題的解決，其中一種可能的方向是將原問題分解為用戶節點子載波數目分配最優化的整數規劃問題和給定各用戶節點子載波數目分配的卸載策略和資源分配最優化問題。并針對以上子問題設計出基于網絡狀態求解最優化用戶節點子載波數目的基于深度神經網絡的深度強化學習模型以及合適的搜索算法。

對于該研究方向而言，基于用戶節點子載波數目分配與各控制變量因果關系，研究如何提升深度神經網絡整數規劃算法性能的探索策略，設計合適的候選子載波分配決策和隨機噪聲添加方法，避免算法局部收斂，以在計算復雜度、收斂速度和收斂效果上取得較好均衡將是一個具有挑戰性的工作。

2.2.3 基于NOMA的計算延時最小化卸載策略設計

目前，基于NOMA技術的相關研究基本假設解碼順序是從信道增益較好的用戶節點到信道增益較差的節點，然而，此種解碼順序顯然無法滿足不同網絡模型對計算延時最小化的需求。所以設計出基于信道增益、用戶任務的最優化用戶節點解調順序策略是一個有意義的研究方向。

該研究方向需要基于NOMA接入方式，在前述2個研究方向因果關系的基礎上，進一步探明計算延時和計算節點對各用戶節點信號的解調順序因果關系，構建計算延時最小化優化模型。對于該研究問題的解決，其中一種可能的方向是將原問題分解為最優化計算節點對各用戶節點信號的解調順序的排序優化問題和給定計算節點對各用戶節點信號的解調順序的卸載策略和資源分配問題。而如何設計基于深度神經網絡的深度強化學習模型，在計算復雜度較低的情況下找到用戶節點信號解調的最優順序，實現計算總延時最小化的計算卸載策略，并巧妙設計激活函數，實現深度強化學習模型輸出為解調順序是問題求解的關鍵。這其中最核心的問題是如何設計神經網絡輸出層與動作決策的映射關系，并制定合適的決策概率分布函數來增強強化學習的探索特性，避免算法局部收斂，降低計算復雜度，提升收斂速度。

3 結語

本文闡述了下一代無線通信網絡將會面臨的由用戶數量激增所導致的系統響應時效性和超低延時等新需求的挑戰，并對6類優化目標的研究現狀進行了調研，發現當前對于計算延時最小化的研究還相對較少，從而將問題聚焦到無線供能移動邊緣計算系統的計算延時最小化上。而后，本文梳理并對比分析了各類優化方法的優劣，發現將深度強化學習算法與傳統算法相結合能夠使問題求解的迭代次數更少，收斂速度更快，靈活性更強。最后，本文給出了深度強化學習賦能的無線供能移動邊緣計算網絡的計算延時最小化的3個關鍵未來研究方向。以上問題的研究將為應對無線用戶節點計算能力與能量的雙重受限問題，提供更高效、優化的計算卸載策略，并為其提供技術支持和科學的設計思路。

參考文獻

[1]WEI Z Q，YU X H，NG D W K，et al. Resource allocation for simultaneous wireless information and power transfer systems：a tutorial overview[J]. Proceedings of the IEEE，2022（1）：127-149.

[2]STOYANOVA M，NIKOLOUDAKIS Y，PANAGIO-TAKIS S，et al. A survey on the Internet of Things （IoT）forensics：Challenges，approaches，and open issues[J]. IEEE Communications Surveys & Tutorials，2020（2）：1191-1221.

[3]AHMAD Q Y，NAUMAN A，BIN Z Y，et al. The future of healthcare Internet of Things：A survey of emerging technologies[J]. IEEE Communications Surveys & Tutorials，2020（2）：1121-1167.

[4]CHETTRI L，BERA R. A comprehensive survey on Internet of Things （IoT）toward 5G wireless systems[J]. IEEE Internet of Things Journal，2020（1）：16-32.

[5]ZHAO P，TAO J W，LUI K，et al. Deep reinforcement learning-based joint optimization of delay and privacy in multiple-user MEC systems[J]. IEEE Transactions on Cloud Computing，2023（2）：1487-1499.

[6]WANG X J，NING Z L，GUO L，et al. Online learning for distributed computation offloading in wireless powered mobile edge computing networks[J]. IEEE Transactions on Parallel and Distributed Systems，2022（8）：1841-1855.

[7]張依琳，梁玉珠，尹沐君，等.移動邊緣計算中計算卸載方案研究綜述[J].計算機學報，2021（12）：2406-2430.

[8]JU H，ZHANG R. Throughput maximization in wireless powered communication networks[J]. IEEE Transactions on Wireless Communications，2014（1）：418-428.

[9]LIU G H，WANG Z H，JIANG T. QoS-aware throughput maximization in wireless powered underground sensor networks[J]. IEEE Transactions on Communications，2016（11）：4776-4789.

[10]CHI K K，ZHU Y H，LI Y J，et al. Minimization of transmission completion time in wireless powered communication networks[J]. IEEE Internet of Things Journal，2017（5）：1671-1683.

[11] PARK J，SOLANKI S，BAEK S，et al. Latency minimization for wireless powered mobile edge computing networks with nonlinear rectifiers[J]. IEEE Transactions on Vehicular Technology，2021（8）：8320-8324.

[12]LAN X L，CHEN Q C，CAI L，et al. Buffer-aided adaptive wireless powered communication network with finite energy storage and data buffer[J]. IEEE Transactions on Wireless Communications，2019（12）：5764-5779.

[13]LI B G，SI F Q，ZHAO W，et al. Wireless powered mobile edge computing with NOMA and user cooperation[J]. IEEE Transactions on Vehicular Technology，2021（2）：1957-1961.

[14]ZENG M，DU R，FODOR V，et al. 2019 IEEE 20th International Symposium on Power Electronics：Computation Rate Maximization for Wireless Powered Mobile Edge Computing with NOMA，October 23-26，2019[C]. Novi Sad，Serbia：IEEE，2019.

[15]FENG J，PEI Q Q，YU F R，et al. Computation offloading and resource allocation for wireless powered mobile edge computing with latency constraint[J]. IEEE Wireless Communications Letters，2019（5）：1320-1323.

[16]ZHOU F，HU R Q. Computation efficiency maximization in wireless-powered mobile edge computing Networks [J]. IEEE Transactions on Wireless Communications，2020（5）：3170-3184.

[17]BI S Z，ZHANG Y J. Computation rate maximization for wireless powered mobile-edge computing with binary computation offloading[J]. IEEE Transactions on Wireless Communications，2018（6）：4177-4190.

[18]MIRGHASEMI H，VANDENDORPE L，ASHRAF M. 2020 IEEE Wireless Communications and Networking Conference：Optimal Online Resource Allocation for SWIPT-based Mobile Edge Computing Systems，May 25-28，2020[C] （WCNC）. Seoul，South Korea：IEEE，2020.

[19]WU H，LYU X，TIAN H. Online optimization of wirelss powered mobile-edge computing for Het-erogeneous[J]. Industrial Internet of Things Journal，2019（6）：9880-9892.

[20]WU H，TIAN H，FAN S S，et al. Data age aware scheduling for wireless powered mobile-edge computing in industrial Internet of Things[J]. IEEE Transactions on Industrial Informatics，2021（1）：398-408.

[21]LI C L，CHEN W N，TANG H L，et al. Stochastic computation resource allocation for mobile edge computing powered by wireless energy transfer[J]. Ad Hoc Networks，2019，93：101897.

[22]葉迎暉，施麗琴，盧光躍.無線供能移動邊緣網絡中計算時延最小化資源分配方法研究[J].電子與信息學報，2022（5）：1839-1846.

[23]YE Y H，SHI L Q，CHU X L，et al. Delay minimization in wireless powered mobile edge computing with hybrid BackCom and AT[J]. IEEE Wireless Communications Letters，2021（7）：1532-1536.

[24]LI C L，CHEN W N，TANG J H，et al. Radio and computing resource allocation with energy harvesting devices in mobile edge computing environment[J]. Computer Communications，2019，145：193-202.

[25]WANG F，XING H，XU J. ICC 2019 - 2019 IEEE International Conference on Communications：Optimal Resource Allocation for Wireless Powered Mobile Edge Computing with Dynamic Task Arrivals，May 20-24，2019[C]. Shanghai，China：IEEE，2019.

[26]WANG F，XING H，XU J. Real-time resource allocation for wireless powered multiuser mobile edge computing with energy and task causality[J]. IEEE Transactions on Communications，2020（11）：7140-7155.

[27]TRAN T X，POMPILI D. Joint task offloading and resource allocation for multi-server mobile-edge computing networks[J]. IEEE Transactions on Vehicular Technology，2019（1）：856-868.

[28]LI H L，XU H T，ZHOU C C，et al. Joint optimization strategy of computation offloading and resource allocation in multi-access edge computing environment[J]. IEEE Transactions on Vehicular Technology，2020（9）：10214-10226.

[29]WEI Z X，SUN S M，ZHU X，et al. Resource allocation for wireless-powered full-duplex relaying systems with nonlinear energy harvesting efficiency[J]. IEEE Transactions on Vehicular Technology，2019（12）：12079-12093.

[30]HUANG P Q，WANG Y，WANG K Z. A divide-and-conquer bilevel optimization algorithm for jointly pricing computing resources and energy in wireless powered MEC[J]. IEEE Transactions on Cybernetics，2022（11）：12099-12111.

[31]NGUYEN P X，TRAN D H，ONIRETI O，et al. Backscatter-assisted data offloading in OFDMA-based wireless-powered mobile edge computing for IoT networks[J]. IEEE Internet of Things Journal，2021（11）：9233-9243.

[32]LI C L，TANG J H，LUO Y L. Dynamic multi-user computation offloading for wireless powered mobile edge computing[J]. Journal of Network and Computer Applications，2019，131：1-15.

[33]FANG F，XU Y Q，DING Z G，et al. Optimal resource allocation for delay minimization in NOMA-MEC networks[J]. IEEE Transactions on Communications，2020（12）：7867-7881.

[34]VU T H，NGUYEN T V，NGUYEN T T，et al. Performance analysis and deep learning design of wireless powered cognitive NOMA IoT short-packet communications with imperfect CSI and SIC[J]. IEEE Internet of Things Journal，2022（13）：10464-10479.

[35]CHENG Y Y，LI K H，TEH K C，et al. Two-tier NOMA-based wireless powered communication networks[J]. IEEE Systems Journal，2022（3）：4698-4707.

[36]SHI L Q，YE Y H，CHU X L，et al. Computation energy efficiency maximization for a NOMA-based WPT-MEC network[J]. IEEE Internet of Things Journal，2021（13）：10731-10744.

[37]QIAN L P，WU Y，JIANG F L，et al. NOMA assisted multi-task multi-access mobile edge computing via deep reinforcement learning for industrial Internet of Things[J]. IEEE Transactions on Industrial Informatics，2021（8）：5688-5698.

[38]YOU C S，HUANG K B，CHAE H. Energy efficient mobile cloud computing powered by wireless energy transfer[J]. IEEE Journal on Selected Areas in Communications，2016（5）：1757-1771.

[39]NARENDRA P M，FUKUNAGA K. A branch and bound algorithm for feature subset selection [J]. IEEE Transactions on Computers，1977（9）：917-922.

[40]BERTSEKAS D P. Dynamic programming and optimal control[M]. Belmont，MA：Athena Scientific，1995.

[41]BI S Z，ZHANG Y J. Computation rate maximization for wireless powered mobile-edge computing with binary computation offloading[J]. IEEE Transactions on Wireless Communications，2018（6）：4177-4190.

[42]TRAN T X，POMPILI D. Joint task offloading and resource allocation for multi-server mobile-edge computing networks[J]. IEEE Transactions on Vehicular Technology，2019（1）：856-868.

[43]GUO S T，XIAO B，YANG Y Y，et al. IEEE INFOCOM 2016 - The 35th Annual IEEE International Conference on Computer Communications：Energy-Efficient Dynamic Offloading and Resource Scheduling in Mobile Cloud Computing，April 10-15，2016[C]. San Francisco，CA，USA：IEEE，2016.

[44]DINH T Q，TANG J H，LA Q D，et al. Offloading in mobile edge computing：task allocation and computational frequency scaling[J]. IEEE Transactions on Communications，2017（8）：3571-3584.

[45]HUANG L，BI S Z，ZHANG Y J A. Deep reinforcement learning for online computation offloading in wireless powered mobile-edge computing networks[J]. IEEE Transactions on Mobile Computing，2020（11）：2581-2593.

[46]XU J，REN S L. 2016 IEEE Global Communications Conference：Online Learning for Offloading and Autoscaling in Renewable-Powered Mobile Edge Computing，December 4-8，2016[C]. Washington，DC，USA：IEEE，2016.

[47]LI K，NI W，TOVAR E，et al. On-board deep Q-network for UAV-assisted online power transfer and data collection[J]. IEEE Transactions on Vehicular Technology，2019（12）：12215-12226.

[48]ZHANG S B，GU H，CHI K K，et al. DRL-based partial offloading for maximizing sum computation rate of wireless powered mobile edge computing network[J]. IEEE Transactions on Wireless Communications，2022（12）：10934-10948.

（編輯 王雪芬編輯）

Review of research on offloading strategy for computing delay optimization

in wireless powered edge computing

Huang? Bowen¹， Chen? Xiaolong^1*， Fang? Cunliang¹， Zhou? Wenhua¹， Li? Jinhong¹， Huang? Qiwen¹， Chi? Kaikai²

（1.Jinhua Polytechnic， Jinhua 321000， China; 2.Zhejiang University of Technology， Hangzhou 310014， China）

Abstract： The integration of wireless energy supply and mobile edge computing technology provides a technical support for the realization of the next generation wireless communication network. However， the surge in the number of users poses new challenges to the realization of requirements such as system response timeliness and ultra-low latency. Therefore， how to design a real-time computing offloading strategy with fewer iterations， fast convergence and strong flexibility has become a new research focus. This paper combs the problems and challenges faced by wireless powered mobile edge computing（WP-MEC） system in achieving ultra-low latency requirements， summarizes the research overview of WP-MEC system network models and computing offload strategies， and describes in detail the research status of computing offloading strategies of WP-MEC systems under four different access modes. This paper compares and analyzes the advantages and disadvantages of various traditional numerical optimization methods and deep reinforcement learning optimization methods in real-time computing offloading decision-making. This paper summarizes and prospects the development of low complexity and efficient computing offloading strategies， and proposes three key research directions of delay minimization computing offloading policy.

Key words： deep reinforcement learning; wireless powered network; mobile edge computing; offloading strategy; computing delay minimization