多域網絡中基于域間時延博弈的端到端動態協同切片方法

摘 要：針對多域網絡中的切片存在域間時延不均的問題，提出了一種基于域間時延博弈的端到端動態協同切片方法（inter-domain dynamic game algorithm，IDGA）。采用博弈論方法將端到端時延約束分配到不同的網絡域，通過在域內部署切片來獲得相應的博弈收益，采用DDPG算法不斷更新博弈策略，最終得到最佳的時延分配比例和切片部署方案。實驗表明，該算法與傳統的靜態分配算法對比有明顯優勢，與經驗迭代的DSDP方法以及DQN-SNAF算法相比，IDGA算法在100個切片請求下，切片部署成功率分別提高了8%和3%左右，同時節點資源利用率提高了5.75%和1.96%左右，在降低部署成本方面也有顯著優勢。

關鍵詞：多域網絡； 網絡切片； 切片協同； 納什博弈； 強化學習

中圖分類號：TN929.5 文獻標志碼：A

文章編號：1001-3695（2024）06-032-1820-05

doi：10.19734/j.issn.1001-3695.2023.09.0434

End-to-end dynamic collaborative slicing method based on inter-domain

delay game in multi-domain network

Abstract：Aiming at the problem of uneven inter-domain delay in slicing in multi-domain networks， this paper proposed an end-to-end dynamic cooperative slicing method based on inter-domain delay game. This method used game theory methods to allocate end-to-end delay constraints to different network domains， and deployed slices within the domain to obtain correspon-ding game benefits. It used the DDPG algorithm to continuously update the game strategy， and finally obtained the optimal delay allocation ratio and slice deployment solution. Experiments show that compared with the traditional static allocation algorithm， the proposed algorithm has obvious advantages. Compared with the empirically iterative DSDP method and the DQN-SNAF algorithm， the IDGA algorithm increased the slice deployment success rate by about 8% and 3% respectively under 100 slice requests. At the same time， the node resource utilization rate increased by about 5.75% and 1.96%. There are also significant advantages in reducing deployment costs.

Key words：multi-domain network; network slicing; slice collaboration; Nash game; reinforcement learning

0 引言

多域網絡切片是指將網絡切片的概念擴展到跨多個網絡域，每個網絡域可以由不同的網絡運營商或管理實體管理［1］。在5G端到端網絡中，多域網絡切片包括接入網域、傳輸網域以及核心網域。多域網絡切片相比單域網絡切片面臨著跨域協調與管理、跨域資源共享［2］以及跨域管理復雜性［3］等問題。解決這些問題需要各個域之間的合作與協調，以確保多域網絡切片的有效實施和資源的優化利用［4］。通過域間的協同合作，可以實現資源的跨域調配［5］和共享，提高資源利用效率，滿足各個域的需求。

針對多域網絡的域間協同，有學者也進行了相關研究。例如Chien等人［6］針對多域網絡端到端時延分配采用了固定的分配比率，使端到端時延低于服務實際所需時延，但導致了資源浪費。Kovacevic等人［7］提出了一種自適應的三階段多域切片算法，用于將網絡切片映射到物理網絡資源，以實現延遲有限的服務。但需要獲取各域拓撲信息，損害了各域之間的隱私性［8］。Bai等人［9］提出了兩種延遲均衡策略，根據不同切片劃分不同比例和根據不同類型切片劃分不同比例，提高了系統容量，但只是基于簡單的比例分配調整，不能確定達到最優的分配比例。文獻［10］提出了一種基于切片到節點接入因子（SNAF）的端到端切片資源供應方案，使用SNAF資源調整方案來調整切片權重以反映資源占用情況，再使用DRL算法進行資源分配，實時聯合處理分片到節點的流量負載分配和端到端資源分配。雖然SNAF算法在一定程度上減少了資源浪費，提高了資源利用率，但在資源短缺的情況下不能很好地調節多域間的資源競爭和分配。

總之，現有的研究方法主要是針對多域網絡切片的聯合以及端到端網絡切片的資源分配，主要考慮域間資源共享和域間合作進行資源的部署和調整，很少從多域博弈的角度考慮域間資源競爭問題。本文從時延可分割性［9］出發，在保證端到端整體性能的同時進行域間協同，提出了一種基于域間時延博弈的端到端動態協同切片方法（IDGA）。將端到端時延約束分割為接入網時延約束和核心網時延約束，使用納什博弈［11］方法，接入網和核心網分別為博弈玩家，端到端時延約束分配比例作為博弈策略，使用深度確定型策略梯度（deep deterministic policy gradient，DDPG）算法更新博弈策略，得到最優的時延約束分配比例。針對博弈玩家內部，使用分配到的時延約束進行切片部署。其中，接入網使用深度Q學習（deep Q-network，DQN）進行切片部署，核心網切片部署同時考慮了部署成本問題。本文方法采用分布式架構，無須展示各域拓撲信息，保證了切片的隱私性；并且采用強化學習算法進行策略更新，能夠動態適應網絡變化，在滿足端到端時延約束的同時最大化資源利用和切片部署成功率，以及最小化部署成本［12］。

1 系統模型與問題描述

1.1 系統模型

底層網絡的基礎設施由接入網絡和核心網絡組成。接入網為多個RRU組成的蜂窩網絡，其資源可以抽象為物理資源塊（PRB），將時域T分為M個時隙Δt，在每個時隙Δt時間內，BHz的總帶寬可以被分為L個物理資源塊（PRB）。所以PRB總量為K=M·L，一組時頻資源的PRB可以表示為k={1，2，3，…，K}。核心網可用無向圖Gp=（Np，Ep）表示，其中Np和Ep表示底層核心網的物理節點集合和物理鏈路集合。節點資源主要考慮計算資源，用Cpn表示節點n∈NP的計算資源容量。鏈路資源主要用帶寬表述，用Bpmn表示鏈路（m，n）∈Ep的帶寬容量。假設用戶以泊松過程隨機分布在基站的覆蓋范圍內，用戶數量為N，用戶集為UN={u1，u2，u3，…，uN}。用戶請求到達時會識別出端到端時延要求TE2E，將TE2E分配給接入網ρTE2E和核心網（1-ρ）TE2E，以此為時延閾值進行切片部署。系統模型如圖1所示。

1.2 問題描述

1.2.1 域間時延博弈系統描述

對于端到端的網絡切片請求，用戶的時延包括接入網時延和核心網時延，所以可以將端到端的時延預算TE2E分解為兩部分，分別為RAN時延約束ρTE2E和CN時延約束（1-ρ）TE2E。兩方都要爭搶更多的時延預算來提高自身切片部署成功率，所以如何確定時延分配比例是研究的重點。使用納什博弈的方法在接入網和核心網之間進行博弈，以確定最佳的時延分配比例。而在RAN和CN內部，以分配到的時延預算為約束進行切片部署和資源分配。

在RAN內部，假設業務流為M/M/1排隊模型，數據包到達速率為μ，平均長度為λ bit。則用戶的平均傳輸延遲可表示為

其中：Rn=∑ωk，nrnk為用戶總吞吐量。

ωk，n為二進制變量，表示基站對用戶的資源分配結果，當PRBk分配給用戶un時ωk，n=1，否則ωk，n=0。

rnk為RRU在PRBk上給用戶un提供的速率。

其中：Pnk表示基站在PRBk上給用戶un分配的功率；hnt表示信道增益；Bl為在PRBk給用戶分配的帶寬；No為其他基站引起的噪聲干擾；σ2為噪聲功率。

在CN內部切片請求用有向圖表示為Gv=（Nv，Ev），其中Nv表示VNF的集合，Ev表示虛擬鏈路的集合。假設i，j∈Nv兩個前后相關的VNF，所需要的節點處理資源為Cvi和Cvj，它們之間直接連接的虛擬鏈路（i，j）∈Ev所需要的帶寬資源為Bvij。用一個二進制變量Aim來表示VNF和物理節點的映射關系，用二進制變量Aijmn表示虛擬鏈路（i，j）是否映射到物理鏈路（m，n）。核心網的時延TCN由兩部分組成，即節點處理時延TN和鏈路傳輸時延TTR。

節點處理時延與節點負載有關，節點負載可以定義為節點總VNF資源需求與物理節點處理能力的比率：

假設節點m的處理時延為tm=αCload m+β，節點處理總時延為

假設鏈路傳輸的每一跳時延是定值t1，則鏈路傳輸總時延為

核心網總時延TCN=TN+TTR。

1.2.2 優化目標

域間時延博弈的目的是在接入用戶和請求盡可能多的前提下，最大化用戶滿意度和切片部署成功率以及最小化用戶部署成本［12］。

用戶的滿意度為用戶切片部署時延與時延要求的比較，部署時延越大，滿意度越低，反之越高。

部署成本考慮核心網虛擬網絡映射成本，定義為

其中：priceim為VNF映射到物理節點m的成本，與剩余資源量成反比，即

priceijmn為單位帶寬的鏈路映射成本，與剩余帶寬成反比，即

目標函數可以表示為

xn=1表示用戶成功訪問基站并滿足相關約束；yn=1表示用戶滿足核心網約束成功部署切片。

約束條件為

約束條件式（10a）表示一個PRB只能分配給一位用戶；式（10b）表示用戶占用的PRB數量不能超過PRB總數；式（10c）表示給用戶分配的功率不能超過最大功率；式（10d）表示接入網的時延不能超過給接入網分配的時延閾值；式（10e）表示每個VNF只能映射到一個物理節點上；式（10f）表示映射到物理節點上的資源需求不能超過物理節點的容量；式（10g）表示每個虛擬鏈路只能映射到一個物理鏈路上；式（10h）表示映射到物理鏈路上的資源需求不能超過物理鏈路的帶寬容量；式（10i）表示核心網的時延不能超過給核心網分配的時延閾值；式（10j）表示核心網的部署成本不能超過運營商最大成本限制，使運營商有利可圖。

由于上述優化問題難以直接求解，本文提出了一種基于域間時延博弈的端到端網絡切片協同算法，使用強化學習方法在約束條件內經過多次博弈迭代，以優化目標為收益，尋找使長期收益最大的最優解。

2 基于域間時延博弈的端到端切片協同算法

為了在滿足用戶端到端QoS要求的基礎上擴大網絡系統容量，本文提出了一種基于域間時延博弈的端到端切片協同算法（IDGA）。算法主要由域間時延博弈和域內切片部署兩部分組成。域間時延博弈采用博弈論方法將端到端時延分配給接入網（RAN）域和核心網（CN）域，并獲得一定的博弈收益。將博弈收益作為獎勵函數，使用強化學習方法不斷進行博弈迭代，直到達到納什均衡狀態。域內切片部署則在RAN和CN域內，根據分配到的時延進行域內切片部署，并得到部署成功率及部署成本等數據作為域間時延博弈的博弈收益。經過強化學習算法的不斷迭代，最終得到最佳的切片部署策略。

2.1 域間時延博弈

2.2 域內切片部署和博弈收益

2.2.1 RAN切片部署和博弈收益

強化學習算法［13］進行切片部署可以適應接入網環境的不確定性，優化策略并考慮長期回報，具備自適應性和自學習能力，因此考慮使用適用于高維狀態空間的經驗回放的DQN算法［14］進行接入網切片部署。在接入網中，優化目標是最大化用戶滿意度和接入成功率。對于RAN切片部署，假定一個用戶代表一個切片，智能體為RAN域控制器。定義強化學習的{St，A，R，St+1}如下：

狀態空間（state）：sn∈SN表示切片資源分配狀態，定義為用戶的接收信干噪聲比sn=SINRn。

動作空間（action）：an∈AN表示用戶的PRB和功率分配，ant=（{PRBn}1×M，{pnt}1×M）1×N。

獎勵（reward）：以用戶的滿意度和接入成功率作為獎勵函數。

使用具有優先經驗回放的DQN算法進行切片部署，智能體將數據存儲在一個數據庫中，采用均勻隨機采樣的方式從數據庫中抽取數據，然后利用抽取到的數據訓練神經網絡。利用訓練好的神經網絡進行切片部署。接入網切片部署成功后，得到用戶接入實際時延TRANu，并且將獎勵函數作為接入網博弈收益。

2.2.2 CN切片部署和博弈收益

在核心網中，虛擬網絡映射［15］包括節點映射和鏈路映射。節點映射［16］指在物理網絡中尋找合適的物理節點承載虛擬節點，需要考慮虛擬節點的資源需求和物理節點的資源能力，以保證映射后虛擬節點能夠正常工作。同時，考慮節點部署成本問題，由于資源單價與物理節點剩余資源量成反比，所以本文采用基于排序的節點映射算法［17］。使用廣度優先搜索算法［18］將虛擬節點和物理節點基于節點資源量等指標進行降序排序，按照切片部署算法將評分高的虛擬節點映射到評分高的物理節點上。這樣不僅可以提高部署成功率，還能降低部署成本單價，從而降低部署成本。最后根據節點映射結果，使用最短路徑算法［19］進行鏈路映射。

核心網切片部署成功后，得到用戶核心網實際時延TCNu。CN的博弈收益定義為用戶滿意度和部署成功率以及部署成本的加權和。

2.3 基于DDPG的策略更新算法

DDPG是一種強化學習算法，通過訓練一個深度神經網絡［20］來估計策略函數，并通過連續動作空間中的策略梯度方法［21］來更新策略。DDPG算法具有較強的適應性和學習能力，可以在復雜的網絡環境中自主學習并優化策略［22］。智能體從環境中得到的狀態空間S表征為接入網和核心網的時延余量τ=TE2E-TRAN-TCN，智能體的動作空間A為博弈策略，即時延分配比例ρ、1-ρ，令博弈收益R=BRAN+BCN作為獎勵函數，以最大化長期收益為目的進行訓練和動作選擇，當時延余量τ小于優化閾值D時，判定智能體達到終止條件。基于DDPG的策略更新算法框架如圖3所示。

DDPG算法使用演員-評論家（Actor-Critic）算法［23］作為其基本框架，采用深度神經網絡作為策略網絡和動作值函數的近似，使用隨機梯度法［24］訓練策略網絡和價值網絡模型中的參數。Actor網絡作出動作指令，再由Critic網絡對其動作產生的回報值進行計算，并更新其參數權重。

Critic訓練網絡輸出當前時刻狀態-動作的Q值函數Qw（St，at），用于評價當前策略。Critic目標網絡用于近似估計下一時刻的狀態-動作的Q值函數Qw′（St+1，πθ′（St+1）），其中，下一動作值是通過Actor目標網絡近似估計得到的πθ′（St+1）。當前狀態下Q值函數的目標值為

yt=rt+γQw′（St+1，πθ′（St+1））（14）

通過最小化損失值（均方誤差損失）來更新Critic網絡的參數，Critic網絡更新時的損失函數為

Actor目標網絡用于提供下一個狀態的策略，Actor訓練網絡則是提供當前狀態的策略，結合Critic訓練網絡的Q值函數，可以得到Actor在參數更新時的策略梯度：

算法1 基于DDPG的策略更新算法

3 仿真驗證與結果分析

本文在英特爾酷睿i5-7200U服務器上運行所有模擬。在Windows 64位操作系統下，通過Python 3.7中的Anacoda集成開發環境，使用PyTorch 1.4構建網絡，并使用CUDA 10.1來加快操作速度。通過仿真實驗來驗證所提出的基于域間時延博弈的端到端動態協同切片方法的有效性，并與靜態比例分割以延遲均衡策略［9］的DSDP（different slices different proportions）算法以及使用強化學習的DQN-SNAF算法［10］在切片部署成功率、資源利用率和部署成本方面進行對比分析。

3.1 仿真設置

在仿真系統中，模擬了接入網環境和核心網環境，首先接入網設置了一個基站覆蓋范圍在半徑100 m的圓內，在基站覆蓋范圍內用戶隨機分布，核心網拓撲結構使用典型的數據中心拓撲，由交換節點和服務節點組成，采用Fat-Tree網絡結構［25］，VNs的拓撲由預編程的拓撲生成器隨機生成，VNs的生存時間在CloudSim中隨機分布在［100，1000］個時間單位中。詳細參數如表1所示。

3.2 仿真結果分析

從30個用戶請求到100個用戶請求反復測試，得到的請求部署成功數量如圖4所示。可以看出，在用戶數量較少時四種算法差異性不大，基本都可以成功部署。隨著用戶請求的增多，四種算法差異性逐漸明顯，其中靜態分割在某個域需求流量大時無法及時有效地分配資源，會造成時延增大從而無法達到用戶SLA，導致不能成功部署切片。DSDP算法在經過迭代分配效果優于靜態算法，但由于迭代的局限性，不能達到最佳分配。DQN-SNAF算法在請求數量少時有較優的性能，但在切片數量較多、資源不足的情況下不能協調各域資源，導致部署成功率較低。IDGA算法可以實現跨域資源的動態調整，并使用強化學習方法達到最優的分配比例。相比于其他三個算法有較優的性能，在100個請求下，其部署成功率比DSDP算法提高了8%左右，比DQN-SNAF算法提升了3%左右。

四種算法的節點資源利用率如圖5所示。可以看到，隨著切片數量增加節點資源利用率不斷增大，靜態分配的節點資源利用率遠低于其他兩種算法，因為靜態分割法采用固定的分配比率，在某個域用戶需求小時，仍占用較多資源導致資源浪費。DQN-SNAF算法通過調節節點資源分配提升了資源利用率，但隨著切片數量的增加，IDGA算法域間資源協同優勢更為突出，在100個請求下，平均節點資源利用率比DSDP算法提高了5.75%左右，比DQN-SNAF算法提升了1.96%左右。可以證明使用域間協同和強化學習算法，能進一步達到最優的時延分割比例，提升了資源的有效利用，擴大了系統容量。

四種算法的平均部署成本如圖6所示。從圖中可以看出，隨著切片數量增多，資源緊缺導致部署成本不斷增加。本文IDGA算法核心網切片部署時綜合考慮了部署成本，以最小化部署成本為優化目標，通過節點排序的方式，優先映射資源單價較低的節點，從而降低了部署成本。但在切片請求數量較多的情況下，由于成功部署切片數量遠多于靜態分配算法，平均部署成本也略高于靜態分配。

4 結束語

本文在多域網絡環境下，針對域間時延分配不均的問題，提出了一種基于域間時延博弈的端到端動態協同切片方法。利用時延的可分割性，通過接入網域和核心網域之間的動態博弈將端到端時延進行最優分配。在尋優的過程中，使用強化學習算法進行博弈策略的更新，確保隨著網絡環境的變化能得到最優的時延分配。通過仿真實驗證明，本文算法能夠有效地增加成功部署切片的數量，提高節點資源利用率，擴大系統容量的同時降低部署成本。但本文研究中簡化了端到端網絡模型，忽略了傳輸網的影響，且只考慮了單一的業務類型，在后續的研究中會進一步完善端到端網絡模型，同時考慮多業務的影響。

參考文獻：

［1］Chahbar M， Diaz G， Dandoush A， et al. A comprehensive survey on the E2E 5G network slicing model［J］. IEEE Trans on Network and Service Management， 2020，18（1）： 49-62.

［2］Wang Qi， Alcaraz-Calero J， Weiss M B， et al. SliceNet： end-to-end cognitive network slicing and slice management framework in virtua-lised multi-domain， multi-tenant 5G networks［C］//Proc of IEEE International Symposium on Broadband Multimedia Systems and Broa-dcasting. Piscataway， NJ： IEEE Press， 2018： 1-5.

［3］周新力. 基于馬氏決策過程的多域網絡切片資源管理［D］. 北京：北京郵電大學， 2020. （Zhou Xinli. Multi-domain network slice resource management based on Markov decision process［D］. Beijing：Beijing University of Posts and Telecommunications， 2020.）

［4］Afolabi I， Prados-Garzon J， Bagaa M， et al. Dynamic resource provisioning of a scalable E2E network slicing orchestration system［J］. IEEE Trans on Mobile Computing， 2019，19（11）： 2594-2608.

［5］Baba H， Hirai S， Nakamura T， et al. End-to-end 5G network slice resource management and orchestration architecture［C］//Proc of the 8th International Conference on Network Softwarization. Piscataway， NJ： IEEE Press， 2022： 269-271.

［6］Chien H T， Lin Y D， Lai C L， et al. End-to-end slicing with optimized communication and computing resource allocation in multi-tenant 5G systems［J］. IEEE Trans on Vehicular Technology， 2019，69（2）： 2079-2091.

［7］Kovacevic I， Shafigh A S， Glisic S， et al. Multi-domain network slicing with latency equalization［J］. IEEE Trans on Network and Service Management， 2020，17（4）： 2182-2196.

［8］He Guobiao， Wei Su， Gao Shuai， et al. NetChain： a blockchain-enabled privacy-preserving multi-domain network slice orchestration architecture［J］. IEEE Trans on Network and Service Management， 2021，19（1）： 188-202.

［9］Bai Haonan， Zhang Yong， Zhang Zhenyu， et al. Latency equalization policy of end-to-end network slicing based on reinforcement learning［J］. IEEE Trans on Network and Service Management， 2023，20（1）： 88-103.

［10］Sebakara S R A， Boateng G O， Mareri B， et al. SNAF： DRL-based interdependent E2E resource slicing scheme for a virtualized network［J］. IEEE Trans on Vehicular Technology， 2023，72（7）： 9069-9084.

［11］Greiner D， Periaux J， Emperador J M， et al. Game theory based evolutionary algorithms： a review with Nash applications in structural engineering optimization problems［J］. Archives of Computational Methods in Engineering， 2017，24： 703-750.

［12］Zhao Yujing， Shen Jing， Wang Qi， et al. Service function chain deployment for 5G delay-sensitive network slicing［C］//Proc of the 17th International Wireless Communications and Mobile Computing . Piscataway， NJ： IEEE Press， 2021： 68-73.

［13］Sánchez J A H， Casilimas K， Rendon O M C. Deep reinforcement learning for resource management on network slicing： a survey［J］. Sensors， 2022，22（8）： 3031.

［14］Fhrmann D， Jorek N， Damer N， et al. Double deep Q-learning with prioritized experience replay for anomaly detection in smart environments［J］. IEEE Access， 2022，10： 60836-60848.

［15］Nguyen K， Huang C. Toward adaptive joint node and link mapping algorithms for embedding virtual networks： a conciliation strategy［J］. IEEE Trans on Network and Service Management， 2022，19（3）： 3323-3340.

［16］Yaghoubpour F， Bakhshi B， Seifi F. End-to-end delay guaranteed SFC deployment： a multi-level mapping approach［EB/OL］. （2021-02-11）. https：//arxiv.org/abs/2102.06090.

［17］管婉青. 基于多層復雜網絡理論的網絡切片協作管理研究［D］. 北京：北京郵電大學， 2019. （Guan Wanqing. Research on collaborative management of network slicing based on multi-layer complex network theory［D］. Beijing ：Beijing University of Posts and Telecommunications， 2020.）

［18］Akram V K， Asci M， Dagdeviren O. Design and analysis of a breadth first search based connectivity robustness estimation approach in wireless sensor networks［C］//Proc of the 6th International Conference on Control Engineering & Information Technology. Piscataway， NJ： IEEE Press， 2018： 1-6.

［19］Huang Guanghao， Lu Wei， Xie Jidong， et al. Improved route selection strategy based on K shortest path［C］//Proc of International Symposium on Networks， Computers and Communications. Piscataway， NJ： IEEE Press， 2019： 1-4.

［20］Cai Zhiqiang， Chen Jingshuang， Liu Min. Self-adaptive deep neural network： numerical approximation to functions and PDEs［J］. Journal of Computational Physics， 2022，455： 111021.

［21］Khalid J， Ramli M A M， Khan M S， et al. Efficient load frequency control of renewable integrated power system： a twin delayed DDPG-based deep reinforcement learning approach［J］. IEEE Access， 2022， 10： 51561-51574.

［22］張前， 何山， 黃嵩，等. 基于DDPG算法的風力發電機變槳距控制研究［J］. 科學技術與工程， 2023，23（18）： 7764-7771. （Zhang Qian， He Shan， Huang Song， et al. Research on variable pitch control of wind turbine based on DDPG algorithm［J］. Science Technology and Engineering， 2023，23（18）： 7764-7771.）

［23］Redder A， Ramaswamy A， Karl H. Asymptotic convergence of deep multi-agent actor-critic algorithms［EB/OL］. （2022-01-03）. https：//doi.org/10.48550/arXiv.2201.00570.

［24］Patel V， Zhang S， Tian B. Global convergence and stability of stochastic gradient descent［J］. Advances in Neural Information Processing Systems， 2022， 35： 36014-36025.

［25］Hacham S， Din N M， Balasubramanian N. Load balancing in software-defined data centre with fat tree architecture［C］//Proc of the 4th International Conference on Smart Sensors and Application. Pisca-taway， NJ： IEEE Press， 2022： 45-49.

［26］Qiu Chengrun， Hu Yang， Chen Yan， et al. Deep deterministic policy gradient （DDPG） -based energy harvesting wireless communications［J］. IEEE Internet of Things Journal， 2019，6（5）： 8577-8588.