基于Stackelberg 博弈的無人機輔助無線供能物聯網能量優化

黃旭民，張旸，余榮，蔣麗，田輝，吳遠

（1.廣東工業大學自動化學院，廣東 廣州 510006；2.澳門大學智慧城市物聯網國家重點實驗室，澳門 999078；3.北京郵電大學網絡與交換技術國家重點實驗室，北京 100876；4.澳門大學計算機與信息科學系，澳門 999078）

0 引言

全球物聯網終端設備（IoTD,Internet of things device）數量將從2021 年的100 億上升到2030 年的254 億[1]。目前，IoTD 主要以電池作為工作能源，存在耗盡電量的風險，運行性能和續航時長受到電池容量的嚴格限制。因此，物聯網需要一種有效的能量供應方法，以隨時隨地為大量IoTD 及時充電。結合無線能量傳輸（WPT,wireless power transfer）技術，無人機（UAV,unmanned aerial vehicle）可以靈活地為IoTD 供應能量，一種新型的網絡范例——無人機輔助的無線供能物聯網[2-3]被提出。UAV 被指派前往IoTD 所在區域上空懸停，通過廣播射頻信號對WPT 范圍內的IoTD 進行無線充電。利用無人機部署容易、機動性強和應用范圍廣的特點，配合時下高效的WPT 技術如無線射頻充電（能量傳輸距離為幾十米至幾千米[4]），UAV輔助的無線供能方法能夠快速地為大規模IoT 網絡提供可持續和經濟的能量供應。

關于UAV 在無線通信網絡的應用，部分研究工作首先聚焦UAV 作為中繼支持地面無線網絡的數據通信，相關文獻分別圍繞最小化系統或者UAV總能耗[5-6]、最小化用戶間最大時延[7]、最小化UAV參與協助干擾時的系統總能耗[8]、最小化系統中斷概率[9]、最大化計算效率[10]、最大化用戶群體的最小平均吞吐量等優化目標[11]，提出研究思路與解決方案。隨后，部分研究工作進一步關注UAV 作為中繼既傳輸能量也接受信息的場景，在此方面，不同文獻也基于不同優化目標提出了一系列理論研究。例如，文獻[12]研究如何基于不同IoTD 對不同UAV 的個體偏好信息和給定不同UAV 給予不同IoTD 的能量供應，運用馬爾可夫決策和隨機匹配理論設計一種動態的UAV 調度方案，在不同時刻派遣不同UAV 飛往不同的IoTD 處為其提供能量補充。文獻[13]考慮一架UAV 服務多個IoTD 的場景，UAV 在每個任務執行周期中，一邊廣播射頻信號為所有IoTD 充電，一邊處理部分IoTD 上傳的計算任務；通過聯合優化UAV 廣播充電時隙、各IoTD 的發射功率和任務卸載決策，以最小化所有IoTD 的總能耗。類似地，文獻[14]討論基于單UAV 的能量補充與數據收集場景，提出一種UAV側優化的方案，研究如何在單一工作流方式下最小化UAV 的總能耗。另外，文獻[15]研究基于無人機集群的（上行鏈路）數據傳輸與（下行鏈路）能量傳輸聯合優化，決策變量包括各無人機的3D 空間位置、無人機-用戶配對、服務順序和時間分配，優化目標是最大化網絡所有IoTD 的總吞吐量。值得一提的是，以上文獻都未討論移動的UAV 飛行軌跡如何適配接下來的數據與能量管理計劃。為此，文獻[16]在已知不同區域IoTD 充電需求條件下，考慮如何挑選最小數量的UAV 來執行全網的充電任務，并且優化不同UAV 經最短路徑飛往指定區域，提高所有UAV 的總體能量利用率的同時盡可能地縮小它們之間的能耗差異水平。文獻[17]同樣討論基于單UAV 的能量補充與數據收集場景，引入信息年齡來測量一次完整的UAV 數據采集過程的質量，運用深度強化學習工具來聯合優化UAV的飛行軌跡、飛行時間以及數據采集和能量供應的策略，從而最小化UAV 在任務執行期間的總能耗。

相較于現有文獻，本文重點解決UAV 輔助的無線供能物聯網中的自由能量交易問題。大多數文獻基于集中式決策來管控全網IoTD 和UAV，默認它們接受系統的統一調度管理，這忽略了IoTD 與UAV 的個體理性，無法支持IoTD 與UAV 之間自由公平的能量交易。為了決策能量交易策略，每個IoTD 通過事先預測自身能耗情況結合UAV 的要價情況，動態地調整能量需求。反過來說，每架UAV根據IoTD 的獎勵，決策是否為其提供充電服務以及提供多少能量。另一方面，大多數文獻的優化目標未從用戶的角度出發，現有研究缺少用戶側的能量優化方案。IoTD 希望在滿足能量需求的同時盡可能減少經濟付出，從而提高個體效用。因此，本文對基于Stackelberg 博弈的無人機輔助無線供能物聯網能量優化進行研究。在賦能IoTD 和UAV 理性決策能力條件下，本文運用Stackelberg 博弈方法建模并解決一個IoTD 如何合理地與多架鄰近的UAV進行能量交易的問題，最終提出以用戶為中心的能量交易方案。

具體地，IoTD 參考未來能耗情況，作為唯一主方先決策出給予所有UAV 的總獎勵。基于公平性原則，各UAV 分配到的獎勵與提供的能量成正比。接下來，各UAV 作為從方，根據分配所得獎勵和WPT 過程中平均信道增益決策給予IoTD 的充電時長。在Stackelberg 博弈模型中，享受充電服務的IoTD 被賦予信息優勢和決策主動權，這有助于其提高個體效用和用戶滿意度，實現用戶側能量優化。本文的主要貢獻如下。

1) 設計一種支持IoTD 與UAV 之間自由能量交易的系統模型。充電服務平臺采用UAV 輔助的無線供能方式為IoTD 提供充電服務，在能量交易過程中IoTD 和UAV 自主決策策略，最大化各自的個體效用。

2) 提出一種基于單主多從Stackelberg 博弈模型的能量交易方案。在以用戶為中心的能量交易過程中，IoTD 作為唯一主方，由其決策給予所有UAV的總獎勵。每架UAV 作為從方，通過能量供應公平地競爭獲取獎勵，它們參考WPT 過程中的平均信道增益以決策提供給IoTD 的充電時長。

3) 通過理論方法求解與分析Stackelberg 博弈模型的均衡狀態。在討論各UAV 參與能量交易的條件后，考慮所有UAV 參與條件下，求解IoTD 的最優策略，并分析不同UAV 數量對最優策略的影響。最后，通過實驗仿真證明所提方案優于現有基準方案，可有效減少IoTD 經濟開銷，提高用戶滿意度。

1 系統模型

現在的IoTD，如手機、平板電腦和智能手表等手持設備以及工業傳感器和移動機器人等工業設備，通常由有限容量的電池供電。這些IoTD 容易面臨能量耗盡的風險，需要及時的充電服務。為了延長網絡中IoTD 的使用時間，充電服務平臺被專門設立，采用UAV 輔助的無線供能方式為全網IoTD 提供充電服務。現有文獻[15-16]已經提出了多架UAV 可按需調度飛往同一區域，為區域內的IoTD提供能量供應。每架UAV 可以在WPT 范圍內廣播射頻信號，同時為多個IoTD 進行充電。本文進一步擴展UAV 輔助的無線供能場景，當某個IoTD 處于多架UAV 的共同WPT 范圍內，為了獲得更多的能量供應，可按需地、有序地接受來自多架UAV的多次充電服務。并且，在本文場景中，IoTD 作為能量交易買方，在獲得必要的先驗知識后，可自主理性地決策能量交易份額，這有利于提高用戶滿意度，實現充電服務定制化和用戶側能量優化。所有UAV 和IoTD 在入網時需要在充電服務平臺上注冊獲得合法身份，充電服務平臺也實時掌握派出的UAV 的狀態信息，建立知識庫儲備先驗知識，用于輔助充電服務過程的相關決策。無人機輔助的無線供能物聯網如圖1 所示。

圖1 無人機輔助的無線供能物聯網

物聯網終端設備。根據歷史記錄，每個IoTD階段性地預測未來能耗情況，若發現接下來將出現電量不足現象，IoTD 會向充電服務平臺發送充電請求，被平臺記錄入服務名單中。在獲知響應服務請求的鄰近UAV 及其相關信息后，IoTD 自主決策是否雇傭一架或者多架UAV 來為自己充電，并提供承諾的服務獎勵。多UAV 充電場景在實際應用中是常見的，例如，當某IoTD 出現緊急情況需要快速充電時，或者當單架UAV 攜帶的電量無法滿足IoTD 的能量補充計劃時，IoTD 希望與多架UAV 先后進行能量交易，并標明此充電請求為較高等級。另外，每個IoTD 不會簡單地選擇充滿電，對于充電用戶，需要基于不同的內外因素來綜合決策補充多少能量。內部因素包括當前時段的初始能量狀態和預估的未來能量消耗，外部因素主要涉及與不同UAV 進行能量交易的經濟成本。通過考慮以上因素，IoTD 按需地調整與各UAV 的能量交易份額，解決能量需求和能量交易費用之間的權衡問題。

無人機。當充電服務平臺累計接收到一組充電請求后，一定數量的UAV 按照調度策略飛往指定位置懸停，準備為WPT 范圍內的IoTD 充電。在一次完整的充電服務過程中，每架UAV 獲得兩方面的經濟收入。一方面，UAV 接收來自充電服務平臺的經濟補貼，以補償出發點（如充電站）與懸停位置之間往返的飛行能量消耗。另一方面，UAV 在懸停位置與IoTD 進行自由能量交易，根據能量交易份額獲得交易收入。在到達懸停位置后，各UAV根據服務名單詢問服務對象。某IoTD 可能收到單架或者多架UAV 的詢問，將一一回復UAV。在收到IoTD 回復時，各UAV 根據能量交易收入與自身充電能耗狀況決策出服務IoTD 的充電時長并回復給IoTD。在收到IoTD 確認需要充電服務的回復后，此UAV 周期性地發送消息包詢問IoTD 是否可以開始充電。只有當IoTD 回復可以時，兩者之間的WPT通道才被激活，IoTD 開始接收來自此UAV 的射頻信號的能量。通過利用一次完整的詢問應答過程，既可以實現單架UAV 廣播射頻信號同時為多個準備好的IoTD 充電，也可以確保單個IoTD 依次有序地接收來自多架UAV 的充電服務。

充電服務平臺。充電服務平臺根據充電請求地理分布和不同等級要求，自行設計算法決策出合適的無人機數量與關聯的懸停位置，盡量確保發送較高等級充電請求的IoTD 能夠處于多架UAV 的共同WPT 范圍。一方面，充電服務平臺記錄來自終端設備的充電請求和收集其位置坐標信息；另一方面，如文獻[15]所述，為了實現集中式UAV 管理，充電服務平臺實時地與UAV 保持通信，掌握它在提供能量供應時的狀態信息，如位置坐標、姿態信息、信道狀態信息等，借助這些輔助信息進行集中式決策。充電服務平臺將這些收集的數據存儲于知識庫作為先驗知識，當IoTD 用戶在充電服務平臺注冊了可信的服務代理，被授權合法接入知識庫后，可獲取指定UAV 的先驗知識用于輔助后續的決策過程。

2 基于Stackelberg 博弈的能量交易

通過預測未來能耗，某IoTD 按需地向鄰近的多架UAV 請求多次充電服務。為了研究單IoTD 與多UAV 之間的能量交易過程，本文基于兩階段的單主多從Stackelberg 博弈模型討論兩者之間交互時的策略選擇。IoTD 作為主方決定給予所有UAV的服務獎勵，每架UAV 作為從方根據獎勵分配決定服務IoTD 的充電時長。系統參數如表1 所示。

表1 系統參數

2.1 Stackelberg 博弈模型

其中，α和β是常數。文獻[19]提出自由空間下LoS和NLoS 通信鏈路的路徑損耗模型為

其中，fc和s分別代表載波頻率和光速，γLoS和γNLoS分別是對應2 種通信鏈路的大尺度路徑損耗系數并且有γLoS＜γNLoS。進一步，可以得到IoTD與UAVi的平均信道增益為

在隨機環境下，即使已知IoTD 與UAVi的具體位置，仍舊無法準確地知道接下來兩者之間的通信鏈路將會是LoS 還是NLoS。為了同時考慮這2種條件，本文借鑒文獻[15]和文獻[19]，采用平均信道增益進行WPT 建模。

若UAVi確定服務IoTD 的充電時長it，IoTD將從此UAV 補充獲得以下能量

在能量交易中，IoTD 主要解決充電服務過程中能量需求和服務獎勵之間的權衡問題。令C(t) 表示IoTD 在t時段的能耗實際值，對應預估值為。本文采用N步的移動平均法來預測每一個t時段的能耗情況。在t時段開始時，IoTD 預測接下來一個完整t時段內能耗為

其中，λ和μ是IoTD 自定義的常數。

本文將單IoTD 和多UAV 之間的策略交互建模為一個兩階段的單主多從Stackelberg 博弈模型，在用戶側實現能量優化研究。IoTD 作為主方決定所有UAV 的總獎勵R，各UAV 作為從方用充電時長it來響應回復IoTD，并且在所有UAV 之間還存在一個非合作博弈。具體定義如下。

第一階段：獎勵設置。IoTD 調節對所有UAV的獎勵R，以最大化效用函數V。

其中，t={t1,…,tI}是所有UAV 的策略集合。

第二階段：能量供應。根據總獎勵R和其他UAV 的策略集合t-i(即t-i∪ti=t)，每架UAVi優化充電時長ti以最大化效用函數Ui。

2.2 Stackelberg 均衡求解與分析

Stackelberg 博弈的目標是找到唯一的Stackelberg 均衡。在此均衡狀態下，主方在給定各從方的最優策略下可最大化個體效用，此時IoTD和所有的UAV 都沒有單方面改變當前策略的動機。將Stackelberg 均衡解定義如下。

定義1Stackelberg 均衡。當且僅當IoTD 和每架UAV 分別滿足以下不等式時，策略組 (R*,t*)是Stackelberg 均衡。

接下來，本文運用逆向歸納法來求解所提模型的Stackelberg 均衡。根據建立的Stackelberg 博弈模型，先分析出各UAV 作為從方參與服務IoTD 的條件并探討特殊條件下所有UAV 的總策略，隨后求解IoTD 作為主方的最優策略并定量分析不同UAV數量對此策略的影響。相較于原始方法，所提方法在條件分析與策略討論方面進行了創新。

首先，從從方角度討論任意UAVi的最優策略求取UAVi的效用函數Ui關于ti的一階、二階導數，可得

算法1求解集合J 算法

本文進一步分析不同數量的UAV 對IoTD 的最終付出的服務總獎勵R*的影響。依據式(14)，增加某個UAVj為此IoTD 提供充電服務，此UAV 滿足

3 性能評估

3.1 方案對比

為了驗證所提方案的有效性，本節將通過實驗仿真來分析和評估方案性能。假設某IoTD 處于I=3 架UAV 的共同WPT 范圍內，UAV 部分參數參考DJI M300，例如，其懸停功率上限為60 W，飛行高度上限設置為5 m。每架UAV 配備Powercast 公司的無線充電開發工具包，支持3 W 以上的發射功率（如TX91501-3W-ID 產品）。為了提高WPT 效率，IoTD與任意UAV 的距離限制為10 m 之內，傳輸、接收能量的效率和平均信道增益模型借鑒文獻[21]，式(1)～式(3)中，α=4.88，β=0.43，fc=2.5GHz，γLoS=0.1，γNLoS=23。對于IoTD，效用函數V中的λ=1.83×106，μ=1和Eth=30 mJ。

在圖2 中，cΔ 表示所有UAV 的c值的變化量，當所有UAV 的c都變大時，即在滿足相同的能量需求時，IoTD 需要付出更多的服務獎勵，此時IoTD 理性地降低R*，減少能量需求，避免過高的經濟開銷帶來個體效用V的減少。因此，所有方案得到的R*均隨著 Δc增大而減少。另外，從圖2中可以看出，方案1 嚴格要求所有UAV 讓利于IoTD，使IoTD 能夠付出最小的服務獎勵，此方案為理想方案，在現實應用中因缺乏公平性難以實現。相反地，本文方案以IoTD 作為Stackelberg博弈的主方，在已知所有UAV 的先驗知識下優化服務獎勵，由于占據信息優勢和決策主動權，本文方案的IoTD 在不同 Δc條件下付出的服務獎勵始終低于方案2 和方案3。例如，當Δc=10%時，本文方案相對于這2 種基準方案分別下降約8%和21%。通過方案對比可知，本文方案優于現實中可用的基準方案，有效地降低了IoTD 在能量交易中的經濟開銷，從而提高用戶滿意度，實現用戶側能量優化。

圖2 不同方案隨不同UAV 的充電開銷c 變化的 R*對比

3.2 參數影響

以下實驗仿真分析不同系統參數對于Stackelberg 博弈模型的主方（IoTD）和各從方（UAV）的策略影響。

在本文Stackelberg 博弈模型中，作為主方的IoTD 決策給予所有UAV 的總獎勵R，從而獲得不同的效用值V。由圖3 可知，IoTD 在不同λ與R條件下會得到不同的V，并且總是存在一個最優的R（即R*）使V最大化（即V*）。基于式(7)，λ對于V的計算起積極作用，因而在相同R條件下，V隨著λ增大而增大。λ增大意味著IoTD 可以通過獲取更多能量而提高用戶滿意度，在衡量能量需求與經濟開銷時，此時IoTD 傾向于優先滿足能量需求，從而理性地提高R*，所得V*也隨之提高。

圖3 不同λ 下效用值V 隨總獎勵R 的變化

圖4～圖6 分別展示了不同UAV 數量、不同UAV 的充電開銷c和充電能力ρ變化對IoTD 最終付出的服務總獎勵R*影響。圖4 展示了當更多合適UAV 加入為IoTD 提供充電服務時，R*會出現不同程度的增加，驗證了2.2 節的分析結果。這與實際應用中的直覺認識相一致，IoTD 在花費相同的經濟成本條件下可以與更多的UAV 進行能量交易，從而獲得更多的能量供應，使IoTD 自然愿意提高服務總獎勵以盡可能地滿足自身的能量需求，確保個體效用最大化。另外，根據式(20)，能量供應閾值Eth的提高也有助于增大R*。在圖5中，當所有UAV 的c都變大時，這要求IoTD 付出更多服務獎勵以有效地激勵UAV 進行能量供應，此時不利于IoTD 與UAV 之間交易能量，因此IoTD 理性地選擇降低R*。在圖6 中，Δρ表示所有UAV 的ρ值的變化量，當所有UAV 的ρ都變大時，說明WPT 效率提高，這有利于UAV 向IoTD 傳輸能量，IoTD 在付出相同的服務獎勵時，可以獲得更多的能量供應，此時IoTD 更愿意提高R*，爭取滿足更多能量需求以提高用戶滿意度，進而提高個體效用V。圖7 展示了UAV 充電能力和充電開銷對IoTD選擇能量供應的影響。如前所述，所有UAV 的c對能量交易起消極作用，所有UAV 的ρ對能量交易起積極作用。例如，當Δc=-5 0%時，如果 Δρ從減少10%變化為增大10%，? R*將可以提高約39%。

圖4 UAV 數量對 R*的影響

圖5 UAV 充電開銷對 R* 的影響

圖6 UAV 充電能力對 R* 的影響

圖7 UAV 充電能力和充電開銷對IoTD 選擇能量供應的影響

接下來，為了觀察從方的策略變化，不妨選取第1 架UAV 作為觀察對象。根據式(10)，此UAV的最優充電時長t*會隨著IoTD 給予的總獎勵R、其他UAV 的策略選擇X，以及自身的ρ和c變化而變化。從圖8 中可知，t*會隨著c增大而減少，相反地，會隨著ρ增大而增大，這符合現實的認知規律。因此，當Δc=0 時，若ρΔ 從10%降低至-10%，對應的t*將減少超過50%。另外，從圖9中可知，不斷提高的R有助于增大t*，而X的作用視R的情況而定。例如，當R比較小時，若X增大，IoTD 沒有足夠的動機提高t*；但當R比較大時，若X增大，IoTD 為了爭取足夠多的服務獎勵，選擇跟隨其他UAV 的策略提高自身的t*。

圖8 充電能力和充電開銷對 t*的影響

圖9 充電總獎勵和其他UAV 的策略選擇對 t*的影響

4 結束語

本文提出一種基于Stackelberg 博弈的UAV 輔助無線供能物聯網能量交易方案。為了研究用戶與UAV 之間的自由公平能量交易，Stackelberg 博弈模型以IoTD 作為主方和各UAV 作為從方，在兼顧各UAV 個體理性條件下最大化IoTD 的個體效用。在以用戶為中心的能量交易過程中，IoTD 決策給予所有UAV 的總獎勵。每架UAV 通過能量供應公平地競爭獲取獎勵，它們參考WPT 過程中的平均信道增益以決策提供給IoTD 的充電時長。隨后，本文通過理論方法求解與分析Stackelberg 博弈模型的均衡解。仿真結果表明，本文方案有利于減少用戶在能量交易中的經濟開銷，提高用戶滿意度，實現用戶側能量優化。后續工作將會采用人工智能方法精準預測物聯網終端設備的能耗情況，進一步研究多用戶與多UAV 之間的能量交易問題。