基于ＤＤＰＧ 的無人機安全通信效益任務卸載方案

摘 要：由于無人機具有高機動性、高靈活性的優勢，被廣泛應用于移動邊緣計算系統中。但是，其視線線路空對地無線鏈路，使得無人機更容易被敵手竊聽。針對該問題，構建了由輔助無人機、用戶設備、入侵無人機和基站組成的多用戶多任務的無人機輔助移動邊緣計算（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ，ＭＥＣ） 安全通信系統模型，通過引入安全通信效益這一概念，將無人機隱私安全通信問題轉化為最大化輔助無人機的安全通信效益問題。提出了基于深度確定性策略梯度（ＤｅｅｐＤｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ，ＤＤＰＧ） 的安全通信效益任務卸載算法，該算法通過聯合優化無人機的釋放位置、用戶任務卸載率和基站以及無人機計算資源分配，來最大化無人機的安全通信效益。仿真結果表明，該算法取得的安全通信效益與其他算法相比，在不同任務量方面，平均效益要高２５． ４２％ ，在不同任務復雜度方面，平均效益要高３３． １２％ 。

關鍵詞：安全通信效益；深度確定性策略梯度；移動邊緣計算；無人機；資源分配

中圖分類號：ＴＮ９１８． ８＋２ 文獻標志碼：Ａ

文章編號：１００３－３１０６（２０２４）１０－２４９４－１１

０ 引言

近幾年，隨著５Ｇ 移動通信技術、人工智能和物聯網的迅猛發展，智能化移動終端設備的數量開始急劇增長，其不斷產生的海量數據，給云計算中心帶來了巨大壓力。為了解決這個問題，在用戶設備比較多的核心區域部署多個邊緣計算服務器，提供計算資源［１］，成為了首要選擇。

邊緣計算服務器大多部署在工廠、倉庫、汽車和無人機上，為用戶業務提供就近的計算和處理服務。但是，隨著無人機的發展，無人機成本下降，性能提高，無人機在邊緣計算中的應用越來越常見。無人機邊緣計算與地面邊緣計算的區別主要在于，地面邊緣計算側重于將計算資源部署在網絡邊緣的地面設備上［２］，為用戶提供計算資源。無人機邊緣計算專注于將計算能力集成到無人機系統中［３］，為用戶提供計算資源。選擇無人機邊緣計算是因為部署了邊緣計算服務器的無人機具有高靈活性，可在道路無法通行的緊急情況下，輕易抵達網絡覆蓋不足的區域［４］，為用戶提供通信計算服務。對于無人機輔助的邊緣計算研究，文獻［５］提出了一種無人機輔助移動邊緣計算（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ，ＭＥＣ）架構，為用戶提供服務，并提出了一種近似算法來解決資源分配和無人機放置問題。文獻［６］提出了一種深度確定性策略梯度（Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ，ＤＤＰＧ）算法來學習無人機在多目標上的控制策略，實現對目標的聯合優化。文獻［７］提出了一個針對多無人機輔助ＭＥＣ 系統的馬爾可夫決策過程，采用雙延遲ＤＤＰＧ 算法，解決任務分配和功率管理問題。為優化無人機的數據卸載和資源分配，文獻［８］提出一種雙層優化算法———啟發最優評價算法。但是，僅關注無人機輔助邊緣計算系統中的系統時延、能耗問題是有所欠缺的，因為無人機視線線路空對地無線鏈路，使得無人機更容易被敵手竊聽，所以把無人機隱私安全通信問題［９］加入到無人機的輔助邊緣計算的研究中是非常重要和有意義的，遺憾的是，上述方案并未考慮這一因素。對于無人機隱私安全通信問題，文獻［１０］提出了一種迭代算法來解決用戶之間的通信公平問題，即應用塊坐標下降和連續凸優化技術，來最大化下行通信中所有地面用戶的最小吞吐量。文獻［１１］應用塊坐標下降方法、連續凸逼近、交替逼近和分支－切割方法，優化了無人機的位置、用戶的傳輸功率、無人機干擾功率、卸載比和無人機計算能力，來最大化系統保密能力。文獻［１２］應用塊坐標下降法、連續凸逼近技術和丁克爾巴赫方法提出了一種優化算法，通過聯合優化無人機的飛行軌跡和傳輸功率，最大化最小保密能源效率。文獻［１３］提出了一種基于逐次凸逼近和交替方法的迭代算法，通過聯合優化無人機飛行軌跡、下行傳輸功率，來提高最小保密率。文獻［１４］提出了一種聯合軌跡和用戶調度優化算法，以優化無人機軌跡、用戶調度，提高保密率。文獻［１５］通過塊坐標下降法與連續凸逼近相結合的全局優化算法，通過聯合優化合法無人機懸停位置、ＣＰＵ 計算頻率分配以及計算任務復雜度，來提高安全通信能效。文獻［１６］提出了２ 種基于單智能體和多智能體強化學習的多無人機輔助ＭＥＣ 的安全傳輸方法，通過聯合優化安全卸載傳輸速率、計算延遲和能源消耗，提高系統效用。文獻［１７］設計了基于塊坐標下降的用戶關聯和計算資源分配算法，以及基于連續凸近似的無人機軌跡優化算法，以提高無人機和移動用戶之間計算卸載的安全性和隱私性。上述方案對安全效益進行優化時是分階段進行，處理并沒有一步到位，即采用先固定一些參數，優化另一些參數的辦法，如果其中一個算法的結果不是最優的，可能導致后續得到的結果與最優結果相差太遠。對多無人機輔助ＭＥＣ 系統中的最大化安全效益優化問題，上述方案是把時延或能耗作為一個約束，通過聯合優化無人機飛行軌跡、卸載比等參數來最大化系統安全效益，可能在系統安全效益最大時，系統時延或能耗并不是最優的，系統安全效益值可能是局部最優值。

為此，本文研究了一種輔助無人機不僅作為輔助邊緣計算服務器，還作為中繼節點，干擾入侵無人機，保證用戶和輔助無人機之間通信安全的多無人機輔助邊緣計算系統。針對該無人機輔助邊緣計算系統可能出現的局部最優問題，引入了安全通信效益這一概念，將無人機隱私安全通信問題轉化為最大化輔助無人機的安全通信效益問題，此時最大化系統安全通信效益就是最大化輔助無人機的安全通信效益，避免了最大系統安全通信效益值是局部最優值。最后，設計了基于ＤＤＰＧ 的安全通信效益任務卸載算法，來最大化輔助無人機安全通信效益值，即最大化系統安全通信效益值。

本文的主要貢獻如下：

① 構建了一個由多個輔助無人機、多個入侵無人機和基站組成的無人機安全通信ＭＥＣ 系統模型，并引入安全通信效益這一概念，把輔助無人機能耗、用戶時延同時考慮到系統安全通信問題中，將無人機隱私安全通信問題轉化為最大化輔助無人機的安全通信效益問題。

② 構建了一種基于ＤＤＰＧ 的安全通信效益任務卸載算法。該算法為了更好地讓環境中的狀態隨動作改變，提高安全通信效益，將ＤＤＰＧ 算法中動作添加的噪聲符合奧恩斯坦－烏倫貝克（ＯｒｎｓｔｅｉｎＵｈｌｅｎｂｅｃｋ，ＯＵ）隨機過程換成了標準正態分布隨機過程，并將添加噪聲的動作輸入Ｓｉｇｍｏｉｄ 激活函數后輸出到環境中，去改變環境的狀態。