智能超表面輔助車載邊緣計算

劉文帥/LIU Wenshuai，李斌/LI Bin，2

（1. 南京信息工程大學，中國南京 210044；2. 網絡與交換技術國家重點實驗室（北京郵電大學），中國北京 100876）

當前無線通信技術面臨能耗高、覆蓋低、無線信道不可控等問題，嚴重影響了通信服務質量。作為未來6G 的一項空口技術，智能超表面（RIS）得到了廣泛關注[1-2]。RIS由一組無源反射元件構成，可通過編程來實時調控各個反射單元，進而控制入射信道的幅值和相位，在功耗和部署成本上具有優勢[3]。RIS輔助通信的關鍵是使用超表面來改變無線傳播環境，從而減輕多徑衰落和視距阻塞的負面影響。

車載通信是智能交通系統不可或缺的組成部分，它允許汽車與周圍環境以及遠程實體保持聯系，并為車輛提供隨時隨地的連接服務[4]。由于傳播環境復雜，車輛與路邊單元（RSU）之間建立的傳播鏈路質量很容易惡化[5-6]。在障礙物遮擋的RSU服務暗區，利用RIS技術為行駛的車輛能夠提供間接的視距傳輸鏈路，將有望為高能效車載通信提供重要的手段支撐。為了提高車載通信的連通性，文獻[7]提出了一種面向高頻段的RIS輔助架構，并綜合考慮RIS的規模和運行模式，研究了RIS的最優部署問題。文獻[8]提出了一種異構車聯網，并使用聯邦Q 學習最小化網絡開銷。文獻[9]研究了毫米波車聯網上行鏈路速率最大化問題，借助RIS技術提高上行鏈路性能。文獻[10]研究了離散相移約束下的上行鏈路速率加權和最大化問題，并分別為單用戶和多用戶場景提供解決方案。文獻[11]提出了一個多RIS輔助的多車多天線通信系統，通過交替迭代算法優化發射機的波束成形矢量和每個RIS 的相移，使車載通信服務質量達到最高。文獻[12]研究了RIS輔助車聯網的頻譜共享問題，即多個車到車鏈路可以復用已被車到基礎設施鏈路占用的頻譜，使用中斷概率作為評估車載通信可靠性的性能指標。

由于網絡環境高度動態變化，使用RIS輔助車聯網仍面臨著諸多挑戰[13-14]。（1）RIS 與車輛之間距離的變化會影響實時信道狀態，同時車輛在區域內的滯留時間不同，這些均使得RSU 在優化通信質量的同時，還需要考慮車輛的移動性；（2）在獲取相同服務資源的情況下，滯留時間較長的車輛的服務質量會有所下降，因此為盡可能保障服務的公平性，該網絡場景下的通信資源需要進行合理分配。未來的狀態信息通常難以預知，RSU需要與車輛不斷交換各種狀態信息，根據即時狀態信息進行在線決策。基于深度強化學習（DRL）的方法可以根據當前的環境狀態進行決策，對環境的先驗信息要求較低。文獻[14]考慮到物聯網設備能量與計算能力雙重受限問題，提出了一種RIS輔助的無線供能移動邊緣網絡方案，利用雙深度Q網絡方法聯合優化無線傳能時隙分配、RIS相移和卸載決策，從而提升能量轉移效率和通信效率。考慮到實際的RIS相移，文獻[15]研究了聯合車輛調度和RIS無源波束成形優化問題，通過深度強化學習和塊坐標下降法使暗區車輛的最小可實現比特率達到最大。然而，這些工作對于車載邊緣計算（VEC）中RIS輔助通信的研究尚不深入。

隨著5G時代人工智能的不斷發展，各種時延敏感性、計算密集型的交通應用和服務不斷涌現[16]，這給資源有限的設備帶來極大挑戰。車輛自身的計算處理能力往往不強，難以實現實時高效的數據處理。VEC作為一種新范式將車聯網與移動邊緣計算兩者融合，從而解決車輛自身計算能力受限問題[17-18]。相較于傳統移動邊緣計算，VEC能為智能交通系統提供更方便的服務，更適用于路邊智能基礎設施與移動性較強的車輛終端，旨在為海量的交通應用提供隨時隨地的連接。在這種場景下，更多的系統參數使傳輸方案的設計變得更難，部署RIS能否帶來性能增益還有待研究。基于以上考慮，本文提出了一種基于近端策略優化（PPO）的計算卸載在線優化算法。

1 系統模型

1.1 計算模型

1.2 通信模型

圖1 RIS輔助車載邊緣計算系統模型

由式（6）可知，當RSU的接收信號信噪比最大時，即：

依據香農公式，時隙n內車輛k的平均卸載速率為：

車輛k通過RSU覆蓋暗區的平均卸載速率可以表示為：

為簡化問題，本文對任一車輛經過暗區所需的時隙數進行上取整操作。

1.3 問題描述

本文面向系統中車輛的服務公平性，通過聯合設計時段分配因子、任務卸載比例、RIS相移使所有車輛的最小卸載速率達到最高，因此優化問題可表述為：

2 基于PPO的時段劃分與卸載算法

問題（10）是一個多變量高度耦合且存在整型變量NPhard的問題，求解該問題具有很大挑戰性。系統中多數狀態信息需要在每個時隙內完成即時交換，而現有的凸優化理論設計復雜度高，難以保證決策的實時性。本節提出基于PPO的深度強化學習算法以用于尋求時段劃分因子，在給定時段劃分決策下，基于凸優化方法處理傳輸功率與卸載比例。

2.1 RIS相移優化

根據公式（7）和公式（8），可得出RIS最優相移Ψ為：

2.2 傳輸功率與卸載比例優化

上述問題是關于ρ和p的凸優化問題，可以借助凸優化軟件（例如CVX）進行求解。

2.3 基于PPO的時段劃分策略

給定Ψ、ρ和p時，式（10）可描述為：

該問題是一個整數優化問題，尋找時段劃分策略α的最優解較為困難。本章節提出基于PPO的時段分配在線優化方案，首先介紹DRL 中馬爾科夫決策過程（MDP）的基本要素，然后闡述基于PPO的時段劃分方法。

2.3.1 MDP基本要素定義

在本文場景中，RSU 不需要任何關于環境的先驗信息，環境狀態轉移概率未知，且狀態信息需要即時獲取，可建模為無模型、無轉移概率的MDP。具體而言，在某個時間步t，環境處于狀態s(t)，代理執行動作a(t)，環境轉移到可行的后繼狀態s(t+ 1)，代理接收獎勵r(t)，隨后t增加1。代理通過觀察s(t+ 1)與r(t+ 1)來調整自身策略，不斷訓練使得累積獎勵達到最大。將一個時隙作為一個時間步，下面對狀態空間、動作空間和獎勵函數進行分別定義。

（1） 狀態空間定義：

（2） 動作空間定義：

其中，α[n]=[α1[n],…,αK[n]]T，表示時間步t對應時隙n的時段劃分因子向量。為便于處理，設置子時隙數U為較大的整數值，同時可近似地將αk[n]作為連續變量處理。

（3） 獎勵函數定義：

2.3.2 基于PPO的時段劃分算法

考慮新動作策略和舊動作策略之間的關系，PPO方法設置了一種新的目標函數，將動作值穩定在近端范圍內，使新動作策略的更新可以參照舊動作策略。該方法不僅具有動態決策的優勢，還可以快速確定模型的正確優化方向。動作網絡根據狀態輸出動作，與環境交互；評價網絡根據狀態計算狀態價值，估計動作的優劣。

設新、舊動作網絡的參數分別為θ和θold，評價網絡的參數為ξ，定義每個時間步t的優勢函數為：

其中，?是用于控制截斷范圍的限制參數，其值較小，決定新舊策略之間的差異。目標函數（18）使用剪切概率比，可降低訓練難度，被認為是一種優秀的方法。在訓練過程中，PPO 算法將狀態s(t)輸入新動作網絡，并輸出相應動作a(t)后，從環境中得到獎勵r(t)與下一狀態s(t+ 1)，此時向回放記憶單元中存入一個完整的經驗(s(t),a(t),r(t),s(t+ 1))，隨后將s(t+ 1)輸入到新動作網絡，直到經驗池滿。RSU 通過與環境交互不斷地更新動作網絡θ與評價網絡ξ，優化自身策略逐漸使獎勵值與目標函數達到最大。總的來說，基于PPO的任務卸載算法如下：

算法1. 基于PPO的任務卸載算法輸入：最大回合數Ep，每回合最大時間步Smax，學習率lr，限制參數?，GAE參數λ，評價網絡參數ξ輸出：動作網絡參數θ 1.初始化動作網絡參數θ，評價網絡參數ω

2.FOR episode←1 TO Εp DO 3.初始化：(xk[1],yk[1])、Lk、ck、RSU高度HS、RIS高度HS 4.FOR t ←1 TO Smax DO 5.從環境中獲取狀態s(t)6.使用πθ根據狀態選擇動作s(t)7.根據a(t)，求解ρ、p、Ψ 8.計算下一狀態s(t + 1)9.根據公式（16）計算獎勵r(t)10.存儲經驗(s[t],a[t],r[t],s[t + 1])11.END FOR 12.FOR t ←1 TO Γ DO 13.計算A^(t)14.END FOR 15.更新動作網絡θ，更新評價網絡ξ，更新θold ←θ 16.清理經驗數據17.END FOR

3 仿真結果與分析

本節在Python 3.6和Pytorch環境下對所提算法進行仿真驗證。假設RSU 暗區半徑為200 m，車輛出發于x軸負半軸一側邊界，沿x軸正方向行駛，車輛y坐標隨機生成該邊界上的合理值。RIS 部署于(0,200,70)m，RSU 的位置為(0,500,20)m，服務周期T= 20 s，U= 200，時隙數N= 40，任務數據量Lk∈[106,8 × 106]bits，單位比特平均計算次數ck∈[300,500]cycles/bit，噪聲功率σ2=-110 dBm，K1=K2= 10 dB，信道增益γ0=-30 dB。PPO 訓練參數如表1所示。

表1 近端策略優化算法參數

圖2 對比了PPO 與AC（Actor-Critic）方法在同等學習率與隨機數序列下的獎勵值收斂曲線。由圖2 可知，當回合數增加到500 時，PPO 方法呈現收斂。與之對比的AC 方法雖初期獎勵值略高，但收斂到的獎勵值與PPO 有較大差異。這表明PPO 是一種能夠快速適應動態環境的DRL算法。

圖2 訓練收斂曲線

當系統中車輛數K=10時，圖3對比了PPO、AC與隨機分配3種算法下車輛最小速率隨RIS元素數變化的情況。可以看出，隨著RIS 元素數增加，3 種算法的最小速率均提升顯著。其中，本文所提的基于PPO的卸載算法目標值最大，AC 算法與之相比有一定差距，且隨著RIS 元素數變化，這種差距漸進增加。隨機分配方法性能有較大跳躍，并不是一種適合于實際場景的算法。

圖3 RIS元素數對目標值的影響

圖4給出了系統中車輛數對不同方案所得傳輸速率最小值的影響。在RIS元素N=40時，通過所提PPO 算法與優勢行動者-評論家（A2C）算法、隨機分配策略的性能比較可以看出，所提PPO 算法與A2C 算法兩者的性能差距較小。因而，對于A2C 這種改進的AC 方法，PPO 算法也能保持一定的優勢。相比于隨機分配算法，所提PPO 算法與A2C 算法分別獲得了61.9%與48.8%的性能提升。

圖4 車輛數量對最小速率的影響

圖5給出了RIS元素數量對任務卸載情況的影響。在車輛數K=10 的情況下，隨著RIS 元素數量的增加，任務卸載比例呈現上升趨勢，這說明RIS元素數量的增加能夠對通信質量產生積極作用，使得系統能夠傳輸更多任務。由圖5可知，所提PPO 算法的任務卸載比例最高，這說明PPO 對車載終端的服務效果最佳，有助于減小車載終端自身的計算負載。相比于均等分配，本文所提PPO算法的卸載比例提升了46.8%，A2C算法的卸載比例提升了33.2%。

圖5 智能超表面元素數量對任務卸載比例的影響

4 結束語

本文提出了一種RIS 輔助VEC 的部分任務卸載方案，為車輛無法與RSU 直接通信提供了計算服務，首先分析了車輛移動性，將時延容忍約束下的最小速率最大化問題建模為馬爾科夫決策過程，其次結合深度強化學習與凸優化方法，設計了基于PPO 的時段分配與任務卸載算法。仿真結果驗證了所提方案在計算卸載方面的可行性與優越性，驗證了RIS 作為中繼在改善無線通信環境方面具有顯著作用。