面向軟件定義多模態車聯網的雙時間尺度RAN 切片資源分配

亓偉敬，宋清洋，郭磊

（重慶郵電大學通信與信息工程學院智能通信與網絡安全研究院，重慶 400065）

0 引言

5G 低時延特點為車聯網發展提供了先決條件，車聯網從車載信息服務階段逐漸邁向基于智能網聯的駕駛輔助階段和自動駕駛階段。近年來，具有不同的用戶體驗質量（QoE,quality of experience）、服務質量（QoS,quality of service）等級需求的新型車載應用不斷涌現，對車聯網功能、系統性能、安全性等也提出了不同的要求[1]。多媒體、在線會議和增強現實/虛擬現實等信息娛樂服務通常占用大網絡帶寬，以保證較高的網絡吞吐量。相反，支撐智能駕駛的安全信息服務通常需要通過協作感知消息（CAM,cooperative awareness message）、分散環境通知消息（DENM,decentralized environment notification message）等承載駕駛環境狀態，由于環境狀態信息的高動態性，在這些情況下應保證低時延且高可靠性的網絡連接。為每項業務提供專用網絡可以滿足其相應的需求，但絕大多數服務提供商無法承擔專用網絡建設和維護成本。軟件定義網絡（SDN,software defined network）技術將網絡設備的控制面與數據面分離，從而擺脫硬件對網絡架構的限制，對網絡流量進行靈活控制。SDN 是構建全維可定義開放網絡架構、實現多模態網絡的基礎[2]。文獻[3]明確提出城市交通是全維可定義多模態智慧網絡的一個典型垂直應用，近年來，針對軟件定義多模態車聯網的研究也在不斷開展[4-5]。網絡切片可以通過網絡功能虛擬化（NFV,network function virtualization）將網絡資源虛擬化并聚合為資源池，并由支持SDN 的切片管理控制器集中管理，實現更細粒度的資源編排，在通用物理基礎設施上按需定制虛擬網絡，實現軟件定義的多模態網絡，為不同類型的車聯網業務提供差異化QoS 保障。例如，增強型移動寬帶（eMBB,enhanced mobile broadband）切片可以承載信息娛樂等大帶寬業務，超可靠低時延通信（URLLC,ultra-reliable and low-latency communication）切片可以承載實時路況監測、實時路況更新、導航準確度提升、安全自動駕駛等低時延、高可靠業務[6]。在車聯網這樣的高動態網絡中，網絡切片在無線接入網（RAN,radio access network）側的功能實現簡稱為RAN 切片，其可以顯著提高網絡的靈活性和資源的利用效率，從而提高網絡在連接性、端到端時延、數據傳輸速率等方面的性能。

在實際的RAN 切片實現和部署中，其資源分配根據對資源使用的動態性和彈性程度，可劃分為以下三大類：靜態預留、半靜態預留、動態共享[7]。其中，動態共享方式基于用戶QoS 在每個時隙靈活為切片分配資源，相應資源就會通過網絡下層信令的方式進行動態調整，實現資源快速回收或增配。RAN 切片資源動態共享方式具有較高的資源利用率，因此被廣泛采用。然而，車聯網拓撲和數據流量的高動態性對RAN 切片資源分配提出了巨大挑戰。如何有效利用網絡的動態異構資源以滿足不同服務的多維QoS 需求成為發揮RAN 切片潛在優勢的關鍵。因此，從用戶QoS和網絡資源利用的角度來看，開發高效的RAN切片資源分配方案勢在必行。

近年來，針對車聯網環境中的RAN 切片資源分配已有很多成果，主要解決車聯網中用戶的QoS 需求保證問題。文獻[8]中較早提出了支持各種車載服務的RAN 切片概念。文獻[9]針對車聯網場景提出了一種動態RAN 切片框架，通過均衡網絡負載和分配網絡資源，實現在任務卸載最大時延和排隊穩定性約束下的系統通信、計算成本最小化。文獻[10]描述了一個針對RAN 切片的資源分配和計算卸載聯合優化問題，以實現通信、計算資源利用率最大化為目標。考慮到2 個優化問題之間的耦合作用，文獻[10]提出分層優化框架，基于協作多智能體DDQN（double deep Q-learning network）框架來學習卸載策略，基于凸優化實現RAN 切片資源分配。文獻[11]基于深度強化學習提出了適用于智能車聯網和智慧城市系統的切片方案，智能體可以通過與環境的密切交互來自適應地學習最佳網絡切片策略。針對車聯網中的關鍵任務和非關鍵任務需求，文獻[12]通過端到端切片對整體帶寬資源進行隔離，研究表明，基于人工智能（AI,artificial intelligence）的切片管理系統可以智能調配RAN 切片資源，解決業務需求高動態對服務質量帶來的影響。文獻[13]提出了基于交叉熵的蒙特卡羅樹搜索-快速動作價值估計算法來設計智能切片資源分配方案，此方案不需要任何動態數據流相關的先驗知識。為權衡車聯網中視頻流傳輸質量與資源消耗代價，文獻[14]提出了一種新穎的RAN 切片資源分配和視頻質量選擇聯合優化算法。文獻[15]設計了一種基于深度確定性策略梯度的動態RAN 切片方案，其獎勵由車到車（V2V,vehicle-to-vehicle）用戶的效用總和與QoS 度量組成。綜上所述，現有工作大多側重于RAN 切片分配通信和計算資源，很少考慮將緩存策略視為切片資源分配的一個因素，由于無線資源分配和緩存放置之間的密切關系，將緩存策略和資源分配聯合考慮至關重要。但是由于緩存內容更新產生的高傳輸代價導致緩存決策不可能頻繁執行，這與無線資源分配需要在每個時隙內快速決策的特點不同，因此需要考慮兩類決策時間尺度的差異。此外，車聯網運行在高動態環境中，車載服務請求在時空域隨機到達，未來網絡狀態難以預測，這使長期穩定的系統性能尤為重要。本文工作旨在對現有研究的上述缺陷進行一定程度的彌補。

本文考慮軟件定義車聯網中同時存在eMBB和URLLC 兩類RAN 切片，提出一種雙時間尺度的RAN 切片資源分配算法，本文主要貢獻如下。

1) 建立了軟件定義車聯網中URLLC 和eMBB的RAN 切片緩存、頻譜、功率資源分配優化問題。最大化長期累積時間下的URLLC 切片用戶的平均時延，并滿足eMBB 切片用戶最小速率約束、V2V鏈路可靠性約束、節點最大功率約束、資源塊（RB,resource block）約束等。該問題是一個非凸、非線性、多變量耦合的NP-hard 問題，很難直接獲得解析解。

2) 提出了一種雙時間尺度求解算法。將原NP-hard 問題轉換為2 個子問題：大時間尺度內用戶關聯和緩存放置子問題、小時間尺度內RB 分配和復用子問題。針對第一個子問題，基于拉格朗日對偶原理將其分解，并基于匈牙利算法、線性整數規劃方法獲得最優解；針對第二個子問題，基于DDQN 算法求解。

3) 開展了廣泛的仿真驗證。仿真結果表明，所提資源分配算法在保證不同切片用戶QoS 需求和提高頻譜利用率方面優于傳統算法，驗證了本文算法的有效性。

1 系統模型

1.1 場景描述

本文考慮一個基站（BS,base station）覆蓋的道路區域，其中部署了若干個路邊單元（RSU,road side unit），RSU 功率較低，覆蓋范圍有限。在此區域內的車輛用戶根據業務需求連接到BS 或RSU，組成如圖1 所示的基于網絡切片的車聯網。其包含三類鏈路：BS 到車輛（B2V,BS-to-vehicle）下行鏈路、RSU 到車輛（R2V,RSU-to-vehicle）下行鏈路以及V2V 鏈路。

圖1 基于網絡切片的車聯網架構

設該車聯網架構中具有N個RSU，其集合表示為N={1,2,…,N}，K個具有eMBB 切片需求的車輛用戶B2V-eUE 通過高容量的B2V 鏈路傳輸數據，U個具有URLLC 切片需求的車輛用戶R2V-uUE 通過低時延的R2V 鏈路傳輸數據，M對具有URLLC切片需求的車輛用戶V2V-uUE 通過V2V 鏈路交換數據。K={1,2,…,K}、U={K+1,K+2,…,K+U}、M={1,2,…,M}分別表示B2V-eUE、R2V-uUE 和V2V-uUE 三類用戶的集合。需要注意的是，對于V2V-uUE 成對計入，即集合M中的第m個元素表示第m個V2V-uUE 用戶對。B2V-eUE 和R2V-uUE 下行用戶集合表示為Q=K∪U={1,2,…,Q}，Q=K+U。假設內容服務器中共有F個用戶感興趣的內容文件，其集合表示為F={1,2,…,F}，第f個文件的大小為Cf。如果某個R2V-uUE 用戶請求的文件緩存在某個RSU 中，則直接從該RSU 獲取其請求的文件，否則需要向BS 請求該文件。在時分雙工（TDD,time division duplexing）-正交頻分復用（OFDM,orthogonal frequency-division multiplexing）技術支持下的5G 網絡通信系統中，在頻域中以12個子載波為一組進行調度，子載波組稱為新空口（NR,new radio）RB。RB 帶寬取決于子載波間隔。假設系統只能將一個RB 分配給集合Q中的一個下行用戶B2V-eUE 或者R2V-uUE，S={1,2,…,S}表示系統中的RB 集合。為了提高頻譜利用效率，V2V-uUE 用戶對復用了正交分配給B2V-eUE 或者R2V-uUE 的下行頻譜。

1.2 系統模型

1.2.1 通信模型

考慮信道衰落，當占用第s個RB 時，BS 到第k個B2V-eUE 的信道增益為

其中，hk,s是快速衰落分量，αk,s是路徑損耗和陰影衰落分量。

類似地，占用第s個RB 時，第n個RSU 到第u個R2V-uUE 的信道增益為gn,u,s。對于第m個V2V-uUE 用戶對，當其復用第q個下行用戶（B2V-eUE 或者R2V-uUE）占用的RB 時，其信道增益為gm,q，且其對第q個用戶帶來的干擾為g～m,q，第q個B2V-eUE 對第m個V2V-uUE 帶來的干擾為。假設基站作為該系統的決策控制器可以實時獲得所有鏈路的信道狀態信息。

定義ρm,q∈{0,1}為一個二進制變量，表示第m個V2V-uUE 對是（ρm,q=1）否（ρm,q=0）復用第q個用戶的頻譜。因此頻譜復用配對策略矩陣可以表示為

第k個B2V-eUE 占用第s個RB 時接收的瞬時信噪比（SINR,signal noise ratio）為

第k個B2V-eUE 占用第s個RB 時可達到的傳輸數據速率由香農方程計算，即

定義δq,s∈{0,1}為二進制變量，表示是（δq,s=1）否（δq,s=0）將第s個RB 分配給第q個用戶。因此，頻譜分配策略集合可表示為

第k個B2V-eUE 可達到的傳輸數據速率為

第u個R2V-uUE 與第n個RSU 連接所接收到的瞬時下行SINR 為

第u個R2V-uUE 與第n個RSU 連接可達到的傳輸數據速率為

定義αn,u∈{0,1}為一個二進制變量，表示第u個R2V-uUE 是（αn,u=1）否（αn,u=0）與第n個RSU建立連接。因此，R2V-uUE 與RSU 的關聯策略矩陣為

第u個R2V-uUE 可達到的傳輸數據速率為

當第m個V2V-uUE 對共享第q個下行用戶的RB 時，第m個V2V-uUE 的SINR 為

第m個V2V-uUE 對共享第q個下行用戶的RB可達到的傳輸數據速率為

第m個V2V-uUE 的傳輸數據速率為

1.2.2 緩存模型

定義βf,n∈{0,1}為一個二進制變量，表示第f個文件是（βf,n=1）否（βf,n=0）緩存在第n個RSU中。因此，緩存放置策略矩陣為

同時，第u個R2V-uUE 用戶的文件請求偏好用請求概率Pu,f來表示，且滿足。如果關聯第n個RSU 的第u個R2V-uUE 請求的第f個文件緩存在此RSU中，則第u個R2V-uUE直接從該RSU獲取其請求的文件，其無線傳輸時延部分為

其中，Cf是第f個文件的大小。

如果文件未緩存在用戶關聯的RSU 中，則通過光纖鏈路從云服務器中獲取文件。除了無線傳輸時延，還需要考慮增加的光纖傳輸時延。為簡化起見，假設光纖傳輸時延為固定值LF，那么總時延為。

因此，關聯第n個RSU 的第u個R2V-uUE 請求的第f個文件的時延為

2 問題描述

2.1 切片QoS 需求

利用eMBB切片承載的車載應用需要高數據傳輸速率，因此B2V 鏈路的數據傳輸速率需要滿足閾值，BS 到第k個B2V-eUE 的數據傳輸速率滿足

對于R2V-uUE 來說，其向RSU 或者云服務器請求的文件利用URLLC 切片承載，從系統最優的角度來考慮，需要保證所有R2V-uUE 的平均時延最小化，R2V-uUE 平均時延為

對于V2V-uUE 來說，假設車輛之間交換短消息，一旦建立可靠鏈路，其傳輸時延可以保證。但是在車輛高速運動的過程中，需要保證V2V 鏈路的可靠性，即V2V 鏈路中斷概率小于閾值，第m個V2V-uUE 的中斷概率滿足

2.2 聯合優化問題描述

為了優化兩類切片中用戶不同的性能指標，一種常見的方法是將多個指標組合成一個統一的優化目標，例如定義系統數據傳輸速率與能耗比率為能量效率[16]，定義系統數據傳輸速率與通信信道帶寬比率為頻譜效率[17]。但是，目前速率與時延的比率尚未定義，沒有實際意義。因此，本文優化R2V-uUE 的URLLC切片的時延性能，同時保證B2V-mUE 的eMBB 切片傳輸速率需求和V2V-uUE 的URLLC 切片鏈路可靠性需求。本文提出了一個聯合頻譜資源分配及復用、緩存內容放置及R2V-uUE 用戶關聯的優化問題，以最小化在URLLC切片中R2V-uUE的長期累積平均時延，同時OFDMA 載波正交性、載波允許復用數量、用戶接入容量、用戶最大發射功率、緩存容量以及不同用戶QoS 需求（即B2V-mUE 的數據傳輸速率和V2V-uUE 的鏈路可靠性）被視為約束。令ρ={ρm,q:為頻譜復用關聯矩陣、RB 分配矩陣、R2V-uUE 與RSU關聯矩陣、RSU 中文件緩存狀態矩陣和V2V-uUE 發射功率矩陣。該問題可以表示為

其中，優化目標是最小化URLLC 切片中R2V-uUE的平均時延。約束式(21a)限制 eMBB 切片中B2V-eUE 的數據傳輸速率不低于閾值；約束式(21b)限制URLLC 切片中V2V-uUE 的鏈路中斷概率不大于閾值；約束式(21c)限制RSU 中緩存的所有文件大小不超過其緩存空間；約束式(21d)限制每個V2V-uUE 必須且只能復用一個 B2V-eUE 或者R2V-uUE 的RB；約束式(21e)限制一個B2V-eUE 或者R2V-uUE 的RB 最多提供給一個V2V-uUE 復用；約束式(21f)限制必須且只能給每個B2V-eUE 和R2V-uUE 分配一個RB；約束式(21g)限制每個RB 最多分配給一個B2V-eUE 或者R2V-uUE；約束式(21h)限制每個R2V-uUE 必須且只能關聯一個RSU；約束式(21i)限制每個RSU 最多接入的R2V-uUE 數量；約束式(21j)限制V2V-uUE 的最大功率不超過閾值PV；約束式(21k)～式(21n)為二進制變量約束。

優化問題P1 是一個混合整數非線性組合優化問題，是典型的NP-hard 問題。由于該網絡中有大量的內容文件、車輛和RB，因此P1 無法在多項式時間內解決。獲得最優解的直接方法是將問題分解為多個子問題并進行窮舉搜索。然而，在這樣一個高度動態的車載網絡中，應該實時做出優化決策。

3 雙時間尺度資源分配算法

為了解決P1 的計算復雜性，本節提出了一種有效的雙時間尺度資源分配算法來優化網絡切片的子載波分配、用戶關聯和緩存放置。假設網絡系統在一個時間窗口上工作，該時間窗口被劃分為由t∈T={1,2,…,T}表示的離散時隙。假設基站作為該系統的決策控制器，其在每個時間窗開始進行用戶關聯和緩存放置決策，在每個時隙開始時為發送數據傳輸請求的車輛用戶分配（包括復用匹配）RB 和功率。

3.1 大時間尺度內用戶關聯和緩存放置決策

基于給定的RB 分配和復用策略，P1 目標函數中的傳輸速率Rn,u變為已知，記作，P1 簡化為只包含用戶關聯和緩存放置策略的優化問題P2，即

由于存在αn,u與βf,n這2 個變量相乘項，P2 為整數非線性規劃問題，利用McCormick 包絡將該問題松弛。定義χf,n,u=α n,uβf,n并引入上述目標函數，可將P2 轉化為P3。

為了簡化P3 的約束，本文利用拉格朗日松弛乘子法轉換該問題。定義拉格朗日乘子φf,n,u,γf,n,u,ηf,n,u≥ 0，拉格朗日函數表示為

因此，P3 可以轉化為P4。

分解后，聯合優化問題變成了單獨的優化問題。子問題P4_1 是一個典型的賦值問題，可以用匈牙利算法解決。子問題P4_2 和P4_3 都是線性整數優化問題，可以用線性整數規劃方法求解。

3.2 小時間尺度內RB 分配和功率控制決策

在大時間尺度內進行用戶關聯和緩存放置決策后，優化問題P1 可以簡化為RB 分配和功率控制問題，在每個小時間尺度-時隙內求解。優化問題為

不考慮上述優化問題目標函數中的固定值，P5等價于

本文提出了一種基于多智能體DDQN 的RB 分配和功率控制算法，并對算法在訓練階段和推理階段的執行流程和工作方式分別進行了介紹。該算法能夠學習用戶所處的狀態，做出最佳的決策，使一個時間窗內所有R2V-uUE 的累積傳輸速率和最高，同時保證B2V-eUE 和V2V-uUE 的QoS 需求。由于時間相關特性，決策被建模為馬爾可夫決策過程。

3.2.1 馬爾可夫決策過程

在馬爾可夫決策過程中，在每個時隙t，智能體通過識別當前狀態來感知環境，然后選擇一個動作并在環境中執行。隨后環境回應智能體的動作at，反饋回獎勵，同時以概率過渡到下一個狀態。

1) 狀態空間

因此，第t個時隙網絡狀態集合可表示為

2) 動作空間

車聯網切片資源調度歸結為頻譜RB 選擇和傳輸功率控制。系統中頻譜被分為S個不相交的RB，每個RB 都由一個B2V 或者R2V 鏈路占據，同時每個V2V 鏈路采用一定的發射功率復用B2V 或者R2V 鏈路的RB。定義網絡中每個用戶為一個智能體，每個B2V-eUE 和R2V-uUE 在每個時隙采取的動作為RB 選擇，其動作空間維度為S。

V2V-uUE 在每個時隙采取的動作為RB 復用配對及發射功率選擇。為了簡化動作空間，本文將功率控制選項限制為4 個級別，即[23,10,5,-100]dBm。需要注意的是，-100 dBm 意味著發射功率為0。因此，動作空間的維度為4×S，每個動作對應于RB分配選擇和功率選擇組合。

3) 獎勵

智能體通過未來一段時間內獎勵的期望值來表示對當前狀態下執行該動作的滿意程度。考慮到P5的優化目標為最大化R2V-uUE的平均傳輸速率，定義獎勵rt=r(,at)為用戶在狀態下采取行動at時所獲得的R2V-uUE 的平均傳輸速率，這有利于實現優化目標。本文使那些導致更高能源效率的行動獲得更高的相應獎勵。此外，還需要考慮約束條件式(21a)和式(21b)。為了保證用戶的公平性，對不能滿足B2V-eUE 最低通信速率和B2V-uUE 最低鏈路可靠性要求的動作進行懲罰。因此，設定獎勵函數包含兩部分，一是對R2V-uUE 平均傳輸速率的貢獻，二是當傳輸速率和鏈路可靠性不能滿足用戶需求時的懲罰。用戶在第t個時隙獲得的獎勵為

其中，w1為貢獻對應的權重，w2和w3為2 個懲罰對應的權重；ξ(·) 為一個函數，且當·為真時，ξ(·) =1。

3.2.2 基于DDQN 的RB 分配和功率控制

根據上述定義，便可基于多智能體DDQN 實現車輛用戶分配RB 和功率的決策。在多智能體DDQN算法中，智能體將每一步的狀態、功率分配決策、網絡能量效率獎勵和下一狀態作為經驗存儲到經驗重放器。在每次的迭代訓練中，神經網絡從經驗重放器中隨機選擇一部分樣本來訓練。多智能體DDQN 使用損失函數評估其性能，并采用反向傳播算法實現目標Q 網絡和原Q 網絡權值的更新。

多智能體DDQN 算法通過值函數來評價當前資源分配策略的好壞，其中，值函數表示智能體在某個狀態下執行某個分配決策獲得的長期回報。在策略π下，智能體的動作值函數為

其中，θ為DDQN 網絡參數，E[]為期望運算。

首先，在當前Q 網絡中找到最大Q值對應的動作，表示為amax，如式(34)所示。

然后，利用amax計算目標Q 網絡的Q值，如式(35)所示。

其中，yt是目標網絡的Q值。

將式(34)代入式(35)，結果如式(36)所示。

DDQN 的損失函數為

DDQN 采用隨機梯度下降法訓練θ，最終得到最優的θ，以逼近動作價值函數。其中，參數θ的更新式為

其中，η是學習率。

綜上所述，本文所提的雙時間尺度智能資源分配算法流程如算法1 所示。

算法1雙時間尺度智能資源分配算法

4 仿真與結果分析

4.1 仿真場景

本文設計了雙時間尺度RAN 切片資源智能分配算法，該算法融合匈牙利算法、線性整數規劃方法和DDQN 算法，在滿足eMBB 切片用戶最小傳輸速率需求和V2V 鏈路可靠性的前提下，最小化URLLC 切片用戶的平均傳輸速率。本節使用Python語言基于開源深度學習平臺TensorFlow 對本文算法進行仿真和性能驗證。

默認情況下，本文考慮一個包含一個基站、5 個B2V-eUE、5個RSU、12個R2V-uUE和2個V2V-uUE的車聯網系統，系統中可分配的RB 數量為20，每個RB 的帶寬為15 kHz。為了驗證算法性能，本文調節網絡規模、網絡中各節點和RB 數量。實驗中共傳輸10 個文件，每個文件的大小為 1 kbit。每個RSU 可以緩存3 個文件。前傳時延為0.5 s。智能體DDQN 由3 個完全連接的隱藏層組成，分別包含500、250、120 個神經元。采用ReLU 為激活函數，RMSProp 優化器以0.01 的學習率更新網絡參數。訓練探索率從0.4 下降到0.001，然后保持不變。具體參數設置如表1 所示。

表1 仿真參數設置

為驗證本文所提的雙時間尺度資源分配算法的性能，將其與以下3 種算法進行對比。

1) 隨機算法，在滿足約束的情況下隨機進行緩存、頻譜和功率資源分配。

2) 貪婪算法，當前狀態下最好或最優（即最有利）的選擇。

3) 基于Q-Learning 的雙時間尺度算法，即在大時間尺度內與本文所提算法相同，采用基于匈牙利算法、線性整數規劃方法求解；在小時間尺度內則基于Q-Learning 算法進行頻譜和功率資源的分配。

4.2 仿真結果與分析

損失函數值隨訓練迭代次數的變化如圖2 所示，展現了本文所提的小時間尺度下基于DDQN通信資源分配算法的收斂過程。從圖2 中可以看出，隨著訓練迭代次數的增加，損失函數值不斷減小，當訓練迭代次數達到400 時，損失函數值已經收斂到0.5 左右；當訓練迭代次數達到2 000 時，損失函數值已經達到0.17。基于此，在接下來評估算法性能時，本文將DDQN 模型訓練了2 000 次，以保障其收斂性。

圖2 損失函數值隨訓練迭代次數的變化

圖3為4種不同的切片資源分配算法下R2V-uUE平均時延隨R2V-uUE 數量的變化曲線。從圖3 可以看出，4 種分配算法的R2V-uUE 平均時延都隨R2V-uUE 數量的增加而增加。其中，隨機算法曲線具有更大的波動性，網絡性能不穩定。貪婪算法和基于Q-Learning 的雙時間尺度算法在網絡規模較小（即網絡中R2V-uUE 數量較少）時與本文所提算法表現相當。但是，隨著網絡中R2V-uUE 數量的增加，本文所提算法的平均時延低于其他3 種算法。基于DDQN的算法解決了Q-Learning 中的維數災難問題并克服了DQN 中Q 值過估計的缺點，可以通過學習得到適用于環境的資源分配策略，實現最小化R2V-uUE 平均時延的目標。

圖3 R2V-uUE 平均時延隨R2V-uUE 數量的變化

圖 4 為 4 種不同的切片資源分配算法下R2V-uUE 平均時延隨V2V-uUE 對數的變化曲線。從圖4 可以看出，4 種分配算法的R2V-uUE 平均時延都隨V2V-uUE 對數的增加而增加。這是由于過多的V2V-uUE 用戶對復用R2V-uUE 的頻譜對其R2V 鏈路的傳輸速率產生了影響。但是本文所提算法最大限度地克服了這種影響。

圖4 R2V-uUE 平均時延隨V2V-uUE 對數的變化

不同RSU 緩存容量下R2V-uUE 平均時延隨系統文件數量的變化如圖5 所示。從圖5 可以看出，平均時延會隨著RSU 緩存容量的增加而減少。但當文件總數遠大于容量時，下降趨勢不明顯。由于RSU 具有緩存能力，R2V-uUE 可以直接從關聯的RSU 獲取緩存文件，而沒有前傳時延。

圖5 R2V-uUE 平均時延隨系統文件數量的變化

本文所提算法下用戶滿意度隨RB 數量的變化如圖6 所示。從圖6 可以看出，系統采用相同RB 數量的前提下，允許頻譜共享具有更高的用戶滿意度，從而容納更多用戶，提高了頻譜資源利用率。

5 結束語

針對軟件定義多模態車聯網，本文設計了雙時間尺度RAN 切片資源緩存、頻譜、功率智能分配算法。該算法在大時間尺度內基于匈牙利算法、線性整數規劃方法解決用戶關聯和緩存放置決策子問題，在小時間尺度內基于DDQN 算法解決RB 分配和功率控制子問題。在滿足eMBB 切片用戶最小傳輸速率需求和V2V 鏈路可靠性的前提下，算法通過不斷學習車輛用戶信道狀態變化，最終最小化URLLC 切片用戶的平均傳輸速率。仿真結果表明，本文所提算法在保證不同切片用戶QoS 需求和提高頻譜利用率方面優于傳統算法。