C?V2X 通信中資源分配與功率控制聯合優化

金久一，邱恭安

（南通大學信息科學技術學院，江蘇南通 226019）

0 概述

第3 代合作伙伴計劃（Third Generation Partnership Project，3GPP）在Release14 中發布了C-V2X（Cellular-Vehicle to Everything）通信模式，其支持高可靠性、低時延及高移動性的車間通信場景［1］。在車聯網中，車輛使用C-V2X 通信模式周期性地向周圍鄰居車輛廣播協作感知消息（Cooperative Awareness Message，CAM），通告位置、方向、移動速度等車輛運動狀態消息，以保證道路交通安全［2］。C-V2X 支持Mode 3 和Mode 4 兩種不同的資源分配方式［3］。在Mode 3 中，車輛處于網絡覆蓋范圍之內，通過基站集中調度的方式分配資源。然而在Mode 4 中，網絡覆蓋范圍之外的車輛自主選擇資源傳輸CAM，擁有更好的拓展性。Mode 4 采用基于感知的半持續調度（Sensing Based Semi-Persistent Scheduling，SB-SPS）算法來進行資源分配，車輛通過感知持續監測資源池中可用子信道的干擾等級，為CAM選擇干擾最小的子信道進行傳輸，并對選擇的子信道保留隨機數目的傳輸次數，提高了交通安全業務數據傳輸的可靠性［4］。

目前已有相關文獻對C-V2X 中的2 種資源分配方式進行了研究。對于Mode 3，文獻［5］提出一種基于地理位置的資源分配方案，該方案綜合考慮車輛的速度、方向和位置，為不同的安全消息分配不同的資源，提高了系統的可靠性。對于Mode 4，文獻［6-7］對SB-SPS 算法進行分析，研究不同傳輸參數對系統性能的影響。文獻［8］針對SB-SPS 算法的參數進行優化。文獻［9］在SB-SPS 算法的基礎上提出一種資源交替選擇算法，車輛交替選擇不同的2 個資源直至重選計數器減至零，減少數據包由于連續碰撞導致的系統性能下降。文獻［10］研究了SB-SPS 算法中碰撞概率和平均時延的權衡關系。文獻［11］利用指數加權移動平均的方法對重選的資源進行優先級排序，能夠提升資源傳輸的可靠性。文獻［12］對SBSPS 算法進行了優化，根據行車方向將資源池劃分為2 個子資源池，并讓資源塊攜帶位置相關信息，減少了車輛之間的干擾，降低了資源碰撞概率。但是上述文獻中的SB-SPS 算法始終以最大功率傳輸CAM，在高密度交通流狀態下，傳輸功率越大，通信范圍就越大，競爭相同子信道的車輛就越多，從而引發資源碰撞。因此，SB-SPS 算法有必要聯合功率控制技術來解決這一問題。近年來功率控制技術廣泛應用于無線通信的相關問題。文獻［13］研究D2D 信道選擇和功率控制策略，為系統內的D2D 用戶選擇合適的信道復用資源并分配最優的傳輸功率，提升了系統的平均吞吐量。文獻［14］為協調D2D 通信的相互干擾，提出一種基于博弈論的功率控制機制，使得所有的D2D 鏈路功率配置合理，提高整體的通信質量。文獻［15］針對超密集網中嚴重的區間干擾，提出一種基于小區分簇的功率控制優化方案，降低了網絡中的干擾，提高了系統的吞吐量。

深度強化學習（Deep Reinforcement Learning，DRL）由于具備自主決策且學習速度快等優點，可用于解決車聯網中狀態空間和動作空間較大的相關問題。文獻［16］針對車間通信提出一種基于DRL 的分布式資源分配算法，支持單播和廣播場景。每個車輛被當作一個智能體，根據信道的局部信息自主決策。文獻［17］針對C-V2X 中傳輸模式選擇和資源分配的聯合優化問題，提出一種基于DRL 的資源分配算法，保證V2V 鏈路時延和可靠性的同時最大化V2I 鏈路的總吞吐量。但是，目前DRL 還沒有用于解決C-V2X Mode 4 中的資源分配和功率控制的相關問題。

考慮到C-V2X Mode 4 是資源自主選擇模式，在高密度交通流狀態下車輛無法獲得基站反饋的傳輸功率控制指令。為此，本文提出一種基于DRL 的聯合資源分配與功率控制算法。車輛從環境中自動提取特征，構造一個神經網絡作為函數逼近器去擬合信道狀態，根據信道狀態自適應調整傳輸功率，通過與環境的交互為CAM 選擇最優的子信道和傳輸功率，以提高車間通信的可靠性。

1 系統模型

本文考慮一個雙向六車道的公路車間通信模型，資源分配方式為Mode 4。Mode 4 采用單載波頻分多址接入，支持帶寬為10 MHz 和20 MHz 的兩類通信信道。信道在時域被劃分為子幀，在頻域被劃分為子信道。子信道由相同子幀中多個資源塊（Resource Block，RB）組成，所需要 的RB 數目與CAM 大小和調制及編碼方案（Modulation and Coding Scheme，MCS）有關［18］。車輛在通信范圍內從預分配好的資源池中自主選擇干擾最小的子信道傳輸CAM，車輛的工作模式為半雙工。具體的系統模型如圖1 所示。

圖1 系統模型Fig.1 System model

假設M=｛1，2，…，M｝表示車輛的集合，N=｛1，2，…，N｝表示資源池中由RB 組成的子信道的集合，其中M和N都是正整數。在高密度交通流狀態下，通信范圍內的車輛數目急劇增加，由于資源池中的子信道數目是固定的，會導致2 個或2 個以上車輛同時選中相同子信道傳輸CAM，從而引發資源碰撞。當車輛i選擇子信道n向車輛j傳輸CAM 時，接收端車輛j的信干噪比（Signal to Interference plus Noise Ratio，SINR）如下：

其 中：Pi是車輛i的傳輸功率；Gij是車輛i和車輛j之間的信道增益；σ2是噪聲功率；Kn是與車輛i選擇相同子信道傳輸CAM 的干擾車輛集合；Pk是干擾車輛k的傳輸功率；Gik是車輛i和干擾車輛k之間的干擾鏈路的信道增益。則車輛i傳輸CAM 的數據速率由香農公式表示如下：

其中：W是10 MHz 或20 MHz 的通信信道帶寬。

為避免車輛在高密度交通流狀態下使用最大功率傳輸CAM 引起資源碰撞，需要在資源分配過程中聯合功率控制技術來保證CAM 傳輸的高性能要求。本文優化目標為最大化系統吞吐量，綜合考慮傳輸功率和接收端車輛SINR 的約束條件，優化目標如下：

其中：R表示系統的總吞吐量；Pmax表示車載通信終端的最大傳輸功率；SINRmin表示接收端車輛能夠成功接收CAM 的最小SINR。

2 基于DRL 的聯合資源分配與功率控制算法

本文要解決的資源分配和功率控制聯合優化問題包括子信道選擇和功率控制。但是，C-V2X 通信中網絡狀態較多且變化較快，并且隨著車流密度的增加，該問題的計算復雜度也會迅速增加。而DRL與環境交互時不需要任何先驗信息，通過不斷地學習獲得最優策略，這對于動態時變的車聯網環境來說尤為重要。因此，提出一種基于DRL 的聯合資源分配與功率控制算法來優化車間通信性能。本節首先介紹DRL 的基本要素，并分別定義聯合資源分配和功率控制的狀態空間、動作空間和獎賞函數，然后利用DQN 算法具體求解資源分配和功率控制聯合優化問題。

2.1 DRL 基本要素

DRL 結合了強化學習的決策能力和深度學習的感知能力，包括智能體、環境、狀態、動作和獎賞5 個基本要素。智能體不斷地與環境進行交互，根據當前狀態下采取動作受到的獎賞改變自己的下一動作，以最大化累計折扣獎賞的方式獲得最優策略。對于本文要解決的資源分配和功率控制聯合優化問題，將傳輸CAM 的車輛作為智能體，將Mode 4 的資源分配過程作為環境。下文分別定義狀態空間、動作空間和獎賞函數：

1）狀態空間。車輛需要知道資源池中子信道的干擾等級和傳輸CAM 時的信道狀態，t時刻的狀態由子信道的干擾等級It、車輛之間的信道增益Gt、信道負載Lt和車流密度Dt組成，表示為st=｛It，Gt，Lt，Dt｝。其中，It=分別表示資源池中每個子信道的干擾等級。

2）動作空間。車輛需要知道CAM 選擇的子信道和自適應的傳輸功率，于是t時刻的動作由CAM傳輸選擇的子信道Ct和自適應的傳輸功率Pt組成，表示為at=｛Ct，Pt｝。其中，Ct=表示車輛可能選擇的子信道的集合。為降低算法的復雜度和動作空間的大小，將傳輸功率離散化，分為L個等級，所以Pt=。

3）獎賞函數。獎賞函數表示優化目標，本文的優化目標是最大化系統吞吐量，因此t時刻的獎賞函數定義如下：

2.2 基于DQN 的聯合資源分配與功率控制算法

DQN 作為DRL 中的經典算法，目標是估計最優策略的Q值。該算法通過構造深度神經網絡（Deep Neural Networks，DNN）來近似值函數，把Q表的更新問題轉化為函數擬合問題，以此解決傳統Q學習算法在高維連續方面的不足［19］。DQN 分別利用式（7）和式（8）實現函數值的更新和逼近。

其中：st和at分別表示智能體在t時刻的狀態和動作；Q(st，at)表示t時刻在狀態st下執行動作at的累計折扣獎賞；st+1是下一時刻狀態；at+1是下一時刻狀態的所有可能的動作；α是學習率；γ是折扣因子；rt是執行動作at之后的即時獎賞；θ是DNN 的參數。

下文利用DQN 算法具體求解資源分配和功率控制聯合優化問題，提出一種基于DQN 的聯合資源分配與功率控制算法，該算法包括構造DNN 和使用誤差函數訓練DNN 2 個步驟。基于DQN 的聯合資源分配與功率控制算法框架如圖2 所示。

圖2 基于DQN 的聯合資源分配與功率控制算法框架Fig.2 Framework of Joint resource allocation and power control algorithm based on DQN

算法具體步驟如下：

步驟1構造DNN，考慮到研究的聯合優化問題包括子信道選擇和功率控制，因此構造的DNN 包括輸入層、子信道選擇層、功率控制層和輸出層。在t時刻，將在環境中觀測到的狀態st作為DNN 的輸入，經過子信道選擇層和功率控制層，在輸出層會輸出一組數據，每一個數據都由CAM 傳輸選擇的子信道和自適應的傳輸功率組成，分別對應一種子信道選擇方案和功率控制方案，選擇最大Q值作為當前Q值，其所對應的子信道選擇方案Ct和功率控制方案Pt作為t時刻的動作at。DNN 結構如圖3 所示。

圖3 DNN 結構Fig.3 DNN structure

步驟2利用誤差函數訓練DNN 實現網絡參數的更新。DQN 中存在主網絡和目標網絡兩個結構相同參數不同的網絡。Q(st，at；θ)表示主網絡的輸出，用來計算當前Q值，Q(st+1，at+1；θ-)表示目標網絡的輸出，用來計算目標Q值。其中，θ和θ-分別是主網絡和目標網絡的參數。在執行t時刻的動作at之后，由式（6）得到即時獎勵rt，轉移到下一個狀態。在t+1 時刻，與t時刻采取同樣的方法，將在環境中觀測到的狀態st+1重新輸入DNN，利用式（9）求出目標Q值，然后根據式（10）構建誤差函數。最后通過隨機梯度下降法最小化損失函數來反向更新主網絡的參數θ，如式（11）所示。每隔一定次數的迭代將主網絡的參數θ復制給目標網絡的參數θ-以降低兩者之間的相關性［20］。

在選擇動作時，為避免局部最優，DQN 利用了ε-greddy 策略，即以ε的概率隨機選取行為探索環境，以1-ε的概率選擇動作當前Q值最大的動作。為消除數據之間的關聯性，DQN 采用了經驗回放機制，即在學習過程中建立一個經驗池，將一段時間內與環境交互的樣本儲存在經驗池里，產生訓練數據。每次訓練DNN 時，從經驗池里隨機抽取小批量的樣本更新神經網絡的參數，不斷重復直至損失函數收斂，使車輛找到最優的子信道選擇策略和功率控制策略。

最后分析本文算法的時間復雜度，由于本文是利用DQN 解決資源分配和功率控制聯合優化問題，算法的時間復雜度取決于誤差函數訓練DNN 這一過程。根據構造的DNN 可知，算法的時間復雜度為O（m×n1×n2），其中：m是DNN 的輸入；n1為子信道選擇層神經元的數目；n2為功率控制層神經元的數目。

3 仿真結果與性能分析

本節對所提算法進行仿真分析以驗證其優越性。為更好地分析所提算法的性能，本文將與文獻［9］中的資源替代選擇（RAS）算法和文獻［11］中的指數加權平均（WEA）算法進行對比。仿真對比場景為高密度交通流的公路場景，在長度為4 km 的雙向六車道上，車輛的平均速度為60 km/h，平均車流密度是150 vehicle/km，表示公路上每千米的車輛數目為150，車輛在公路上服從空間泊松分布。CAM 頻率為10 Hz，信道帶寬為10 MHz。MCS 為6，接收端車輛成功接收CAM 的最小SINR為4.4 dB。DQN的學習率為0.01，折扣因子為0.9，探索概率為0.1，經驗池大小為3 000，每次抽取的小批量樣本數目為8。具體的仿真參數見表1。

表1 仿真參數Table 1 Simulation parameters

由于車輛傳輸的CAM 是安全消息，因此要保證高可靠低時延的車間通信，使用分組接收率（Packet Reception Ratio，PRR）和更新時延（Update Delay，UD）作為性能指標。PRR 定義為通信范圍內車輛成功接收的CAM 數目與發送的全部CAM 數目的比值。UD 定義為通信范圍內車輛成功接收2 個CAM的時間間隔，表示接收端車輛CAM 的更新時間。

圖4 對比了車間距離分別為100 m、200 m 和300 m 時，本文算法PRR 與車流密度的關系。從圖4可以看出，當車間距離一定時，隨著車流密度的增大，車間干擾更加嚴重，PRR 逐漸減小。當車流密度一定時，隨著車間距離的增大，PRR 呈下降趨勢，且車間距離越大，PRR 的下降趨勢也越快。

圖4 不同車間距離下PRR 與車流密度的關系Fig.4 Relationship of PRR and traffic density at different vehicle-to-vehicle distances

圖5 對比了在高密度交通流狀態下CAM 大小分別為190 Byte 和300 Byte 時，3 種算法的PRR 與車間距離的關系，此時的車流密度為150 vehicle/km。從圖5可以看出，當CAM的大小從190 Byte增加至300 Byte時，PRR 逐漸減小，這是因為更大的CAM 傳輸時子信道需要占用更多的RB，導致資源池中的子信道數目減少，降低了系統性能。還可以看出，車間距離越大PRR 越小，這是因為隨著車間距離的增加，干擾車輛的數目也相應增加，會產生更高的信道干擾，降低SINR，使得成功接收的CAM數目降低，因此導致PRR減小。相比RAS算法和WEA 算法，本文提出算法的PRR 性能更好，這是因為在DQN 中，車輛不斷與環境交互，將子信道選擇方案和功率控制方案同時作為輸出動作優化車間通信性能，為CAM 選擇最優的子信道和傳輸功率，確保CAM 的可靠傳輸。比如，當CAM 的大小為190 Byte且車間距離為300 m 時，本文算法的PRR 為90%，相比于RAS 算法和WEA 算法的85%和88%分別提高了5%和2%。

圖5 PRR 與車間距離的關系Fig.5 Relationship of PRR and vehicle-to-vehicle distances

圖6 對比了3 種算法的UD 與車間距離的關系。

圖6 UD 與車間距離的關系Fig.6 Relationship of UD and vehicle-to-vehicle distances

從圖6 可以看出，隨著車間距離的增加，3 種算法的UD 均增加，但是本文算法的UD 在3 種算法中性能最好。這是因為UD 表示接收端車輛成功接收2 個CAM 時間間隔，這與PRR 的性能有關，PRR 越大UD 則越小，而本文算法的PRR 性能相比較其他2 種算法更好，因此UD 的性能也最好。比如，當車間距離為200 m 時，本文提出算法中車輛每隔3.9 ms就正確更新一次CAM，而RAS 算法和WEA 算法的UD 為4.5 ms 和4.2 ms，分別降低了0.6 ms 和0.3 ms。

4 結束語

本文針對C-V2X Mode 4 場景的資源分配和功率控制聯合優化問題，提出一種基于DQN 的聯合資源分配與功率控制算法。通過構造DNN 車輛從環境中自動獲取信道狀態，通過迭代學習為CAM 選擇最優子信道和傳輸功率。仿真結果表明，與基準算法相比，該算法不僅能夠提高系統的PRR，加快CAM 的更新頻率，而且提高車間通信的可靠性，可應用于基站覆蓋范圍受限的高密度交通流短距離車間通信場景。下一步將聯合資源自主選擇模式和資源調度分配模式，進行混合資源分配模式的研究，并在真實仿真模型中對比算法性能。