車聯網中基于NOMA-MEC的卸載策略研究

張海波 劉香渝* 荊昆侖 劉開健 賀曉帆

①(重慶郵電大學通信與信息工程學院 重慶 400065)

②(移動通信技術重慶市重點實驗室 重慶 400065)

③(武漢大學電子信息學院 武漢 430000)

1 引言

隨著移動通信技術的發展以及移動終端設備的普及，新型車載終端應用對移動通信網絡提出了更加嚴苛的要求。移動邊緣計算(Mobile Edge Computing, MEC)技術的出現能夠有效地解決這一挑戰。MEC是一種新型通信架構，將具有計算、存儲以及通信功能的服務平臺安置在網絡邊緣，幫助移動終端用戶將計算密集型、時延敏感型任務卸載到邊緣節點進行處理[1,2]。MEC技術是第5代移動通信的一項重要技術，目前廣泛應用于通信網絡系統研究[3,4]。基于MEC的通信系統能夠降低任務處理時間，同時減少移動終端設備的能耗以及傳輸成本[5-7]。在車聯網場景下，新型的服務應用正在發展，如無人駕駛、超清視頻、增強現實等[8]，MEC可以滿足這些任務的高計算要求，而非正交多址(Non-Orthogonal Multiple Access, NOMA)技術的應用能夠更進一步減少多任務卸載延遲的問題。

NOMA技術是第5代蜂窩網絡的關鍵技術之一，通過為終端用戶分配不同的功率，可以在同一頻帶上同時為多個用戶提供服務，從而有效地提高頻譜利用率[9]。NOMA已被視為在未來通信場景中增強系統容量的基本多址訪問技術[10]。文獻[11,12]將NOMA的上下行傳輸都應用于基于MEC的網絡系統，并提出了基于Dinkelbach方法的迭代算法，最小化終端用戶的卸載時延。文獻[13]提出了兩種用于V2X通信的中繼輔助NOMA傳輸方案，有效地提高了用戶的服務質量，減輕了流量擁塞并減少了任務延遲。

文獻[14]研究了基于NOMA的卸載策略，但其中只包括關于正交多址接入(Orthogonal Multiple Access, OMA)或純NOMA的卸載選擇。文獻[15]研究了NOMA技術在MEC下的卸載問題，利用混合型NOMA提高了卸載的信道利用率，但主要分析單個用戶。文獻[16]體現了在車聯網中利用MEC可減少車輛任務卸載的時延和能耗，提高資源利用率。文獻[17]講述了NOMA在車聯網中的可行性，可用于提高車聯網的頻譜效率。因此，在車聯網下NOMA-MEC有效結合，能夠進一步完善MEC技術在車聯網中的應用，減少移動終端用戶進行卸載的延遲和能耗；另外，現有關用戶卸載的文獻研究中，多是基于對能耗或者時延的單獨優化。而在實際應用場景下，任務的卸載過程需要同時考慮到任務的時延敏感度和設備能耗的約束，而通過對混合NOMA-MEC卸載策略研究能夠更加科學地完成任務卸載。

由此本文提出的混合NOMA-MEC卸載策略主要完成了以下工作：

(1) 將NOMA技術和基于MEC的車聯網系統結合，構建了一個車聯網通信模型，并利用NOMA的技術優勢，更好地適應多用戶應用場景，符合實際通信網絡需求。

(2) 利用DQN合作博弈算法，通過競爭博弈確定信道選擇，根據用戶請求的任務屬性以及卸載用戶的數量，進行信道資源分配。通過合作博弈得到合作收益，以最大化用戶效益。然后利用DQN，為用戶選擇最優的卸載策略。

(3) 設計了一種混合NOMA-MEC卸載選擇機制，較全面地考慮到了目標優化函數的影響因子，從任務卸載的時延和能耗方面進行優化。主要是通過將部分用戶按照傳統OMA模式進行卸載，另一部分用戶利用NOMA模式進行卸載傳輸來實現。

2 系統模型

在車聯網下MEC通信網絡系統中，車輛用戶v ={1,2,···,V}通過同一個接入點與MEC服務器進行通信，并請求任務卸載至MEC服務器。該系統模型如圖1所示，每個車輛用戶卸載任務定義為Qv={Sv,Dv} ，其中Sv和 Dv分 別表示車輛用戶v 需要卸載的任務大小和最大時延容忍度。

在NOMA-MEC的通信系統框架中，可以允許多個車輛用戶在同一個時隙完成任務卸載。假設有兩個車輛用戶m和n同時請求任務卸載，若Dn≥Dm, m, n ∈{1,2,···,V}，那么在該模式下用戶m和n可以同時在 Dm時隙內向MEC服務器進行卸載。車輛用戶m和n的傳輸功率分別為和，在這需要指出如果用戶m的信息在連續干擾消除(Successive Interference Cancelation, SIC)的第2階段被解碼，則用戶m的性能與OMA相同，因此用戶m的傳輸時延不會受到影響[18]。用戶n的傳輸速率Rn在時隙Dm內為

圖1 系統模型圖

3 混合NOMA-MEC卸載

混合NOMA-MEC卸載策略在最大限度滿足任務的時延需求的同時，也能夠減少任務卸載過程中的能量損耗。因此，混合NOMA-MEC卸載的優化目標主要是任務卸載的時延和能耗。具體來講，在此過程中，優化目標是最小化總開銷[19]，由式(4)表示

引理1在滿足給定約束條件下，目標函數式(4)是一個非凸優化問題。

證明將優化目標函數式(4)轉化為關于變量pNnmOMA和pNnnOMA的2元函數為

在上述目標函數里只含有兩個變量因子，其余均默認為常量，因此簡化為

并求出其Hessen矩陣表達式為

上述矩陣存在余子式小于零的情況，因此可得優化目標函數式(4)是一個非凸優化問題。證畢為解決該問題，求出關于和最優的分配策略，本文設計了一種基于深度Q學習網絡(Deep Q-learning Network, DQN)的合作博弈算法(DQN C ooperative Game algorithm, DCG)進行求解。

3 .1 基于DQN的合作博弈算法

3.1.1 博弈的第1階段-競爭

DCG第1階段需要定義一組競爭關系，根據優化目標函數的影響因子，車輛用戶n進行卸載信道選擇的過程屬于競爭博弈關系，因此定義了用戶α和 β 的競爭關系[ α,β]，此時用戶n進行任務卸載與對應車輛用戶α 和 β 的數學模型fn(α)和 fn(β)分別為

其中， Tα和 Tβ分別表示車輛用戶α 和 β 的卸載時延，和分別表示車輛用戶α 和 β 的傳輸功率，用戶n進行任務卸載的能耗間隔Δ e如式(12)所示

式(10)和式(11)分別表示用戶n進行任務卸載與對應車輛用戶α 和 β 的能耗函數，式(12)表示車輛用戶n匹配不同用戶的能耗差，其中 φ表示任務卸載的能耗緩沖間隙，當滿足 C1的約束條件時，任務將用戶 β的信道進行混合NOMA-MEC卸載，反之 在用戶α 的信道進行任務卸載。

3.1.2 博弈的第2階段-合作

DCG的第2階段需要根據目標函數的影響因子定義合作收益θg為

其中， θr和θc分別表示收入因子和成本因子，分別由任務卸載過程中產生時延的倒數和能耗構成。根據上述 公 式， θr和θg成正相關函數，θc和θg成 負 相關函數，因此最優的合作方案是收入因子盡量大，成 本因子盡量小，從而保證車輛用戶效益的最大化。

3.1.3 博弈的第3階段-基于DQN的價格調整

DCG的第3階段需要通過DQN迭代學習為用戶選擇最優的卸載策略。DQN是一種將Q學習與神經網絡相結合的算法，它使用深度神經網絡作為Q值網絡，并將Q表的更新問題轉化為函數擬合問題，并通過相似的狀態獲得相似的輸出動作，最終通過更新神經網絡參數來估算最佳效用值[20]。基于Q學習的深度學習網絡模型如圖2所示。

其中，rt表 示最小獎勵，τk∈(0,1)表示定義為學習率，表示當前知識對先前學習知識的影響。基于DQN的合作博弈算法如表1所示。

圖2 深度學習網絡模型圖

表1 基于DQN的合作博弈算法

3.2 卸載機制選擇

基于上述NOMA-MEC卸載機制的研究，車輛用戶在請求完成任務卸載的策略也不再局限于單一的OMA或者NOMA方式，用戶可以根據自身任務的屬性選擇更適合的卸載策略。任務在卸載的過程中會受到很多因素的約束和影響，如任務傳輸時延、卸載能耗、所需計算資源大小等。混合NOMA-MEC的卸載機制如表2所示。

關于表2的卸載機制，首先初始化任務 qv以及信道容量，并定義了關于用戶最優的能耗容忍區間。行(2)定義了用戶在NOMA-MEC策略卸載的成本函數，通過行(4)判斷當前請求接入的用戶數量是否超出在OMA通信網絡系統容量，如果當前接入用戶數量較少，直接選擇傳統OMA策略進行卸載，該策略能夠減少卸載能耗以及傳輸成本；如果超過了系統容量則需要通過NOMA-MEC技術解決信道資源不足的問題。行(5)～(11)表示如果用戶v 的能耗超出了最佳區間范圍，則選擇相對能耗表現更為優異的NOMA-MEC策略，如果卸載能耗屬于最佳的 范圍區間，因此需要比較二者傳輸時延以及成本。

4 仿真分析

本文基于MATLAB的平臺進行仿真，相關網絡模型參數設置是在IEEE 802.11p標準和參照3GPP TR36.885進行設定的[21]，假設車輛用戶都勻速運動，且在任務卸載期間不會離開原MEC通信范圍[22]。部分系統仿真參數表如表3所示。

對于基于DQN的算法，使用兩個分別由128和64個神經元組成的隱藏層進行神經網絡的設計。選擇ReLU激活功能和Adam優化器，其他與DQN相關的參數[23]匯總在表4中。

圖3是基于OMA模式、純NOMA模式、混合NOMA模式下的單一用戶卸載能耗圖。由此可知，隨著任務量的增加，卸載過程產生的能耗也越高；同時NOMA模式下的卸載策略相較于OMA模式會產生更高的能耗，而純NOMA模式下能耗最高。產生上述現象的原因是NOMA技術能夠提高頻譜利用率，而香農信息容量理論證明最大頻譜效率和最小能耗不能同時達到。

表2 混合NOMA-MEC的卸載機制

表3 部分系統仿真參數表

表4 DQN相關的參數

圖3 任務大小與能耗關系圖

圖4是關于請求任務卸載的用戶數量與任務卸載總時延的仿真結果。由圖可知，隨著用戶數量的增加，任務卸載的總時延也逐漸增大，同時不同模式下任務卸載的總時延差距也逐漸增加。造成上述現象的原因是，當請求任務卸載的用戶數量較少時，3種模式下的信道資源充足，但是隨著用戶數量增加，信道資源不足的問題逐漸顯現出來，傳統OMA模式下的用戶需要進行任務卸載排序，等待其他用戶完成卸載后才能進行卸載，而新型的NOMA卸載策略能夠在有限的信道資源下，滿足更多的用戶同時進行任務卸載。

雖然在純NOMA模式下總時延最低但能耗卻較高，所以通常不采用該方式進行卸載[15]。圖5是關于傳統OMA卸載與混合NOMA-MEC卸載用戶容量的，圖中的仿真結果表明，混合NOMA-MEC卸載策略能夠在有限帶寬的約束條件下，為更多的車聯網用戶提供卸載。通過計算結果得出，該策略相較于OMA模式下的卸載，卸載用戶容量提高約50%，因此混合NOMA-MEC卸載策略能夠有效地解決多用戶卸載信道不足的問題。

圖4 用戶數目與總時延關系圖

圖5 帶寬與用戶容量關系圖

在總開銷計算中將 λ的值設為[0.1, 0.5, 0.9][24]，來體現系統在不同情況下對時延和能耗的要求不同。當λ =0.1時，系統對時延的要求極高，圖6(a)展示了在這種情況下，OMA模式卸載與混合NOMAMEC模式卸載的總開銷差異。結果顯示在系統對時延要求高時，混合NOMA-MEC相比OMA模式有較低的總開銷。圖6(b)展示了當λ =0.9時，系統對能耗的要求極高的情況下，混合NOMA-MEC的開銷卻大于OMA模式的總開銷。這是因為NOMA雖然可以容納更多的用戶減少卸載時延，但會同時付出高能耗的代價。

圖6 時延和能耗要求不同時用戶數目與總開銷關系圖

將提出的DCG算法與幾何規劃算法(Geometric Programming, GP)[15]對比。圖7是當λ=0.5時，時延和能耗視為同等重要時，用戶請求任務卸載的數目與總開銷的關系。通過對比分析發現，混合NOMA-MEC的卸載策略相較于OMA模式開銷更小，主要原因是混合NOMA-MEC的卸載決策是一種更加全面的卸載策略，它同時考慮了任務卸載過程中時延的要求和能耗的影響，因此該卸載模式能夠最大化地保證用戶效益。且隨著用戶數目的增加，在進行任務卸載的過程中將會產生更多的開銷，在兩種卸載模式情況下，本文算法DCG都優于GP算法，是因為在考慮了NOMA和MEC組合的復雜性的情況下，車輛用戶能更動態地選擇卸載模式。

圖7 λ = 0.5時用戶數目與總開銷關系圖

5 結束語

本文提出了車聯網場景下混合NOMA-MEC的卸載策略，解決了現有通信網絡模型中信道資源不足的問題，該策略能夠在有限的信道帶寬資源約束下，為更多的請求用戶提供卸載。本文采用了博弈算法為用戶進行信道選擇，在此基礎上設計了DCG算法，有效地幫助用戶選擇最優功率分配策略，最大限度的保證卸載用戶的效益。仿真結果表明，在系統對時延和能耗要求相同時，混合NOMA-MEC卸載策略更加全面地優化了目標函數，使得總開銷顯著降低。在未來的研究工作中，將進一步研究任務卸載過程中面臨小區切換的問題。