D2D 中繼輔助通信的能效優化算法研究

王雪，金濤，錢志鴻，胡良帥，王鑫,2

(1.吉林大學通信工程學院，吉林 長春 130012；2.吉林農業大學信息技術學院，吉林 長春 130118）

1 引言

作為5G 的關鍵技術之一，D2D（device-todevice）通信技術是指通信網絡中鄰近設備不通過基站而直接交換信息的技術[1]。在無線通信系統中加入D2D 通信技術，不僅可以提高系統頻譜效率，降低時延，還可以減輕核心網絡的負載[2]。但是，當D2D 通信中用戶間距離較遠或者鏈路質量較差時，需要引入中繼來保證信息的可靠、有效傳輸。并且，引入中繼可以擴大蜂窩系統的覆蓋范圍[3-4]。隨著用戶設備的大量增長以及終端設備電池容量的限制，如何有效地提高能量效率，實現綠色通信，是未來無線通信發展的關鍵。

現有的文獻大多研究的是蜂窩通信與D2D 直連通信并存場景下的能效優化問題。文獻[5]通過使用聯合迭代拍賣算法，優化了包括蜂窩用戶在內的所有終端設備的能效。文獻[6]考慮D2D 通信復用蜂窩鏈路下行頻譜資源，在滿足蜂窩用戶QoS（quality of service）的條件下，最大化系統總D2D鏈路的能量效率。文獻[7]則考慮的是D2D 通信復用蜂窩鏈路上行頻譜資源，基于能效構造D2D 鏈路與蜂窩鏈路之間的二分圖，利用蓋爾-沙普利算法解決D2D 用戶與蜂窩用戶之間的匹配問題。文獻[8]通過聯合解決D2D 直連通信下的功率控制和信道分配問題，最大化系統D2D 用戶對的能效。文獻[9]將非凸形式的能效優化問題轉換為凸函數進行求解，提出了一種聯合信道分配和功率控制的兩層優化算法。文獻[10]在D2D 直連通信中加入了能量采集（EH,energy harvesting）技術，研究了包含能量采集時隙、功率和信道分配的能效優化問題。

在蜂窩通信與D2D 中繼通信并存場景下，可以從模式選擇、功率控制、中繼選擇/信道分配等多個方面去優化能效。文獻[11-12]考慮從功率控制角度優化能效，不同的是，前者利用非線性整數規劃方法解決了單個D2D 中繼鏈路的能效最大化問題，后者則利用在線學習策略從全局角度最大化系統的能量效率。考慮功率控制和信道分配2 個方面，文獻[13]首先最大化D2D 中繼通信的第一跳鏈路和第二跳鏈路的能效，然后基于兩跳鏈路的能效值，采用匹配算法選擇合適的中繼，最大化系統中D2D鏈路的總能效。文獻[14]假設中繼具有從射頻信號中獲得能量的EH 技術功能，研究D2D 通信中的功率控制和中繼選擇問題。文獻[15]提出了一種基于能效最優的模式選擇策略，在確定最優中繼數量的條件下，通過選擇使用中繼通信或者協同通信的方式來優化系統的能效。文獻[16]考慮了D2D 通信的直連、中繼及協同3 種通信方式共存的場景，通過將優化問題拆分成聯合模式選擇、功率控制和信道分配3 個子問題分別求解，提高了系統的D2D 鏈路能效。

文獻[11-16]大多只是從功率控制和中繼選擇，或者功率控制和信道分配兩方面考慮優化D2D 中繼通信的能效，缺乏聯合三者的研究，因此，本文在D2D 中繼輔助通信系統中，通過聯合考慮功率控制、中繼選擇以及信道分配以最大化系統D2D用戶的總能效。本文首先建模能效優化問題，并將能效優化問題拆分為功率控制、中繼選擇和信道分配3 個子問題。然后，利用非線性整數規劃及凸優化理論解決功率控制問題，利用強化學習中的Q 學習算法解決中繼選擇問題。最后，基于功率控制和中繼選擇，結合匹配理論，使用匈牙利算法求解信道分配問題。仿真結果表示，與現有文獻對比，本文所提的算法在保證蜂窩用戶和D2D 用戶的傳輸速率的條件下，有效地增加D2D 用戶的能量效率。

2 系統模型及問題描述

2.1 系統模型

假設在單小區蜂窩系統中，存在N 對D2D 用戶、L 個理想中繼以及K 個蜂窩用戶，其中，一對D2D 用戶包含一個D2D 發射端和一個D2D 接收端。D2D 用戶對的索引集合表示為 M={1,2,…,N}，D2D 發射端的索引集合表示為 S={1,2,…,N}，D2D接收端的索引集合表示為 D={1,2,…,N}，中繼的索引集合表示為 R={1,2,…,L}，蜂窩用戶的索引集合表示為 C={1,2,…,K}。假設D2D 用戶的發射端與接收端之間由于鏈路質量較差，沒有直連通路，只能通過中繼進行通信，且中繼均采用放大轉發協議，同時每個蜂窩用戶都已經預先分配了正交信道。系統模型如圖1 所示，假設某一D2D 用戶對m=(s,d)(m ∈M,s ∈S,d ∈D)復用蜂窩用戶c ∈C的上行鏈路頻譜資源，通過中繼r ∈ R進行通信。在D2D 中繼通信第一跳鏈路中，中繼r 和基站的信干噪比（SINR,signal to interference plus noise ratio）分別為

圖1 系統模型

其中，Ps和Pc分別表示D2D 發射端和蜂窩用戶的傳輸功率，Gsr、Gsb、Gcr和Gcb分別表示D2D 發射端到中繼、D2D 發射端到基站、蜂窩用戶到中繼和蜂窩用戶到基站的信道增益，N0表示加性高斯白噪聲。

在D2D 中繼通信第二跳鏈路中，D2D 接收端d和基站的信干噪比分別為

其中，Pr表示中繼的傳輸功率，Grd、Grb和Gcd分別表示中繼到D2D 接收端、中繼到基站和蜂窩用戶到D2D 接收端的信道增益。

2.2 問題描述

根據式(1)和式(3)，D2D 發射端s 到D2D 接收端d 的能效表達式為

其中，xmr表示中繼選擇因子，當D2D 用戶對m 通過中繼r 完成通信時xmr=1，否則xmr=0；Pcir、W 和η 分別表示電路功率、信道帶寬和功率放大系數。

本文旨在最大化整個系統的D2D 用戶對的能效，具體表達式為

其中，X 表示中繼選擇矩陣，矩陣X 第m 行、第r列的元素是中繼選擇因子xmr；Y 表示信道選擇矩陣，矩陣Y 第m 行、第c 列的元素是信道復用因子ymc，當D2D 對m 復用蜂窩用戶c 的信道通信時ymc=1，否則ymc=0；向量和分別表示D2D 發射端、中繼和蜂窩用戶的傳輸功率向量；表示D2D 發射端和中繼的最大傳輸功率；表示蜂窩用戶的最大傳輸功率；表示D2D 通信鏈路必須滿足的最小傳輸速率；表示蜂窩用戶必須滿足的最小傳輸速率。

約束式(7)和式(8)保證一個中繼只能服務一個D2D 用戶對，并且一個D2D 用戶對只能復用一個中繼。類似地，約束式(9)和式(10)保證一條信道只能被一個D2D 用戶對復用，并且一個D2D 用戶對只能復用一條蜂窩用戶的信道。約束式(11)～式(13)分別是D2D 發射端、中繼和蜂窩用戶的傳輸功率限制。約束式(14)～式(16)分別是D2D 第一跳鏈路、D2D 第二跳鏈路和蜂窩用戶鏈路的傳輸速率限制。

由多個約束條件和變量可以看出，本文的能效優化問題是一個混合整數非線性規劃（MINLP,mixed integer non-linear programing）的NP-hard 問題，而NP-hard 問題沒有一個有效的直接求解方法。為了求解這個優化問題，本文將其分為功率控制、中繼選擇和信道分配3 個子問題進行求解。

3 功率控制、中繼選擇和信道分配算法

3.1 基于Dinkelbach 方法和拉格朗日乘子法的功率控制算法

假設D2D 用戶對m 通過中繼r 進行通信，并且復用蜂窩用戶c 的信道資源，則xmr=1 且ymc=1，D2D 發送端s 到接收端d 的能效優化問題為

由式(5)可得出，D2D 發射端到接收端的能效是關于蜂窩用戶功率Pc的減函數，所以為了最大化D2D 發射端到接收端的能效，功率Pc需要取得最小值。根據約束式(13)、式(16)和文獻[11]，得出蜂窩用戶最小傳輸功率為

式(19)是一個分數形式的非凸函數，所以利用Dinkelbach 方法將其轉換成等價的凸函數形式。首先，用變量表示D2D 發射端到接收端的能效值，并且定義式(19)所示的最大能效為

引理1當且僅當以下條件成立時得到

證明證明過程請參考文獻[17]。

證畢。

由引理1 可將優化問題式(19)從分數形式轉化為等價的減式形式，即

式(23)為一個帶約束條件的凸優化問題，可使用拉格朗日乘子法求解，但是所得結果與有關，為了獲得的值，本文通過迭代進行計算。假設在第 n 次迭代中功率變量為 Ps(n)以及能效值為q1(n-1)，則式(23)的增廣拉格朗日式為

其中，δ(n)和 θ(n)分別是約束式(14)和式(20)的拉格朗日算子。根據拉格朗日對偶分解，式(19)的能效優化問題等價為

由KKT(Karush-Kuhn-Tucker)條件可求得

其中，{ x}+=max{0,x}。拉格朗日算子 δ(n)和 θ(n)的值可由梯度下降法迭代更新，計算式為

其中，τ 表示拉格朗日算子的第τ 次迭代，α 為步長。中繼的最優功率的計算式為

在功率控制問題的求解過程中包含兩層迭代。其中，外層迭代是為了求解q1，迭代次數用n 表示，最大迭代次數為Iouter，迭代誤差為 Δ1；內層迭代為了更新拉格朗日算子δ 和θ，迭代次數用τ 表示，最大迭代次數為Iinner，迭代誤差為 Δ2。功率控制的具體步驟如算法1 所示。

算法1基于Dinkelbach 方法和拉格朗日乘子法的功率控制算法

輸入Gsr、Gsb、Gcr、Gcb、Grd、Grb、Gcd、N0、W、

輸出

3.2 基于Q 學習的中繼選擇算法

在為每個D2D 用戶對選擇合適的中繼之前，為了減小計算復雜度，本文為每個D2D 用戶對劃分了備選的中繼集合。對于D2D 用戶對m，可選用中繼的區域劃分如圖2 所示，備選中繼所在區域處于以D2D 發射端s 和D2D 接收端d 的距離Dsd為半徑，分別以D2D 發射端s 和D2D 接收端d 為圓心所畫的2 個圓的重合區域。D2D 用戶對m 的備選中繼集合可表示為

其中，Dsr和Drd分別表示D2D 發射端到中繼和中繼到D2D 接收端的距離。

圖2 備選中繼區域示意

在給每個D2D 用戶對劃分備選中繼區域之后，為了保證D2D 用戶對的正常通信，本文設計優先完成備選中繼數較少的D2D 用戶對的中繼選擇。具體地，用|Gm|表示D2D 用戶對m 的備選中繼數，根據|Gm|的大小升序排列，得到新的D2D 用戶對集合M*。然后，利用本文提出的基于Q 學習的中繼選擇算法完成每個D2D 用戶對的中繼選擇。

Q 學習是一種典型的強化學習算法，可以在任意給定的馬爾可夫決策過程中通過學習過程找到最優的動作[18]。在一次學習過程中，學習的主體稱為智能體（agent），智能體通過感知周圍的環境，判斷當前所處的狀態st，其中t 表示在一次迭代學習過程的時刻。之后根據一定的策略（例如ε-貪婪算法）從動作集合At選擇某個動作at。在執行某個動作之后，智能體會收到環境的反饋，稱為獎賞Rt，Rt反映了所執行動作的好壞。在每次選擇動作時，智能體通常會大概率地選擇當前已知的最優動作，但是也會小概率地去嘗試新的動作，最終達到最大化總獎賞值的目的。Q 學習通過更新學習動作狀態值函數 Q(st,at)來獲得最優策略，其中 Q(st,at)表示在給定狀態st下執行動作at的收益。動作狀態值函數 Q(st,at)在時刻t 的更新式為

其中，α∈(0,1]表示學習因子，Rt表示獎賞值，γ 表示折扣因子。從式(31)可以看出，從狀態st出發，依照某種策略選擇動作at，隨后更新Q 值函數。當所有的動作狀態值都被頻繁地執行后，Q 估計值最終會收斂到最優Q 值上，從而獲得最優策略。

本文將中繼選擇的過程建模為D2D 用戶對學習尋找最優中繼的過程，分別定義Q 學習中的智能體，動作集合At、狀態集合St和獎賞函數Rt如式(32)～式(34)所示。

智能體：所有D2D 用戶對。

其中，al表示選擇中繼l 完成通信。在t 時刻的動作at可以是集合At中任一元素。

其中，EEs,d表示D2D 發射端到D2D 接收端的能效值，可通過功率控制進行計算；EEth表示D2D 鏈路的能效閾值。

其中，λ 表示放大系數。獎賞函數反映了中繼選擇的好壞，若選擇的中繼滿足D2D 鏈路的最小能效時，返回一個正值；若不滿足，返回一個負值。當每對D2D 用戶完成Q 學習過程后，會生成對應于中繼的Q 表，根據Q 表，便可以選擇最優中繼。具體的基于Q 學習的中繼選擇過程如算法2 所示。

算法2基于Q 學習的中繼選擇算法

3.3 基于匹配理論的信道分配算法

在3.1 節和3.2 節中，通過功率控制和中繼選擇可以得到D2D 用戶對在復用某一蜂窩用戶信道下的最大能效，本節討論如何為每個D2D 用戶對分配合適的信道以最大化系統總D2D 用戶的能效。

由于蜂窩用戶集合C 和D2D 用戶集合M 是2 個互不相交的集合，因此本文構建二分圖G=(V ,E)，其中二分圖中頂點V 表示蜂窩用戶集合和D2D 用戶對集合，邊E 表示為D2D 用戶對和蜂窩用戶之間的連線。在3.1 節的功率控制中，通過約束式(16)已經滿足蜂窩用戶的QoS，所以在信道分配時，只需要考慮如何最大化系統總D2D 用戶對的能效。因此，設定D2D 用戶與蜂窩用戶之間邊的權重表示的是該D2D 用戶復用該蜂窩用戶信道時的能效值。引入N ×K 的矩陣T 表示權重矩陣，矩陣的行表示D2D 用戶對，矩陣的列表示蜂窩用戶。

根據以上分析，信道分配問題可以轉換為最大二部圖匹配問題，并使用匈牙利算法進行求解。由匈牙利算法計算出一個包含信道分配信息的布爾矩陣Y，根據矩陣Y 便可為每個D2D 用戶分配合適的信道。具體信道分配過程如算法3 所示。

算法3基于匹配理論的信道分配算法

3.4 復雜度分析

本文所提出的能效優化算法由3 個部分組成，分別是基于Dinkelbach 方法和拉格朗日乘子法的功率控制算法、基于Q 學習的中繼選擇算法和基于匹配理論的信道分配算法。在假設D2D 用戶獲得確定輔助的中繼以及復用的信道情況下，得出單一D2D 用戶能效最大時的功率分配解。之后，基于功率分配的解，在假設復用信道確定的條件下，利用Q 學習計算D2D 用戶在復用任意一條信道時的最佳中繼?；诠β士刂坪椭欣^選擇，計算D2D 用戶復用每條可用信道時的能效矩陣，利用匈牙利算法得到信道分配解。雖然本文提出的能效算法復雜度較高，但是能在理論上獲得系統總D2D 用戶的最大能效值。

本文所提能效優化算法的復雜度取決于功率控制、中繼選擇和信道分配算法?；贒inkelbach方法和拉格朗日乘子法的功率控制算法復雜度為O(IouterIinner)，考慮N 個D2D 用戶對，K 個蜂窩用戶以及每個D2D 用戶對可復用的最大中繼數L，則功率控制算法的復雜度為O(MNRIouterIinner)?；赒 學習的中繼選擇算法的復雜度取決于Q 學習中狀態集合數|St|和動作集合數|At|，所以中繼選擇算法的復雜度為O(|St||At|)?；谄ヅ淅碚摰男诺婪峙渌惴◤碗s度為O(K3)，其中K 為蜂窩用戶數。綜上所述，本文提出的聯合功率控制、中繼選擇和信道分配的能效優化算法的復雜度為O(MNRIouterIinner+|St||At|+K3)。

4 仿真結果及分析

本文使用Matlab 仿真工具對算法進行仿真，重復執行1 000 次蒙特卡洛實驗，然后對結果取平均值。每一次算法執行過程中，中繼、蜂窩用戶和D2D 用戶均隨機分布在系統中。假設系統內D2D與蜂窩鏈路的陰影衰落均服從均值為0、標準差分別為12 dB 與10 dB 的對數正態分布，其余主要仿真參數如表1 所示。

表1 實驗仿真參數

仿真中，將本文所提算法與文獻[13]的BEEPER 算法、隨機中繼選擇算法和隨機信道分配算法進行對比。其中，文獻[13]的BEEPER 算法分別優化D2D 中繼通信的第一跳和第二跳鏈路的能效，然后再完成中繼選擇，但是并沒有考慮信道的分配，所以，為了全面評價本文所提算法，與BEEPER 算法進行對比時，在BEEPER 算法中加入了本文提出的信道分配算法。隨機中繼選擇算法是本文所提功率控制和信道分配算法的結合，而每個D2D 用戶的輔助中繼是從備選中繼區域中隨機選擇的。隨機信道分配算法是本文所提功率控制和中繼選擇算法的結合，而信道的分配是隨機的。

圖3 是在N=K=10、L=50 和Dmax=100 的條件下，系統D2D 用戶總能效的累計分布函數曲線。由圖3 可知，本文所提算法最大可達能效大于其余3 種算法，且比BEEPER 算法約高2%，比隨機中繼選擇算法高13%，比隨機信道分配算法高41%。本文所提算法優于BEEPER 算法的原因是本文算法直接對D2D 發射端到接收端的能效優化問題進行求解，而BEEPER 算法通過分別最大化D2D 通信第一跳和第二跳鏈路的能效來解決問題。本文所提算法優于隨機中繼選擇算法和隨機信道分配的原因是前者考慮從功率、中繼和信道3 個方面優化系統中D2D 用戶的總能效，而后兩者僅是從功率和中繼或者功率和信道2 個方面去優化能效。

圖3 D2D 用戶總能效的累計分布函數曲線

當L=50 和Dmax=100 時，系統總D2D 用戶對能效隨D2D 用戶對數目變化的曲線如圖4 所示。隨著D2D 用戶數目的增加，4 種算法的D2D 鏈路總能效都呈現了遞增的趨勢。在D2D 用戶數相同的情況下，本文所提算法的性能明顯優于其他3 種優化算法。這是因為本文所提算法聯合考慮從功率控制、中繼選擇和信道分配3 個方面優化系統中D2D 用戶的總能效，并且在解決功率控制問題時，在假設的條件下，直接求解出D2D 發射端到接收端的最大能效。當N=K=15 時，本文所提算法的能效值比BEEPER 算法約高2%，比隨機中繼選擇算法高13%，比隨機信道分配算法高41%。

圖4 D2D 用戶總能效隨D2D 用戶數變化曲線

圖5 是當N=K=10 和L=50 時，系統總D2D 用戶對能效隨D2D 發射端與接收端最大傳輸距離Dmax變化的曲線。從圖5 中可以看出，隨著Dmax的增大，總能效呈遞減的趨勢。這是因為當Dmax增大時，D2D 發射端和中繼需要增加發射功率以保證傳輸質量，從而降低了能效。但是從整體上來說，本文所提算法優于其余3 種對比算法。當Dmax=50 時，本文算法的能效值比BEEPER 算法約高1%，比隨機中繼選擇算法高13%，比隨機信道分配算法高41%。

圖5 D2D 用戶總能效隨Dmax變化曲線

圖6 給出了當K=N=10 和Dmax=100 時，D2D用戶總能效隨著中繼數L 變化的曲線。隨著L 的增加，本文所提算法、BEEPER 算法和隨機信道分配算法的曲線呈現遞增的趨勢，而隨機中繼選擇算法的曲線平緩，沒有太大的波動。這是因為隨著中繼數目增加，加入了中繼選擇過程的本文所提算法、BEEPER 算法和隨機信道分配算法會選擇更合適的中繼進行通信，而隨機中繼選擇算法在選擇中繼時是隨機的，所以關于系統D2D 用戶總能效的曲線沒有太大波動。當L=150 時，本文所提算法的能效值高于BEEPER 算法2%，高于隨機中繼選擇算法26%，高于隨機信道分配算法34%。

圖6 D2D 用戶總能效隨中繼數變化曲線

圖3～圖6 的仿真中D2D 用戶數和蜂窩用戶數是相等的，也就是說，D2D 用戶數與可復用信道數是一致的，而圖7 給出了D2D 用戶數與信道數不一致的情況下，每種算法的能效曲線。在圖7 中，仿真參數分別為K=10、L=50 和Dmax=100。隨著N增加，本文所提算法、BEEPER 算法和隨機中繼選擇算法的曲線呈現遞增并趨于平緩的趨勢，而隨機信道分配算法曲線平緩，沒有太大的波動。因為信道資源的增加，加入了信道分配過程的3 種算法會被分配到更合適的信道進行通信，而隨機信道分配算法在信道分配時是隨機的，所以能效曲線沒有太大波動。當N=20 時，本文所提算法的能效值高于BEEPER 算法2%，高于隨機中繼選擇算法10%，高于隨機信道分配算法49%。

圖7 D2D 用戶總能效隨蜂窩用戶數變化曲線

5 結束語

為了提高D2D 中繼通信系統中D2D 用戶的能效，本文提出了一種聯合功率控制、中繼選擇和信道分配的能效優化算法。首先，在保證D2D 用戶和蜂窩用戶的QoS 條件下，建模能效優化問題。其次，使用Dinkelbach 方法與拉格朗日乘子法，求解能效的最優值。再次，根據功率控制得到的能效值，通過Q 學習算法選擇合適的中繼。最后，基于D2D用戶集合與蜂窩用戶集合構建二分圖，設置集合間邊的權重值為能效值，利用匈牙利算法完成信道分配。仿真結果表明，本文所提算法有效地提高了系統D2D 用戶的總能效。