面向不確定CSI隨機接入網絡的深度穩健資源分配

吳偉華，柴冠華，楊清海，劉潤滋

（1.西安電子科技大學通信工程學院，陜西 西安 710071；2.西安建筑科技大學信息與控制工程學院，陜西 西安 710055）

1 引言

本文研究了隨機接入網絡中的資源分配問題，它是長期演進未授權頻譜網絡（LTE-U,long term evolution-unlicensed）[1]、車聯網（IoV,Internet of vehicle）[2]和物聯網（IoT,Internet of things）[3]等研究熱點的關鍵技術。在隨機接入機制下，同一感知范圍內的節點可以通過競爭協議共享頻譜，如載波偵聽多址接入（CSMA,carrier sense multiple access）技術。對于那些位于載波偵聽外、干擾范圍內的設備，需要精心設計功率控制方案，以確保相互干擾在偵聽的閾值以下。

在隨機接入無線網絡中，衰落信道的狀態信息稱為傳輸鏈路的信道狀態信息（CSI,channel state information），包括通信CSI（C-CSI,communication-CSI）和不同感知范圍內鏈路之間的干擾信道狀態信息（I-CSI,interference-CSI）。盡管先前工作[4-5]都提出了一些隨機接入無線網絡的資源分配方案，然而它們考慮的都是瞬時系統的性能。由于無線網絡的信道狀態信息都是隨機變化的，因此在設計資源分配時應在滿足平均開銷約束的前提下最大化系統的平均性能。然而，優化系統的平均性能會給功率控制帶來很大的困難。這是因為所有無線網絡中的功率控制都可以看作關于網絡狀態的函數。在考慮系統的平均性能時，功率控制變成了關于衰落信道狀態稠密集的函數，這導致功率控制具有很高的維數。無線網絡中的非線性收發電路和多小區間的相互干擾通常會導致一個非凸的資源管理問題。然而，在大多數情況下，非凸優化問題沒有閉式解，需要通過注水（water-filling）[6]算法或加權最小均方誤差（WMMSE,weighted minimum mean square error）[7]等迭代算法獲得次優解。在這些方案中，需要多次迭代實現算法收斂，這勢必會導致一個較大的時延。考慮到深度神經網絡（DNN，deep neural network）可以用于處理大規模、高維度和高復雜度問題的特性，它被廣泛應用于解決通信網絡中的資源分配問題。文獻[8]提出了一種監督學習的方法，用于近似基于WMMSE 算法的資源分配策略。但需要指出的是，基于監督學習的資源管理策略所獲得的網絡性能不會超過WMMSE 算法。除此之外，文獻[9]引入了非監督學習方法直接訓練深度神經網絡獲得最優的網絡性能。通過在DNN 的損失函數中添加違反約束的懲罰項，可以將約束優化問題轉化為無約束的DNN 訓練問題，從而保證利用DNN獲得的結果是可行的。然而，懲罰因子屬于神經網絡中的超參數，確定懲罰因子需要消耗大量的計算資源。

由于“學習優化”方法可以用DNN 來代替傳統的優化算法，因此它已經被應用到許多網絡資源管理的場景[10-11]。文獻[12]表明“學習優化”方法的計算時間復雜度遠小于傳統算法。通過使用無監督的學習策略，“學習優化”方法可以避免訓練大量的標簽數據[13-15]。基于“學習優化”框架，本文將隨機接入無線網絡中的功率控制問題看作一個學習問題。通過無監督訓練，得到一個能夠近似最優功率控制函數的DNN 架構。

考慮到信道估計和量化的誤差、信道反饋的時延和其他限制因素，獲得的C-CSI 和I-CSI 通常都是不確定的[16]。根據這些不確定的CSI，DNN 得到的功率控制方案會造成網絡性能的下降。文獻[17-18]表明，不確定CSI 下的功率控制將導致傳輸速率的劇烈波動。更重要的是，它可能對其他鏈路造成超過預先設定閾值的干擾，從而導致網絡中斷。因此，有必要設計一個穩健的DNN 架構，能夠在CSI 不確定情況下進行穩定的傳輸。

基于以上考慮，本文提出了一個面向不確定CSI 隨機接入網絡的深度穩健資源分配框架。所提框架采用無監督學習策略，將無線網絡的優化目標視為一個學習問題。首先，為了解決不確定的CSI問題，利用穩健優化技術將優化問題轉化為一個穩健問題。隨后，提出了一個由2 個神經網絡單元構成的級聯DNN 架構：一個是不確定CSI 處理單元，另一個是功率控制單元。不確定的CSI 首先輸入不確定的處理單元中，以獲得可行的CSI 值。然后，功率控制單元根據處理后的CSI 值得到最優功率控制方案。最后，提出了一種交替迭代訓練算法來聯合訓練不確定CSI 處理單元和功率控制單元。

2 系統模型

在本文考慮的場景中，多個無線鏈路共用同一頻譜資源，這些鏈路通過使用CSMA 協議訪問頻譜。為了確定傳輸機會和避免碰撞，在數據傳輸之前，鏈路需要感知信道狀態。如圖1 所示，本文將鏈路n的載波感知范圍內的鏈路集表示為Cn，將載波感知范圍外、干擾范圍內的鏈路集表示為In。用h=[h1,h2,…,hN]T∈Η表示通信鏈路C-CSI。此外，h的概率分布可以用m(h) 表示。I-CSI 表示為g=[g1,g2,…,gN]，其中g的概率分布可以用m(g)表示。一般來說，鏈路的資源分配可以看作C-CSI 和I-CSI 的函數，即p(x)∈P，其中x=(h,g)。在飽和流量的假設下，可以認為在相同CSMA范圍內的鏈路之間的接入機會是均等的[19-20]。因此鏈路n的傳輸機會可以通過計算，即接入時間平均分配給個鏈路。

因此，鏈路n的吞吐量可以表示為

其中，a表示信道傳輸效率，B和N0分別表示帶寬和高斯白噪聲的功率密度。

在隨機接入無線網絡中，假如鏈路n受到來自In的干擾小于預先定義的閾值就可以接入信道，即

其中，Qn表示干擾閾值。

本文的目標是找到使系統遍歷吞吐量最大化的資源分配函數p(x) 。這個問題可以表示為

求解該優化問題有許多困難。首先，優化變量p(x)是一個函數，這表明式(3)屬于高計算復雜度的函數優化問題。如果無線信道有d個離散值，則需要計算個資源分配變量。其次，信道分布函數m(h) 和m(g)都是未知的。最后，C-CSI 和I-CSI都不可避免地具有誤差，這將影響系統性能并導致干擾超過預定義的閾值。

3 基于橢圓不確定集的穩健優化

在實際的無線網絡中，由于回程鏈路容量有限或信道估計的誤差，參數h和g是不確定的。因此，本文假設C-CSI 和I-CSI 中的部分狀態信息可用。根據文獻[21]可知，不確定C-CSI 和I-CSI 雖然沒有統計規律，但卻是有界的。本文利用橢圓集來描述不確定CSI 的范圍，然后提出穩健優化方法來解決不確定CSI 的問題。

3.1 信道的不確定性

鏈路n上的I-CSI 可以建模成估計CSI 和一個加性誤差之和

其中，gn、和Δgn分別是確定值、估計值和誤差值向量。為了對I-CSI 的誤差進行建模，并表示不同不確定信道的相關性，誤差范圍被建模成如下橢圓集

其中，Mn∈RK×K表示加權矩陣，R表示實數集，表示一般范數，nη表示不確定范圍的誤差界。在實際的無線網絡中，有多種測量η的方法。例如，可以通過計算信道模擬器生成的信道增益估計值與真實值之間的差來測量。此外，還可以根據信道誤差的特定分布來計算η。

同理，C-CSI 表示為

其中，h、和Δh分別是確定值、估計值和信道誤差。因此C-CSI 的誤差范圍可以建模為

其中，K∈RK×K是一個可逆的加權矩陣。確定δ使用和式(5)相同的方法。

為了優化最壞情況，同時考慮所有不確定的參數，穩健最大化問題可以表示為

不難看出，若無線信道都是確定的，式(8)將簡化為式(3)。由于干擾約束的無限性，式(8)屬于半無限規劃問題，這類問題很難處理。此外，內層關于h的吞吐量的極小化是一個凹極小化問題，一般是NP 難問題。

3.2 不確定的I-CSI 的等效最壞情況

為了保證所有g滿足干擾約束，需要

將式(11)結果代入式(8)，獲得轉換后的優化問題為

然而，內層關于h的吞吐量的極小化仍然是一個凹極小化問題，這使函數優化變量p(x) 仍然難以求解。

3.3 基于DNN 的學習

為了克服函數變量優化的困難，可以使用深度學習框架。利用參數化的方法來近似資源分配函數，即

定理1假設是定義在稠密集的連續函數。對于由sigmoid函數構成的DNN存在ε≥0 使

定理1 的證明可以參考文獻[22]。定理1 表明，對于給定的集合X，存在一個參數為θ的DNN，它能夠在任意小的誤差范圍內近似任意連續函數p(x)。因此，可以用精心設計的來表征未知的資源分配函數p(x) 。

接下來，本文通過構造DNN 來有效地解決資源分配問題。DNN 由若干層組成，每一層由一個線性操作和一個激活函數組成。特別地，對于一個L層的DNN，記為l={1,…,L}，第l層的維數為ql。對于第l層，首先由構成線性運算，然后通過激活函數進行非線性運算。如果第l層輸入為，則第l層的輸出為。DNN 輸出wL與第一層輸入w0相關。為了滿足隱藏的約束p(x)∈P，將輸出層的激活函數σL定義為凸集P上的投影運算。激活函數σ和DNN 的層數是通過仿真確定的超參數。DNN 的線性權重矩陣Wl和偏置bl通過學習獲得。因此，對于式(12)中的資源分配問題，可以用一個L層來學習，即

其中，θ={Wl,bl：?l=1,…,L}。

3.4 級聯DNN 架構

在式(12)中，優化變量p(x) 和h相互耦合。由于內層是一個凹極小化問題，無法得到關于h的閉式解，但是其最優解可以看作網絡狀態的函數，即。為了使2 個最優變量解耦，本文提出一個交替迭代算法來求解式(12)。在這個方法中，首先根據可行的，也就是式(12)的外層最大化問題。然后，基于前一次迭代得到的資源分配解，求得最優，也就是式(12)的內層極小化。基于這個交替迭代過程，本文提出了2 個級聯神經網絡架構，如圖2 所示。第一個架構用于處理估計的信道狀態信息，第二個架構用于資源分配。接下來，詳細討論這2 個神經網絡。

圖2 級聯神經網絡的結構

3.4.1 解決內層最小化問題

其中，w∈Rq為該DNN 的參數。然后，求解內層關于參數w的最小化問題。由Jensen 不等式可知

求解式(17)中的優化問題需要學習參數w，因此引入與約束相關的非負乘子μ。拉格朗日方程可以表示為

對偶函數定義為

對偶問題寫為

定理2假設存在一個嚴格可行點h，它滿足式(17)中嚴格不等式的約束條件。若概率分布中沒有正的概率點，則對偶間隙為0，即

由定理2 可知，式(17)的對偶間隙為0。然后，本文提出一種原始-對偶優化方法來訓練神經網絡。μt的更新可通過投影次梯度法計算，即

在給定μt下，原式(18)是一個凹極小化問題，一般是NP 難問題。然而，基于DL 技術，可以通過DNN 的訓練來近似其最優值。DNN 對應的損失函數為

然后，通過式(21)和式(22)，利用基于原始-對偶的訓練算法，聯合優化DNN 參數和對偶變量μ。

3.4.2 處理外層最大化問題

在第一個神經網絡之后，將可行的C-CSI 的x輸入第二個參數為?∈Rq的資源分配神經網絡中，即

則外部最大化問題可以表示為

引入與約束相關的非負乘子λ，式(24)的拉格朗日函數由目標均值和加權約束組成，表示為

對偶函數定義為

同時對偶問題為

因此，拉格朗日乘子可以通過投影次梯度法來計算

同時，第二個神經網絡的損失函數為

在式(28)和式(29)中，通過min-batch 樣本集合X上的樣本均值來近似平均系統性能和平均約束。接下來，給出基于交替迭代的訓練算法，如算法1所示。在該算法中，Ptotal和Pav分別是多時隙的總發射功率和平均發射功率。

算法1交替迭代訓練算法

repeat：令t=t+1 ；

1) 內層最小化

repeat：

令t1=t1+1 ；

until 收斂

2) 外層最大化

局部初始化：t2=0,

repeat：

令t2=t2+1；取樣一個batchS∈X；

until 收斂

until 收斂

4 仿真結果

在仿真過程中，假設6 個CSMA 網絡共用同一頻譜，并且不同CSMA 網絡中鏈路之間的干擾關系如圖3 所示。在圖3 中，每個三角代表一個CSMA 網絡，三角之間的連線表示2 個不同的CSMA 網絡存在相互干擾。

圖3 不同CSMA 網絡之間的干擾關系

為了方便起見，用Q=Qn,?n表示所有鏈路的干擾閾值。用η=ηn,?n和δ=δn,?n表示所有參數不確定范圍的標準化誤差界。在仿真過程中，。其中，δ=0.2，η=0.2。未授權頻譜上的路徑損耗可以建模為PL(d)=-15.3 -50lg (d[m])[24]。需要注意的是，CSMA 網絡采用時分多址接入（TDMA,time division multiple access）方式工作，假設網絡在飽和狀態下工作，所以每一個CSMA 網絡（三角形）有且僅有一條鏈路處于傳輸狀態。因此，在每一時刻t，需要統計的信息包括6 個CSMS 網絡的C-CSI（6 個三角形）和對應的14 個I-CSI（7 條連線）。不確定性處理單元神經網絡的輸入為C-CSI，輸出為準確的C-CSI，設置了2 個隱藏層，輸入層、隱藏層、輸出層的神經元個數分別為6、12 和6。資源分配單元的輸入為準確C-CSI 和I-CSI，輸出為CSMA 網絡的發射功率，設置了3 個隱藏層，輸入層、隱藏層和輸出層的神經元個數分別為20、40 和6。此外，DNN采用sigmoid 激活函數，權重的初始化采用標準正態分布。兩個DNN 單元都屬于全連接神經網絡。通信網絡參數設置如表1 所示。

表1 通信網絡參數設置

為了確保輸出值在一定的范圍內，最后一層隱藏層的輸出被輸入sigmoid 函數中進行縮放。在仿真中，本文假設P的范圍為[0,10]。為了減少信道增益的最大值和最小值之間的巨大差異，輸入數據采用了歸一化技術[11]。在原變量和對偶變量的更新中，采用min-batch 梯度下降的方法，min-batch 大小設置為10。從總樣本集（通過信道建模隨機生成）中選取min-batch 大小的數據作為一次訓練的樣本。DNN 的學習率為0.001。此外，訓練集由10 000 個樣本組成，并在5 000 個樣本的測試集上測試訓練DNN 的性能。訓練和測試都在Pyhton 3.6 和tensorflow 1.4.0 上執行。

第一個仿真研究了不確定的C-CSI 對系統吞吐量性能的影響。本文比較了穩健策略和非穩健策略。圖4(a)描繪了訓練過程中的系統吞吐量性能，圖4(b)給出了基于測試信道集的系統吞吐量的概率密度函數（PDF,probability density function）。由圖4(a)可知，經過10 000 次訓練之后，穩健算法可以收斂。此外，由于C-CSI 值的估計誤差，非穩健策略下的瞬時吞吐量波動較大。與非穩健策略相比，穩健策略的吞吐量較小。從圖4(a)觀察到，穩健策略對應的吞吐量較穩定。通過圖4(b)可以說明，在穩健策略下，系統吞吐量的PDF 成為一個尖銳的脈沖。這是因為穩健策略有一個不確定處理單元，它可以在不確定的C-CSI 范圍內最小化系統吞吐量的波動。

圖4 不確定的C-CSI 對吞吐量的影響

圖5 不確定的I-CSI 對干擾約束的影響

圖6 說明了不同策略下的網絡吞吐量與干擾閾值Q的關系。在圖6 中，理想非穩健策略將輸入CSI 視為準確CSI，因此可以將其獲得的吞吐量視為理論上界。圖6 中不同策略下的吞吐量隨著干擾門限Q的增加而增加，這是由于干擾門限隨著發射功率增加，導致系統的吞吐量上升。圖6 還表明，穩健策略下的吞吐量小于上限。這是因為穩健策略中部分功率用于滿足干擾約束。此外，與非穩健策略下的有效吞吐量相比，穩健策略的吞吐量顯著提高。這表明了穩健操作的必要性。

圖6 不同的策略的系統吞吐量與干擾閾值的關系

圖7 比較了穩健策略和非穩健策略的性能。結果表明，隨著δ的增大，穩健策略的吞吐量有所降低。此外，當δ較小時，穩健策略比非穩健策略更有效；當δ較大時，這種優勢更明顯。這是因為在任何情況下，穩健策略都能滿足干擾約束。此外，隨著δ的增加，穩健策略下的吞吐量急劇下降，而非穩健策略下的吞吐量幾乎保持不變。這是因為穩健策略有一個不確定處理單元，它以犧牲部分吞吐量為代價穩定系統的傳輸。雖然非穩健策略下的吞吐量保持不變，但波動很大，如圖4 所示。

圖7 穩健和非穩健策略下的系統吞吐量與所有CSI 不確定的關系

5 結束語

本文研究了面向不確定的CSI 隨機接入網絡中基于學習的資源分配問題。根據不確定的CSI模型，給出了一種不確定處理策略，并提出了一個由不確定CSI 處理單元和功率控制單元構成的級聯DNN 架構。隨后，提出了交替迭代訓練算法，用于聯合訓練不確定處理單元和功率控制單元。最后，仿真結果揭示了不確定CSI模型下DNN的性能。