基于毫米波雷達感知的CNN-ConvLSTM多時刻阻塞預測方法

羅文宇，鐘云開，邵 霞，段臣續

（華北水利水電大學電子工程學院，河南鄭州 450046）

0 引言

為了滿足未來無線通信日益增長的高數據速率、低延遲和高可靠性的需求，更高的頻段在各種移動通信場景中被廣泛使用，其中毫米波［1］和亞太赫茲是滿足用戶高數據速率需求的突出方向。然而，高頻段的傳輸特性導致毫米波/亞太赫茲通信系統十分依賴視距（Line of Sight,LOS）鏈路以保證足夠的信號接收功率，同時其高穿透損耗使通信系統對阻塞非常敏感，一旦鏈路被移動的物體阻塞，可能會導致系統性能突然下降甚至鏈路中斷，極大影響網絡的可靠性和延遲。這激發了國內外學者對克服高頻無線通信系統阻塞問題方法的廣泛討論和研究。對于LOS 鏈路而言，是否發生阻塞取決于通信終端和可能造成阻塞的移動物體的位置、高度、大小等。因此，感知無線環境中的有用信息并在鏈路阻塞發生之前主動實現預測，能夠使通信系統做出積極主動的決策。在文獻［2］中，毫米波基站獲取用戶的位置信息進行波束選擇，在阻塞發生之前，利用波束序列的循環神經網絡對未來的阻塞情況實現靜態預測，主動切換到另一個基站或者波束。文獻［3］與低于6 GHz的電磁波通道結合，實現毫米波的動態阻塞預測。在有緩慢移動的接收器和障礙物的環境中，文獻［4］使用相鄰路徑來預測未來毫米波通信鏈路的阻塞情況。

近年來，關于計算機視覺輔助無線通信預測阻塞的研究備受關注，文獻［5］和文獻［6］采用了攝像機附加傳感器信息的深度卷積模型進行LOS鏈路阻塞預測。文獻［7］提出一種利用雙峰機器學習實現阻塞預測和用戶切換的視覺輔助無線通信解決方法。雖然視覺感知方法的相機部署方便，但在感知的過程中會涉及用戶的隱私問題，同時光線不足或者過強以及惡劣天氣的情況會嚴重影響相機感知數據的可信度。文獻［8］利用模擬數據和深度學習對室內障礙物限速情況下的毫米波阻塞進行了預測，研究場景和目標均具有一定的局限性。針對固定基站和用戶場景，文獻［9］提出了一種多元學習框架和循環神經網絡，利用瑞利衰落信道模型預測毫米波鏈路阻塞。文獻［10］提出激光雷達作為另一種用途十分廣泛的感知方式，主要適用距離阻塞物體較近的移動場景，同時成本過高會使激光雷達難以大規模部署實際場景。因此，本文采用毫米波雷達感知無線環境信息的方式，在保護用戶隱私的基礎上具有較低成本、方便部署、高精度低延遲感知等優勢。

現階段對毫米波雷達感知移動通信場景中的阻塞預測研究主要基于神經網絡對未來某單一時刻的阻塞情況進行預測。文獻［11］基于長短期記憶網絡（Long Short-Term Memory,LSTM）實現雷達輔助毫米波無線通信系統的單一時刻阻塞預測，盡管這種預測方法準確率較高，但無法反映LOS鏈路在未來一段時間內的總體情況，難以適應復雜多變的無線環境。如果通過模型的堆疊實現多時刻阻塞預測，會大量增加訓練時間，使得文獻［12］實際移動通信場景中可能針對每一時刻的阻塞情況發生頻繁的波束切換，增加波束開銷。在文獻［13］中，通過感知阻塞前發生的數據速率波動表示潛在的堵塞。然而，這種方法可實現的平均預測時間是相當有限的，最高可預測90 ms 內的阻塞情況，沒有足夠的時間實現波束切換以對抗阻塞帶來的鏈路中斷。因此本文提出能夠利用連續幀雷達熱圖之間時空關系預測多時刻阻塞情況的解決方法。為了評估該方法的性能，采用文獻［14］中的DeepSense 數據集，使用毫米波和雷達共存的數據對網絡進行大量訓練。實驗結果表明，我們提出的解決方法不僅能對下一時刻的阻塞情況實現精準預測，也能實現預測未來多個時刻內的阻塞情況。這些結果為復雜動態環境下高頻段通信的高可靠、低時延QoS保障方面貢獻了一個很有前途的解決方法。

1 系統模型

本文提出一種毫米波雷達感知無線環境信息預測多時刻阻塞的系統模型。在實際通信中，該模型的通信效果易受高速移動物體（如:客車、轎車等）阻塞造成鏈路中斷進而受到影響，具有研究的典型性。如圖1所示，將放置有毫米波雷達的基站和用戶分別位于道路的兩側，道路中的移動車輛會隨時對LOS 鏈路發生阻塞，毫米波雷達發射的啁啾信號與移動車輛的反射信號發生混頻形成中頻信號，中頻信號經過預處理后生成連續多幀的雷達熱圖，用于輸入CNN-ConvLSTM 混合網絡模型實現多時刻阻塞預測。

圖1 毫米波雷達感知多時刻阻塞預測方法系統模型

1.1 毫米波雷達感知模型

毫米波雷達發射的是一種頻率隨時間線性增加的正弦信號，又稱啁啾信號，該信號的發射信號如式（1）所示:

式中fc為初始頻率，ATx為發射增益，ψc為初始相位，B為啁啾信號帶寬，T為一個啁啾信號的持續時間。STxchirp(t)由毫米波雷達的發射天線射出，在無線環境中傳播，遇到移動車輛后發生反射，反射信號如式（2）所示:

式中ARx為反射信號的增益，ψr為反射信號的初始相位，fr為反射信號的初始頻率。發射信號和反射信號進行混合得到中頻信號，中頻信號如式（3）所示:

1.2 通信與阻塞模型

在該系統模型中，我們采用毫米波收發器和M根天線的基站，并采用窄帶信道模型實現基站與單天線用戶之間的通信。

式中hLOS和hNLOS為由視距和非視距鏈路引起的信道系數。在下行鏈路中，毫米波基站利用波束形成向量f∈CM傳輸給用戶。在此模型下，用戶接收到的信號可以表示為

因此，有效信道表示為

阻塞模型采用合并信道衰落模型表示t時刻的信道增益。我們定義t時刻的阻塞b(t)∈｛0,1｝，當b(t)=1 時表示LOS 鏈路被阻塞。反之b(t)=0時，鏈路沒有發生阻塞。

2 毫米波雷達感知多時刻阻塞預測方法

2.1 基于卷積神經網絡的特征提取方法

卷積神經網絡作為深度學習的代表算法之一，是一類具有深度結構的前饋神經網絡。其內部的卷積層和池化層是實現卷積神經網絡提取圖像特征的核心架構。輸入雷達熱圖進入網絡中并與濾波器進行卷積，提取圖像的局部特征，神經元的輸入與局部感受野連接，對提取的特征進行二次提取求局部平均形成特征映射層，多個特征映射層構成卷積神經網絡。在卷積層和池化層之間加入批次標準化（Batch Normalization,BN）和層標準化（Layer Normalization,LN）對雷達熱圖特征本身和序列進行歸一化處理，避免訓練過程中出現梯度爆炸或梯度消失的問題。將數據保持在均值為零、方差為1 的狀態下，加快數據訓練的收斂速度，防止過擬合，如圖2所示。

圖2 卷積神經網絡內部工作原理

該網絡模型采用梯度下降法使損失函數Sigmoid 最小化，對網絡中的權重參數逐層反向更新，層中的神經元實現權重同步共享，通過頻繁的迭代訓練提高網絡模型的精度，有效地提取雷達熱圖的重要特征。

CNN-A 模型輸入每張雷達熱圖的尺寸為（256,256,3），卷積層中的卷積核大小為（3,3），激活函數為Relu，網絡結構如表1所示。

表1 CNN-A網絡結構

為了能夠充分提取圖像中的重要特征，定義一個網絡深度更深，卷積核大小為（7,7），并對輸入通道進行分組的CNN-B模型，如表2所示。

表2 CNN-B網絡結構

在時間分布層將兩個卷積神經網絡模型結合并實現跳躍連接。輸出的雷達熱圖特征輸入到神經元個數128，卷積核大小為（3,3），激活函數為Relu 的ConvLSTM 模型中。整合后的模型采用Binary-Crossentropy 作為損失函數，Adam 函數優化，學習率設置為0.000 5。

在訓練過程中為了提高深度神經網絡性能，防止網絡模型深度過大引發的收斂速度慢、梯度消失或梯度爆炸等問題，模型采用了跳躍連接的優化方法，該方法能夠通過神經網絡層傳播線性分量，緩解非線性的優化困難問題，實現輸入和輸出之間的合理調節機制，完成模型的優化。

2.2 基于ConvLSTM 的時空信息處理方法

ConvLSTM 是LSTM 的變形結構，該網絡結構不僅能處理和LSTM 相同的時序建模問題，還具有CNN 刻畫局部特征的能力，時空特性兼備。將CNN 與其相連，能夠深刻獲取毫米波雷達熱圖的特征信息，捕獲特征信息之間的時空關系，處理連續幀雷達熱圖的輸入問題。

在網絡結構內部計算中，LSTM 中門與門之間的連接計算原理是矩陣對應元素相乘。因其網絡內部的計算流程與前饋式神經網絡類似，所以LSTM 能夠有效地處理時間序列問題，在預測未來單一時刻的阻塞情況中有較好的效果。但對于具有豐富性和很強局部特征的空間數據，LSTM 無法刻畫空間數據的局部特征。因此本文采用Conv-LSTM 來解決此問題，如圖3所示，該網絡能夠從多維度對輸入特征進行處理，實現連續幀毫米波雷達熱圖的多時刻阻塞預測。

圖3 ConvLSTM的內部結構（c是通道數（R,G,B）,h是圖像高度，w是圖像寬度）

LSTM 無法有效處理時空數據的主要原因是輸入到狀態和狀態到狀態的轉換中使用了完全連接，其中沒有編碼空間信息，而ConvLSTM 中的輸入與各個門之間的連接由前饋式替換成了卷積，同時狀態與狀態之間也換成了卷積運算，其中Wxi,Whi,Wci是矩陣權重向量，bi是偏移向量，σ為Sigmoid函數，X1…Xt為輸入，C1…Ct為輸出，H1…Ht為隱藏狀態，it，ft，ot是最后兩個維度為空間維度（行和列）的三維張量，“*”代表卷積運算。具體計算公式如下:

2.3 基于CNN-ConvLSTM 多時刻阻塞預測方法

本文提出一種基于毫米波雷達感知的CNNConvLSTM 相結合的多時刻阻塞預測方法。該方法首先利用毫米波雷達對移動通信場景中的目標進行測量，構建包含距離、角度、速度信息的雷達立方體用于檢測可能發生阻塞的移動目標。為了從雷達測量數據R（t）中提取距離、角度、速度信息，分別從時間樣本、啁啾樣本和天線樣本方向上應用距離、多普勒、角度傅里葉變換獲得經過預處理后的雷達立方體。在雷達立方體中每個啁啾樣本的二維矩陣包含距離-角度映射，通過對不同的啁啾樣本求和減少距離-角度映射數量，得到的不同時間樣本的距離-角度圖可用于神經網絡處理。

獲得連續幀的雷達熱圖后，經過CNN 進行特征提取，在不改變特征維度的前提下按時間順序將提取到的重要特征存儲在時間分布層中，如圖4所示。該結構可以實現網絡模型從二維到三維的過渡。CNN 提取的雷達熱圖特征以連續八幀為一組封裝在時間分布層中，并將這些封裝好的特征作為ConvLSTM 的輸入完成多時刻阻塞情況預測，建立雷達熱圖特征之間的時空關系，解決CNN 每次提取多張熱圖可能存在的特征丟失的問題，實現兩種網絡結構的完美連接。

圖4 時間分布層工作原理

將全部雷達熱圖特征存儲在時間分布層后，以連續八幀雷達熱圖特征為一組輸入到具有處理時空特征的ConvLSTM 結構中實現多時刻阻塞預測，同時運用跳躍連接的方法對網絡模型進行優化。解決毫米波雷達輔助無線通信中對未來某段時間區域內的高精度阻塞預測問題。方法流程如圖5所示。

圖5 多時刻阻塞預測方法流程圖

3 仿真與實驗結果

3.1 數據集

本文采用DeepSense 6G 網站中場景30的數據集［14］，該數據集的應用場景與本文提出的系統模型高度吻合。毫米波基站和雷達被放置在人行道上并指向發射機，發射機放置在道路的另一邊，當公共汽車、出租車、自行車、行人等移動目標通過LOS 路徑時，傳輸被阻斷。為了判斷阻塞狀態，首先確定最大接收功率電平的閾值，功率水平低于該閾值的樣本被認定為阻塞。

樣本中x1～x8下的每一個索引對應一個毫米波雷達原始測量數據，也對應每一個測量數據經過預處理后得到的距離-角度圖，blockage1-blockage10 下的索引表示未來該時刻的阻塞情況，0 表示沒有阻塞，1表示發生阻塞，如表3所示。

表3 數據集部分數據

該數據集包含14 624 個原始數據，將連續八幀的雷達原始數據和未來10個時刻的阻塞情況定義為一組樣本，其中包含6 965 組訓練樣本、1 808組驗證樣本和907 組測試樣本。為了能在充分合理的評估網絡模型的前提下，盡量減少訓練的時間，該方法從中選取1 500 組樣本構建數據集，按照訓練集和測試集70%和30%的比例劃分，呈現1 050 組訓練樣本和450 組測試樣本。在訓練的過程中，通過指定未來不同長度的時間段實現多時刻預測，豐富方法解決阻塞預測問題的能力。

3.2 結果分析

為分析CNN-ConvLSTM 模型解決毫米波雷達感知多時刻阻塞預測問題的可行性，本節將對模型的訓練結果進行評估。在不改變數據集的情況下，分析該模型預測未來10 個時刻中不同長度時刻內的阻塞情況。在GPU 選擇上，在實驗中采用兩張顯存為48G、內存為180G 的A40 同步訓練，每次訓練迭代50 次，并將準確率、精確率、召回率作為評價指標全面評估模型。同時，對預測未來某單一時刻阻塞情況的準確率和F1-score 與文獻［11］中提出的LSTM 模型進行對比分析，如圖6所示。

圖6 不同時間段內阻塞情況預測結果

圖6 反映出未來10 個時刻內不同時間段的阻塞預測情況，其中每一個時刻代表雷達每幀的持續時間（T≈110 ms）實驗結果可以得到預測準確率始終保持在90%左右，召回率和精確率隨阻塞預測時刻的增加略有下降。下降原因是預測任務量增加，數據集標簽出現不平衡，導致數據集中出現大量的未阻塞樣本影響召回率和精確率的評估結果。但是對于準確率，樣本標簽的不平衡對評估結果影響較小，仍然可以達到精準預測阻塞的要求。

精準率是預測為阻塞的數據中預測正確的數據個數，召回率是真實為阻塞的數據中預測正確的數據個數，混淆矩陣如表4所示。兩種評價指標是對準確率的補充，更充分體現預測標簽的準確性。

為了有足夠的時間實現波束切換以對抗阻塞帶來的鏈路中斷，圖7 反映預測未來10 個時刻內，訓練集和測試集的阻塞預測準確率隨訓練次數的變化曲線。由圖7 可知阻塞預測的準確率隨訓練迭代次數的增加而增加，穩定后訓練集準確率接近100%，測試集準確率接近90%。從訓練結果可以體現本文所提出的模型能夠有效處理多時刻阻塞預測問題。

圖7 前10個時刻內阻塞預測準確率曲線

在實現多時刻阻塞預測的基礎上，本文希望CNN-ConvLSTM 在解決單一時刻阻塞預測問題中也同樣具有說服力的效果，因此本文對未來10 個時刻中每一個單獨時刻進行阻塞預測，并與文獻［11］中利用LSTM 預測阻塞情況的準確率和F1-score進行對比分析，如表5、表6所示。

表5 兩種模型單一時刻阻塞預測準確率

表6 兩種模型的F1-score結果對比

其中F1-score 是召回率和精確率的調和平均數，計算公式如式（14）所示:

由結果可知CNN-ConvLSTM 在預測單獨時刻的阻塞情況中仍然有超過85%的準確率和F1-score。結果分析如下:1）在準確率方面，LSTM 在預測單獨時刻的準確率較CNN-ConvLSTM 有一定的優勢，但在訓練樣本數量上，CNN-ConvLSTM 僅用原數據集中的15%進行訓練，大大降低了計算量，提高訓練速度；2）在F1-score 的評價指標方面，CNN-ConvLSTM 較LSTM 在預測各個時刻中均有提升，原數據集中不同時刻中阻塞情況的不平衡是影響F1-score的因素之一。

4 結束語

本文對基于毫米波雷達感知的多時刻阻塞預測問題進行研究。針對毫米波移動通信場景，為了深度提取毫米波雷達感知熱圖的特征和時空關系，提出了一種CNN-ConvLSTM 結合的網絡模型。通過對比分析不同時間段內的阻塞預測的準確率、精確率和召回率以及單一時刻準確率和F1-score 表明，本文提出的網絡模型在解決單一時刻和多個時刻的阻塞預測問題中，均能達到90%的預測準確率和80%以上的F1-score。實驗結果證明本文所提方案具備多時刻精確阻塞預測能力，可應用于復雜動態環境下高頻段通信的高可靠、低時延QoS 保障等方向。下一步工作著重于將所提方案與遷移學習結合，以解決不同場景中的多時刻阻塞預測問題。