基于殘差密集網絡的頻譜感知方法

蓋建新，薛憲峰，南瑞祥，吳靜誼

（哈爾濱理工大學測控技術與儀器黑龍江省高校重點實驗室，黑龍江 哈爾濱 150080）

1 引言

頻譜感知是認知無線電（CR,cognitive radio）的核心技術之一。傳統頻譜感知方法主要包括能量檢測法[1-3]、循環平穩特征檢測法[4-5]、匹配濾波檢測法[6]、特征值檢測法[7]等。這些方法主要面向高斯白噪聲（WGN,white Gaussian noise）干擾下的頻譜感知問題，頻譜感知前需先計算檢測門限。在實際無線電環境中，噪聲不一定服從高斯分布，計算出的檢測門限也是近似值，檢測門限的準確與否將直接影響頻譜感知的檢測性能。

為克服傳統頻譜感知方法不易確定檢測門限的問題，學者們提出了基于機器學習的頻譜感知方法。此類方法不需要計算檢測門限，利用訓練分類器就可完成信號識別。Awe 等[8]、Bao 等[9]和陳思吉等[10]提出了基于支持向量機（SVM,support vector machine）的頻譜感知方法，SVM 將采樣到的能量信號作為訓練集與測試集，能夠對信號與噪聲進行分類識別。但是該方法需求解特征參數并且存在感知時間長的缺點。Tang 等[11]和Vyas 等[12]分別提出基于人工神經網絡（ANN,artificial neural network）的頻譜感知方法，ANN 將信號能量與周期平穩特征作為輸入，用訓練好的ANN實現頻譜感知。與SVM 相比，ANN 通過調整權值、偏置，可提高頻譜感知的準確度。ANN 采用反向傳播算法，ANN 層數越多越容易出現梯度消失問題。卷積神經網絡（CNN,convolutional neural network）利用卷積層、池化層、全連接層等多層網絡結構，可克服二維圖像特征提取困難，便于處理圖像識別與分類任務[13]。高紅民等[13]、Yu等[14]、Maffei 等[15]和Chen 等[16]分別將CNN 應用到高光譜圖像識別領域，通過提取圖像特征，訓練高光譜分類網絡，最后將高光譜圖像輸入CNN中并取得良好的分類準確率。Liu 等[17]、Lee 等[18]和張孟伯等[19]將CNN 用于解決頻譜感知問題，CNN 的數據集由接收信號的灰度圖像組成，此類方法訓練CNN 提取圖像的特征，將在線數據輸入CNN 中進行頻譜感知。CNN 避免了計算檢測門限，省去了求解特征參數；但其對特征圖信息利用率低且提取的特征信息有限，頻譜感知的準確率有待提高。

捷徑連接最早在 Hopfield Network[20]中提出，通過在任意2 個神經元之間添加捷徑連接，使梯度能夠傳遞到其他神經元，加速信息傳遞。多層感知機也利用捷徑連接緩解梯度消失問題，訓練深層網絡[21]。密集連接的思想早期體現在神經網絡結構中，前一層的所有神經元直接和下一層的神經元相連，形成一個類似于扇形的密集結構[22]。下一層的神經元充分利用前一層的所有神經元的信息，神經元之間的密集連接有利于神經網絡的訓練。Wilamowski 等[23]在全連接層使用密集連接，通過全連接層中兩兩相連的神經元進行信息傳遞，提高了網絡分類的準確率。在傳統CNN 頻譜感知方法中加入捷徑連接，有望訓練更深的網絡，CNN 提取特征的能力隨著網絡層數的增多而增強。在傳統CNN 頻譜感知方法中加入密集連接，有望實現任意2 個卷積層特征提取信息重利用，有助于提升圖像分類和識別的準確率，有望克服傳統CNN 頻譜感知方法未能有效利用特征圖信息并且提取圖像特征能力薄弱等問題。

本文為充分利用傳統CNN 頻譜感知方法的特征圖信息，并訓練深層網絡來提高特征圖信息提取能力，在傳統CNN 頻譜感知方法中加入捷徑連接和密集連接，提出一種殘差密集網絡（ResDenNet,residual dense network）頻譜感知方法。該方法首先將接收信號分割成矩陣，對矩陣進行歸一化處理并轉為灰度圖像作為ResDenNet 的輸入；然后使用ResDenNet 中的基本密集單元提取灰度圖像的特征，進行局部特征融合，在密集單元兩端引入捷徑連接，提取任意的密集單元特征，進行特征融合；ResDenNet 訓練完成后，將在線數據輸入ResDenNet 中，完成頻譜感知。

2 感知模型

在CR 網絡中，非授權用戶檢測有無授權用戶信號可對應為二元假設檢驗問題

其中，H0表示頻譜信道空閑，即不存在授權用戶信號；H1表示頻譜信道占用，即存在授權用戶信號。n表示采樣點數，x(n)表示接收信號，s(n)表示受到瑞利信道衰落的授權用戶的發射信號，u(n)表示均值為0 且方差為σ2的高斯分布噪聲。從分類的角度可將H0和H1表示為二分類問題：H0只有噪聲，H1有授權用戶的發射信號和噪聲。本文使用檢測概率Pd和虛警概率Pfa這2 個頻譜感知性能指標來評價算法性能。其中，Pd是指授權用戶存在且被成功檢測的概率，Pfa是指授權用戶不存在卻被錯誤檢測為存在的概率，可分別表示為

設非授權用戶接收的n個采樣點的信號向量為

信號向量經過I、Q解調后分割成2 個M行、n/M列的信號矩陣。

信號矩陣存在2 種情況，一種情況是存在授權用戶的發射信號與噪聲，另一種情況是僅存在噪聲。有無發射信號的區別在于采樣矩陣的整體分布不同。

3 基于ResDenNet 的頻譜感知方法描述

傳統CNN 頻譜感知方法[17]采用LeNet-5 網絡結構，將接收信號X的矩陣灰度圖作為CNN的輸入層，通過卷積（Conv,convolution）、池化（Pooling）、激活函數ReLU 和全連接（FC,full connection）整合提取特征，輸出層利用Softmax，輸出結果為H0、H1。傳統CNN 頻譜感知方法存在兩方面的不足。一方面，傳統CNN 頻譜感知方法的當前層的特征信息經過Conv 或Pooling操作后，不會參與之后的計算，導致對特征信息的浪費。另一方面，傳統CNN 頻譜感知方法結構簡單，不能提取更深層的灰度圖像特征。若直接增加過多的層數，會發生梯度消失，梯度一旦消失，CNN 無法更新權值信息，導致頻譜感知性能下降。

針對上述問題，本文在傳統CNN 頻譜感知方法中加入密集連接，使基本密集單元中的Conv 相互傳遞信息，將特征圖信息利用最大化。同時，在傳統CNN 頻譜感知方法中添加捷徑連接可解決梯度消失問題，使輸入層恒等映射更深層的網絡結構。CNN 深度的增加提升了圖像分類和識別的準確率。本文在傳統CNN 頻譜感知方法中結合上述思想，提出基于ResDenNet 的頻譜感知方法。該方法首先將接收信號的觀測向量分割成矩陣，將矩陣進行歸一化灰度處理作為ResDenNet 頻譜感知模型的輸入，使用離線數據訓練ResDenNet，將在線數據輸入ResDenNet 中，進行頻譜感知。頻譜感知模型如圖1 所示。

圖1 頻譜感知模型

3.1 數據預處理

為了仿真實際情況，本文對發射機和接收機分別進行仿真，進而生成訓練集和測試集。需要指出的是，對于實際頻譜感知系統來說，只需要接收機部分，不需要對發射機信號進行上述處理。QPSK 系統發射機與接收機仿真原理如圖2 所示，發射信號通過串并轉換、瑞利衰落信道、加性白高斯噪聲（AWGN,additive white Gaussian noise）加噪，得到接收信號。加入WGN 的發射信號或WGN 通過正交采樣、低通濾波和抽樣判決，得到I、Q兩路信號，然后共同組成頻譜感知模型的原始數據，即

圖2 QPSK 系統發射機與接收機仿真原理

其中，I(n)、Q(n)分別代表非授權用戶對接收到的I、Q兩路信號。對I、Q兩路信號的n個采樣點（n為M的整數倍）等距分割可得到M行n/M列的矩陣XI與XQ，其表達式分別為

對XI和XQ進行歸一化灰度處理，用灰度值表征矩陣歸一化后數值的大小。以矩陣XI為例，歸一化灰度處理步驟如下。首先，計算最大值和最小值的差值的倒數rec 如下

其次，設xm,n為XI中第m行第n列的數值，歸一化后的數值可表示為

將歸一化灰度處理后的XI與XQ作為ResDenNet 頻譜感知模型的輸入。

3.2 捷徑連接和密集連接

本文圖3～圖7 中，實線箭頭表示任意2 個卷積層結構的連接，虛線箭頭表示多個卷積層結構的省略連接。

傳統CNN 頻譜感知方法的結構如圖3 所示，第l層的輸入xl映射為第L層的輸出H(xL)。傳統CNN 頻譜感知方法若堆疊過多的網絡層數，當反向傳播更新權重、偏置以及損失函數時，會導致梯度消失。其原因是，反向傳播采用鏈式求導方法更新權值，對權值進行一系列連乘求偏導，使網絡淺層部分的梯度接近于0，影響淺層部分的權值得不到更新，導致頻譜感知模型性能下降。

圖3 傳統CNN 頻譜感知方法的結構

在傳統CNN 頻譜感知方法中加入捷徑連接可以改變梯度的流向，捷徑連接通過跳過一個或多個Conv實現輸出與輸入特征圖之間的殘差映射，為基本殘差塊（BRB,basic residual block），其結構如圖4 所示，F(·) 表示殘差特征映射圖，x l的梯度通過捷徑連接直接傳遞到H(xS)，特征映射圖H(xS)可表示為

圖4 BRB 的結構

殘差學習不需要每個輸入層xl都直接映射一個最優特征映射圖H(xS)，而是利用捷徑連接實現殘差映射F(xS)=H(xS)-xl，因此原最優特征映射圖H(xS)就變成了F(xS)+xl。BRB利用捷徑連接可使xl的梯度信息流向S層，避免了發生梯度消失問題，可利用深層網絡強大的特征提取能力進行頻譜感知。

BRB 并沒有多次利用每個Conv 輸出的信息，為加強BRB 的特征提取能力，本文通過密集連接，改進Conv 之間的信息流動，使任意不同的Conv實現特征信息重復利用，提高網絡的特征提取能力。基本密集塊（BDB,basic dense block）結構如圖5 所示，xl可以直接獲取x0,x1,…,xl-1經過Conv操作后的特征圖信息，xl可表示為

圖5 BDB 的結構

其中，[·] 表示不同特征圖中的密集連接。密集單元內部采用密集連接方式，將不同Conv 輸出的特征映射圖連接起來，實現了特征圖信息連續傳遞。

3.3 殘差密集網絡

ResDenNet 以殘差密集塊（RDB,residual dense block）為基礎，RDB 由多個Conv 和ReLU 構成，起到特征提取的作用，每個RDB 中的輸出都會與下一個RDB 的每個Conv 的輸出建立捷徑連接，實現特征圖信息連續傳遞。第d個RDB 結構如圖6所示。第d個RDB 的輸入與輸出分別為Fd-1和Fd，RDB 中第l個Conv 的輸出為

圖6 第d 個RDB 結構

其中，Hl(·) 表示含有批處理歸一化（BN,batch normalization）、ReLU、Conv 等操作的復合函數。

在RDB 的輸入與輸出之間引入捷徑連接，實現局部殘差學習。RDB 最后的輸出Fd可表示為

通過將RDB 的輸入和輸出相加實現局部殘差學習，進一步提高RDB 的特征提取能力，有助于提高頻譜感知能力。

RDB 將密集連接和捷徑連接的優勢結合起來，實現特征信息連續傳遞和局部殘差學習，可有效緩解梯度消失，實現更深的網絡，有望提取頻譜信號的深層特征，克服傳統CNN 頻譜感知方法特征提取能力受限的問題。

本文提出的深層ResDenNet 頻譜感知模型由輸入層、淺層特征提取Conv、多個RDB 級聯、FC和分類標簽組成。ResDenNet 頻譜感知模型如圖7所示，本文將含有接收信號的灰度圖像經過淺層卷積層特征提取F0作為RDB 的輸入，F0表示為

圖7 ResDenNet 頻譜感知模型

其中，xi表示輸入的第i張灰度圖像，W表示xi淺層提取的權值，H(·) 表示當前卷積層的非線性操作函數。

本文在RDB 內引入了捷徑連接，每個RDB 的輸入都與前面所有RDB 的輸出相連，形成殘差自適應學習，實現淺層特征與深層特征自適應結合，充分利用特征圖信息并且優化了網絡模型。RDB 通過Conv、ReLU 等操作，提取灰度圖像的密集特征，Fd的計算式為

其中，HRDB,d(·) 為第d個RDB 的非線性操作函數。

灰度圖像經過所有的RDB 特征提取后的FD表示為

針對頻譜感知特定的應用范圍，利用FC 中Softmax 函數對接收信號進行二分類，得到分類標簽結果H0或H1，進而完成頻譜感知。

本文設置ResDenNet 的RDB 內部的卷積核大小為1×1，淺層特征提取的卷積核為3×3，每層卷積核的個數為8。

3.4 ResDenNet 頻譜感知算法

ResDenNet 算法選擇m對訓練樣本數據對測試樣本數據其中為接收信號的矩陣，y(·)為接收信號的分類標簽值。訓練方法使用動量隨機梯度下降法（SGDM,stochastic gradient descent with momentum），ResDenNet 算法的輸入輸出的映射圖滿足

ResDenNet 訓練的損失函數為

4 實驗結果及分析

4.1 測試配置

本節通過MATLAB 仿真QPSK 解調過程，得到I、Q兩路信號的N個采樣點數值，分割成M行n/M列的矩陣并進行歸一化灰度處理。噪聲采用均值為0、方差為1 的WGN（或粉紅噪聲）。為模擬信道衰落效應，本節實驗使用MATLAB 仿真瑞利分布信道。訓練時參數按高斯分布隨機初始化，損失函數為交叉熵誤差函數，將小批量（MB,mini-batch）設置為128，使用SGDM 作為訓練方法，其中，動量因子設置為0.9，學習率設置為0.01。通過改變Simulink 的AWGN 模塊參數，得到不同SNR 下授權用戶發射信號數據。

4.2 算法的性能對比

為了驗證所提方法的有效性。本節設計5個實驗：實驗1 研究網絡層數對ResDenNet、CNN 頻譜感知方法性能的影響；實驗2 考察采樣點數對ResDenNet頻譜感知方法性能的影響；實驗3 對比ResDenNet、CNN[19]和SVM[10]頻譜感知方法的感知效率；實驗4對比在WGN、粉紅噪聲情況下，ResDenNet、CNN和SVM 頻譜感知方法的Pd；實驗5 比較ResDenNet、CNN 和SVM 頻譜感知方法的受試者工作特征（ROC,receiver operating characteristic）曲線。

1) 網絡層數對ResDenNet、CNN 頻譜感知方法性能的影響

本節實驗中，2 種網絡的參數相同、結構不同。ResDenNet 含有捷徑連接和密集連接，CNN 無捷徑連接和密集連接。為全面考察網絡層數對ResDenNet、CNN 頻譜感知方法性能的影響，實驗選擇多個SNR 混合的授權用戶發射信號作為訓練樣本：在SNR 為?19～0 dB 范圍內以1 dB 為間隔，每種SNR 取50 對信號數據，組成的1 000 對信號數據作為有信號的訓練樣本；取1 000 對WGN 信號作為沒有信號的訓練樣本。測試樣本選取方法如下：每種SNR 取5 對信號數據，組成的100 對信號數據作為有信號的測試樣本；取100 對WGN 信號作為沒有信號的測試樣本。

ResDenNet、CNN 分類準確率隨網絡層數L的變化如圖8 所示。由圖8 可知，當L<11 時，ResDenNet 的準確率比CNN 略高；當L≥11 時，ResDenNet 的準確率明顯高于CNN。如當L為5、20、74 時，ResDenNet 的準確率分別比CNN 高4%、34%、69%。原因在于ResDenNet 的密集連接對輸入的特征圖信息重利用，提升了ResDenNet 的特征提取能力，并且密集連接和捷徑連接緩解了梯度消失問題，有利于提高分類準確率。從圖8 還可以看出，當L=20 層時，ResDenNet 的準確率為最大值94%。可見采用ResDenNet 實現頻譜感知時，L并不需要太多，后文ResDenNet 頻譜感知方法取20 層。

圖8 ResDenNet、CNN 準確率隨網絡層數的變化

為了進一步說明深層CNN 頻譜感知分類準確率下降是由于梯度消失引起的，圖9 給出了20 層、44 層、74 層ResDenNet、CNN 損失隨迭代次數的變化。

由圖9 可知，3 種網絡層數下ResDenNet 頻譜感知模型的損失波動幅度均比CNN 大；20 層、44 層、74 層CNN 頻譜感知模型的損失分別穩定在0.63、0.65、0.70 左右。與20 層、44 層CNN 相比，74 層CNN 的損失更為平穩。由式(17)可知，損失函數與有關，由式(16)可知，映射圖的輸出與W有關。損失函數一直處于平穩狀態，可知卷積層的W沒有進行更新，在深層CNN 中發生了梯度消失，同樣說明，本文所提方法梯度消失不嚴重。

圖9 20 層、44 層、74 層ResDenNet、CNN 損失隨迭代次數的變化

2) 采樣點數對ResDenNet 頻譜感知方法性能的影響

在具體頻譜感知過程中，可以通過QPSK 系統獲取不同的采樣點數，來完成頻譜感知工作。不同的采樣點數可能影響ResDenNet 頻譜感知方法的性能。不失一般性，以64、81、100、400、900、1 600 個采樣點為例，分析ResDenNet 的頻譜感知分類準確率隨采樣點數的變化情況，如圖10 所示。

圖10 ResDenNet 準確率隨采樣點數的變化

由圖10 可知，隨著采樣點數增大，ResDenNet頻譜感知分類準確率總體呈先上升再下降的趨勢。如當SNR=?19 dB，采樣點數為64、81、100、400、900、1 600 時，頻譜感知分類準確率分別為74%、80%、90%、84%、80%、69%。由此可知，I路、Q路的采樣點數并不需要太多，下面本文以采樣點數為100 為例，進行實驗分析。

3) ResDenNet、CNN 和SVM 頻譜感知方法感知效率的對比

本節實驗中，2 種CNN 分別為5 層[19]（對應CNN-5L）和20 層與所提方法具有相同參數的網絡結構（對應CNN-20L），ResDenNet 與CNN-20L 不同之處在于有無捷徑連接和密集連接，訓練樣本和測試樣本選取方法同4.2.1 節。

幾種算法的Pd、Pfa、訓練時間和感知時間如表1 所示。由表1 可見，與CNN-20L 相比，本文方法的Pd提升71%，Pfa降低57%，所需訓練時間縮短10%，感知時間降低12%。這是由于ResDenNet中的捷徑連接和密集連接提高了收斂速度，縮短了訓練時間，同時緩解深層CNN-20L 由梯度消失帶來的Pd下降的問題。與CNN-5L 相比，本文所提方法的訓練時間增加了26%，感知時間增加了95%。原因在于本文方法具有20 層深層網絡，深層網絡比淺層網絡提取的特征信息更豐富，計算量略有提高。盡管如此，本文方法的Pd提升了13%，Pfa降低了68%。與SVM 相比，本文方法的Pd提升了124%，Pfa降低了83%且所需訓練時間增加了113%，感知時間降低了62%。這是由于ResDenNet 方法訓練參數多于 SVM，因此訓練時間長。感知階段，ResDenNet 算法可對接收信號的灰度圖像直接進行頻譜感知，而SVM 算法需重新提取特征參數，所以ResDenNet 頻譜感知方法所需的感知時間較短。考慮到在實際應用中訓練過程一般是一次性完成，而檢測過程要實時進行。因此，本文所提出的ResDenNet在實際應用中是高效可行的頻譜感知方法。

表2 幾種算法的Pd、Pfa、訓練時間和感知時間

從計算復雜度方面分析。n為訓練樣本數量。SVM 算法的復雜度為算法的復雜度為其中，L、Fl、Kl和Ql分別為網絡總層數、第l層卷積層輸出特征圖長度、卷積核長度和輸出通道數。ResDenNet 與CNN 算法計算復雜度的不同之處在于l。ResDenNet 算法中的捷徑連接和密集連接通過連接任意2 個卷積層，而CNN 中的l要從第一層堆疊到第L層，因此ResDenNet 減少了訓練參數，降低了計算復雜度。3 種算法的計算復雜度排序為

4) WGN、粉紅噪聲條件下本文方法與傳統CNN 和SVM 頻譜感知方法的Pd

本節實驗中傳統CNN 頻譜感知方法使用了經典的5 層網絡結構，SNR 在?19～0 dB 范圍內以1 dB 為間隔變化，每種SNR 下取非授權用戶測得的1 000 對信號數據，同時取1 000 對WGN噪聲數據為訓練樣本數據，每種SNR 下取非授權用戶測得的100 對信號數據，同時取100 對WGN或粉紅噪聲數據為測試樣本數據。

當測試樣本中的噪聲為WGN 時，圖11 給出了ResDenNet、CNN 和SVM 頻譜感知方法在SNR 為?19～0 dB 的Pd。由圖11 可見，當SNR

圖11 ResDenNet、CNN 和SVM 頻譜感知方法在不同SNR、測試樣本噪聲為WGN 下的Pd

大多數傳統頻譜感知方法都是基于噪聲是高斯白噪聲的假設。然而，在實際頻譜感知過程中，通信信道會不可避免地受到粉紅噪聲的影響。所以本文進一步驗證了所提方法在粉紅噪聲頻譜感知環境下的泛化能力。為了進一步說明ResDenNet 方法對不同噪聲功率不確定性具有穩健性，圖12 比較了在不同SNR、3 種方法不同噪聲不確定性（P=(1.0,1.1,1.2) dB，P為噪聲不確定性因子）下的Pd。

由圖12 可知，當存在噪聲功率不確定性時，本文方法的頻譜感知性能幾乎不受影響，說明了該方法對噪聲功率不確定性具有穩健性。當SNR

圖12 不同SNR、3 種方法不同噪聲不確定性下的Pd

5) 本文方法與傳統CNN、SVM 頻譜感知方法的ROC 曲線

記錄1 000 次的Pfa與Pd得到ResDenNet、CNN和SVM 頻譜感知方法的ROC 曲線，如圖13 所示。傳統CNN 頻譜感知方法使用經典的5 層網絡結構，以SNR=?19 dB 為例，訓練樣本取非授權用戶測得的1 000 對信號和1 000 對WGN，測試樣本取非授權用戶測得的100 對信號和100 對WGN。

圖13 ResDenNet、CNN 和SVM 頻譜感知方法的ROC 曲線

由圖13 可知，在Pfa一定時，本文方法的Pd高于CNN、SVM 方法。例如，在Pfa為0.1 時，ResDenNet、CNN、SVM 的Pd分別為0.96、0.75、0.46。其原因是ResDenNet 頻譜感知方法使用局部殘差學習結合了接收信號的淺層和深層的特征，提高了頻譜感知模型的特征提取能力，改善了卷積層中信息傳遞，提高了頻譜感知的Pd。

5 結束語

傳統CNN 頻譜感知方法的特征圖信息利用率低、不易訓練深層網絡來提升頻譜感知的準確率。本文在傳統CNN 頻譜感知方法中加入捷徑連接和密集連接，提出一種基于ResDenNet 的頻譜感知方法。數值實驗及理論分析表明，該方法充分利用特征圖信息并且采用深層網絡訓練頻譜感知模型，可提取更豐富、更深層的頻譜信號矩陣圖像特征，有助于提高灰度圖像識別和分類的準確率，進而提升頻譜感知性能。與傳統CNN、SVM算法相比，本文提出的ResDenNet 頻譜感知方法在Pfa一致的情況下，有著較高的Pd，當Pd一致時本文方法的Pfa較低，且對不同特性噪聲下的頻譜感知問題具有較強的泛化能力。下一步擬進一步研究殘差密集網絡在多用戶協作式頻譜感知方法中的應用。