基于深度卷積神經網絡的協作頻譜感知方法

蓋建新 薛憲峰 吳靜誼 南瑞祥

(哈爾濱理工大學測控技術與儀器黑龍江省高校重點實驗室 哈爾濱 150080)

1 引言

頻譜感知是認知無線電技術的一項關鍵性任務。傳統的單節點頻譜感知方法主要包括能量檢測[1]、循環平穩特征檢測[2]、匹配濾波檢測[3]等。傳統的單節點頻譜感知方法易受到陰影衰落、低信噪比(Signal to Noise Ratio,SNR)和隱藏終端等影響。文獻[4–6]提出基于信號協方差矩陣的協作頻譜感知算法，在一定程度上彌補了上述頻譜感知方法的缺陷。為解決協作頻譜感知確定檢測門限難的問題，研究人員將機器學習策略引入頻譜感知?；跈C器學習的頻譜感知方法無需確定檢測門限，就可進行信號識別和分類。文獻[7–9]提出基于支持向量機(Support Vector Machine,SVM)的頻譜感知方法，該方法將接收到的能量信號作為特征向量，能夠有效地區分信號和噪聲，SVM算法存在需構造特征參數以及訓練時間較長的不足。卷積神經網絡(Convolutional Neural Network,CNN)具有多層網絡結構，適合解決圖像特征提取問題，在提取2維圖像特征方面具有優勢[10–13]。文獻[10–13]將CNN引入高光譜分類中，并取得了較高的識別率。文獻[14–16]將CNN引入頻譜感知領域中，將接收信號的灰度圖像作為CNN的輸入，然后訓練CNN模型進行頻譜感知。該方法無需理論推導檢測門限，無需構造特征參數。但傳統CNN頻譜感知方法受限于網絡層數少，提取的特征信息有限。隨著訓練網絡層數的增加，CNN容易出現梯度消失，導致頻譜感知準確率下降。

捷徑連接早期應用在霍普菲爾德網絡[17]，通過在兩個神經元之間加入一條“捷徑”的回路，使梯度直接傳遞到下一個神經元，有利于網絡信息傳遞。早期的多層感知機也在網絡層之間添加捷徑連接，用于解決梯度消失，實現堆疊更多的網絡層數[18,19]。深層結構的網絡有助于提升圖像分類和識別的準確率，將捷徑連接引入頻譜感知問題，捷徑連接可以跳過1個或多個層，使得梯度更容易傳遞到更深的網絡，有望克服傳統CNN頻譜感知方法提取圖像特征受限、深層的網絡導致梯度消失等問題。

為解決CNN頻譜感知方法網絡結構簡單導致提取接收信號的特征信息有限，直接堆疊層數會降低頻譜感知準確率和頻譜感知效率等問題，本文在CNN中加入捷徑連接，提出深度卷積神經網絡(Deep Convolutional Neural Network,DCNN)協作頻譜感知方法。本方法首先將接收信號的協方差矩陣進行歸一化處理，形成協方差灰度圖像。然后使用DCNN頻譜感知模型學習灰度圖像的深層特征。最后將測試數據輸入到DCNN頻譜感知模型中，完成基于圖像分類的頻譜感知。理論分析和實驗結果驗證了本文方法的有效性。

2 系統模型

假設認知無線電網絡是由1個授權用戶和M個非授權用戶組成的。非授權用戶檢測有無授權用戶信號可表示為2元假設檢驗問題

其中，H0表示頻譜空閑；H1表示頻譜占用。x(n)表示接收信號，s(n)表 示授權用戶的發射信號，u(n)表示均值為0和方差為σ2的高斯分布噪聲。從分類的角度可將H0,H1表示為二分類問題：H0只有噪聲，H1有授權用戶的發射信號和噪聲。本文采用文獻里常用檢測概率Pd和虛警概率Paf兩個頻譜感知性能指標來評價頻譜感知算法性能，檢測概率和虛警概率分別定義為

設第k個非授權用戶接收的信號向量為

接收信號矩陣為

其中，N為接收信號的采樣點數。接收信號協方差矩陣R使用N點接收信號矩陣X進行估計，其表達式為

在H0情況下，R矩陣中對角線元素僅包含噪聲功率信息；在H1情況下，對角線元素包含授權用戶的發射信號和噪聲信息。本文利用在H0和H1情況下接收信號協方差矩陣圖像的特征差異，借助深度學習在圖像分類方面的優勢來完成頻譜感知。

3 基于DCNN的協作頻譜感知方法

傳統CNN頻譜感知模型采用LeNet-5網絡結構[16]。CNN的層數越多，學習到的特征越豐富，這樣更有利于對圖像進行分類。傳統CNN頻譜感知模型結構簡單，過多地增加網絡層數會出現梯度消失，導致圖像分類準確率下降。

本文為提高CNN提取深層圖像特征的能力，在傳統CNN頻譜感知方法中加入捷徑連接，提出DCNN協作頻譜感知方法。該方法首先將接收信號的觀測向量矩陣轉換成協方差矩陣灰度圖像作為DCNN頻譜感知模型的輸入，使用訓練集數據訓練DCNN頻譜感知模型，提取深層2維灰度圖像的信息，將測試數據輸入到模型中，完成基于圖像分類的頻譜感知。頻譜感知模型如圖1所示。

圖1 頻譜感知模型

3.1 數據預處理

圖2為正交相移鍵控(Quadrature Phase Shift Keying,QPSK)系統框圖，接收信號通過串并轉換、瑞利信道、加性高斯白噪聲(Additive White Gaussian Noise,AWGN)、低通濾波、抽樣判決得到I,Q兩路信息。

圖2 QPSK系統框圖

當非授權用戶數為M時，R矩陣大小為M×M，接收信號為

其中，Ik(n)和Qk(n)分別代表第k個非授權用戶接收到I路和Q路信號。M個非授權用戶進行N次采樣得到接收信號的實部和虛部的矩陣，其表達式分別為

3.2 殘差學習

在研究更深層的CNN收斂時，梯度消失問題時有發生。殘差學習在一定程度上可以解決梯度消失問題。如圖3所示，殘差學習不需要每一層X都直接對應一個最優特征映射圖H(X)，而是通過捷徑連接實現殘差映射F(X):=H(X)-X。這樣原最優特征映射圖H(X)改寫成F(X)+X。F(X)+X通過在上一層網絡中做一個捷徑連接來實現。

DCNN的塊結構定義為

其中，x和y分別為各層的輸入和輸出向量，F(x,{Wi})表示殘差特征映射圖。在圖3中，DCNN的塊結構有2層，F=W2f(W1x)中的f為線性整流函數(Rectified Linear Unit,ReLU)。相比于CNN,DCNN的復雜度并未提高，因為在正向傳播時，F(X)+X是由F(X)和X相加得出的，并未引入額外的參數。

圖3 DCNN的塊結構

3.3 捷徑連接

本文受文獻[17–19]啟發，在傳統CNN頻譜感知方法中引入捷徑連接思想用于解決梯度消失問題。為了便于分析且不失一般性，圖4給出了簡化的具有多個殘差學習模塊(Residual Learning Module,RLM)的DCNN模型示意圖，省略了第1個淺層特征提取的卷積層以及捷徑連接內的卷積層。

圖4 簡化的DCNN結構

DCNN通過捷徑連接由淺層l到深層L的學習特征，可表示為

利用鏈式求導法則，反向傳播過程中的梯度為

在前向傳播過程中，DCNN的期望輸出與實際輸出存在誤差，誤差損失函數可表示為

在反向傳播過程中，圖4中最后一層x18的梯度表示為

將l=15,12,9,6,3,0分別代入式(11)，并與式(13)聯立可推導出x0的梯度

使用類似方法推導未加入捷徑連接的CNN的反向傳播，可得x0的梯度為

從式(14)可以看出，在DCNN中加入捷徑連接，有了系數1的存在，即使每個卷積層的權值W進行累乘，得到的數值接近為0，x0的梯度也不會出現梯度消失問題。從式(15)可以看出隨著網絡層數的增加，每個卷積層的權值W進行累乘，使得x0的梯度變化越來越小，直到消失。

3.4 DCNN的結構

本文設計的21層DCNN是由輸入層、卷積層(Conv)、批處理規范化層(Batch Normalization,BN),RLM1～6,ReLU層、全連接層、分類標簽和捷徑連接組成的。圖5為DCNN的結構框圖，DCNN使用捷徑連接恒等映射到更深層次的網絡，同時避免梯度消失的問題。在低SNR、多用戶協作感知時，DCNN頻譜感知方法的性能指標顯著超過傳統CNN頻譜感知方法的性能指標。

圖5 DCNN的結構框圖

本文設計的DCNN結構參數如表1所示。其中，m@(n×n)中m表 示卷積核個數，n表示卷積核大小。

表1 DCNN的結構參數

圖6為基本RLM，當卷積層的大小發生改變時，捷徑連接通過使用1×1卷積層及BN來改變卷積層的大小。

圖6 基本RLM

其中，Conv表示卷積層，K表示卷積核的數量，S表示填充的大小。

3.5 DCNN頻譜感知算法

本文所提基于DCNN的頻譜感知算法如表2所示。DCNN頻譜感知算法采用m對訓練數據{(x(1),y(1)),...,(x(m),y(m))}，n對測試數據{(x(m+1),y(m+1)),...,(x(m+n),y(m+n))}，其中，x(·)表示接收信號的協方差矩陣，y(·)表示接收信號的分類標簽值。DCNN頻譜感知模型的輸入到輸出的殘差映射圖表示為

表2 基于DCNN的協作頻譜感知算法

DCNN訓練的損失函數表示為

4 實驗結果及分析

4.1 測試配置

實驗中CPU采用Intel Core i7-1065G7,GPU采用NVIDIA GeForce MX350。本文面向通信中常用的QPSK調制方式，通過MATLAB仿真QPSK調制解調過程，得到I,Q兩路各自的協方差矩陣信號數據并進行歸一化灰度處理，作為授權用戶發射信號的數據集。QPSK的串行信息比特率為20 kbps，載波頻率為40 kHz，每個載波周期的采樣點數為40，噪聲是均值為0、方差為1的高斯白噪聲(White Gaussian Noise,WGN)。為模擬信道衰落效應，實驗中用MATLAB仿真瑞利分布信道。模型訓練的損失函數采用均方誤差函數，訓練時所有參數按高斯分布隨機初始化。訓練時將小批量(batch)設定為16，采用動量GDM作為訓練方法，動量因子為0.9，學習率為0.01。通過調整Simulink的AWGN模塊參數，得到不同SNR下授權用戶發射信號數據。協方差矩陣灰度圖的大小是M×M，本文訓練非授權協作用戶M為40的DCNN模型。

4.2 算法的性能對比

本文設計4個實驗來驗證基于DCNN的協作頻譜感知方法的有效性。實驗1考察網絡層數對DCNN,CNN頻譜感知方法分類準確率的影響；實驗2對比捷徑連接對DCNN,CNN頻譜感知方法的梯度的影響；實驗3對比DCNN,CNN[16]和SVM[7]頻譜感知方法的感知效率；實驗4對比DCNN,CNN和SVM頻譜感知方法的感知精度。

實驗1考察網絡層數對DCNN,CNN頻譜感知方法分類準確率的影響。

本實驗中，授權用戶發射信號數據的SNR在–19～0 dB范圍內變化，步進為1 dB。每種SNR選取50組信號數據，形成的1000組信號數據作為有信號的訓練集。選取1000組WGN信號作為無信號的訓練集。為了具有普遍意義，測試集也選取多種SNR的信號，選取方法如下：每種SNR選取5組信號數據，形成的100組信號數據作為有信號的測試集；選取100組WGN信號作為無信號的測試集。在實驗中，DCNN和CNN都采用相同卷積層數，圖7給出了隨著網絡層數的增多DCNN,CNN頻譜感知方法分類準確率的變化曲線。

由圖7可見，當網絡層數小于等于16時，DCNN比CNN的準確率稍高；網絡層數大于16時，DCNN的準確率先上升，在網絡層數為21時達到最高點，隨后緩慢下降至90%左右。而此時CNN的準確率則是急劇下降，在網絡層數為21層時低至50%，最后穩定在50%左右。圖8給出了在不同非授權用戶數時，DCNN頻譜感知分類準確率隨網絡層數的變化情況(DCNN_10,DCNN_20,DCNN_40分別對應10,20,40個非授權用戶)。由圖8可見，在其他非授權用戶數時，DCNN也呈現出上述近似規律。究其原因，網絡層數過多，導致CNN梯度消失，訓練誤差變大，進而影響了分類準確率。深層DCNN通過提取更多的灰度圖像特征起到了提升頻譜感知分類準確率的作用。然而過深的DCNN分類準確率也出現了緩慢下降，其原因是過深的DCNN所需要訓練的參數會增加，頻譜感知模型的復雜度也會隨著變高，過深的DCNN訓練時出現了過擬合。當網絡層數達到21層時，DCNN的準確率達到峰值，故本文選取具有21層網絡結構的DCNN作為頻譜感知網絡模型。

圖7 DCNN,CNN準確率隨網絡層數的變化

由圖8還可以看出，在網絡層數相同時，隨著非授權用戶數的增多，總體上DCNN頻譜感知分類準確率呈上升趨勢。由于非授權用戶的數量增多，所提供授權用戶發射信號的特征信息也隨之增多，有助于提升DCNN頻譜感知方法分類準確率。

圖8 不同非授權用戶數的DCNN分類準確率隨網絡層數的變化

實驗2對比捷徑連接對DCNN、CNN頻譜感知方法的梯度的影響。

本實驗中，DCNN,CNN頻譜感知方法選取的網絡層數為21層，卷積層和卷積核的大小參數相同，數據集選取方法同實驗1。圖9和圖10分別為DCNN,CNN的準確率、損失隨著迭代次數的變化曲線。

由圖9和圖10可見：隨著迭代次數的增加，DCNN的準確率逐漸穩定在99%左右，CNN的準確率穩定在50%左右，DCNN的準確率顯著高于CNN的準確率；DCNN的損失穩定在0.02左右，CNN的損失穩定在0.69左右，DCNN的損失低于CNN的損失。可見隨著迭代次數的增加，DCNN在準確率和損失方面均表現出了較大優勢。DCNN優勢可歸因于其模型中有捷徑連接，梯度信息可跨層傳遞，抑制了梯度消失的發生，降低了損失，提高了準確率；而CNN在網絡層較多時，隨著迭代次數的增加則很快發生了梯度消失現象，在進行反向傳播時，卷積層的權值參數無法得到更新，導致CNN模型訓練的準確率大幅度下降。充分說明在傳統CNN頻譜感知方法中加入捷徑連接可提高網絡模型的準確率并緩解梯度消失問題。

圖9 DCNN,CNN的準確率隨迭代次數的變化

圖10 DCNN,CNN的損失隨迭代次數的變化

實驗3DCNN,CNN和SVM頻譜感知方法的感知效率對比。

在實驗中，DCNN和CNN頻譜感知方法使用了5層(分別對應DCNN_5L,CNN_5L)和21層(分別對應DCNN_21L,CNN_21L)的網絡，其他的網絡參數相同。實驗的數據集選取方法與實驗1相同。

表3對比了3種不同頻譜感知方法在離線訓練時間、在線檢測時間等方面的性能。由表3可見，當DCNN,CNN具有相同的網絡參數時，DCNN的在線檢測時間和離線訓練時間優于CNN頻譜感知方法。這是由于DCNN中的捷徑連接加快網絡收斂速度，縮短在線檢測時間和離線訓練時間。與SVM[7]相比，本文方法所需離線訓練時間較長，在線檢測時間較短。這是由于DCNN所需要訓練的參數要多于SVM方法，導致離線訓練時間略長。在線檢測階段，信號數據可直接輸入預先訓練好的DCNN中，而SVM仍需提取信號數據的特征參數，因此，DCNN頻譜感知方法所需的在線檢測時間更短。

表3 3種算法的離線訓練時間和在線檢測時間(s)

從復雜度角度考慮。令n表示訓練樣本數，m表示非授權用戶數。SVM算法需要計算矩陣特征值和進行復雜度為O(n3)的分類，總體的復雜度為O(nm3+n3)。CNN頻譜感知算法的復雜度為[20]，其中，L,Fl,Kl,Ql分別表示網絡層數、第l個Conv輸出的特征圖的邊長、卷積核的邊長以及輸出通道數。DCNN頻譜感知算法的復雜度與CNN算法的復雜度的唯一的差別在于網絡層數l的不同。DCNN頻譜感知算法通過捷徑連接可以跳過一個或多個Conv，這使得中的l可以“跳躍式”選擇層數，而不需要像CNN算法那樣復雜度l從第1層一直累加到第L層，因此DCNN減少了訓練卷積層所需要的參數，降低了算法的復雜度。

實驗4DCNN,CNN和SVM頻譜感知精度對比。

圖11比較了DCNN,CNN和SVM頻譜感知方法在SNR為–19～0 dB的檢測概率。在實驗中，每種SNR下取40個非授權用戶共同測得的1000組信號數據和1000組WGN噪聲數據為訓練集數據，每種SNR下取40個非授權用戶共同測得的100組信號數據和100組WGN噪聲數據為測試集數據。由圖11可見，當SNR低于–10 dB時，DCNN的檢測概率始終高于CNN,SVM的檢測概率，例如，在SNR=–19 dB時，DCNN,CNN的檢測概率分別為0.98,0.88。當SNR大于等于–10 dB時，DCNN的檢測概率與CNN相同、優于SVM，其原因是DCNN利用深層網絡的優勢，能夠提取更豐富的接收信號的信息，有效地區分有無授權用戶發射信號。

圖11 DCNN,CNN和SVM在不同SNR下的檢測概率

虛警概率也是評價頻譜感知有效性的重要指標之一。為了更全面地驗證所提出DCNN頻譜感知方法的有效性，通過統計和記錄1000次實驗中的虛警概率及其對應的檢測概率，得到了DCNN,CNN和SVM頻譜感知方法的受試者工作特征(Receiver Operating Characteristic,ROC)曲線，如圖12所示。實驗中，每次實驗選取數據集的方法與實驗1相同。

圖12 DCNN,CNN和SVM頻譜感知方法的ROC曲線

由圖12可見，總體上3種頻譜感知算法虛警概率與檢測概率相互制約，欲獲得較高的檢測概率，虛警也會增大。在虛警概率Paf=0.01時，SVM,CNN,DCNN 3種方法的檢測概率分別為0.60,0.76,1.00。在虛警概率一定時，DCNN的檢測概率高于CNN,SVM的檢測概率，其原因是DCNN通過殘差學習，只需要學習網絡輸出與輸入之間的差值，降低了提取灰色圖像特征的難度，提高了檢測概率。

5 結論

針對傳統CNN頻譜感知方法提取特征能力依賴網絡深度、過深的網絡引起梯度消失等問題，本文在傳統CNN中結合捷徑連接的思想，提出一種基于DCNN的協作頻譜感知方法。本方法將頻譜感知問題轉化為圖像二分類問題，將接收信號的協方差矩陣轉換為灰度圖像，通過訓練DCNN頻譜感知分類器，將測試集數據輸入訓練好的分類器中，完成基于圖像分類的頻譜感知。數值仿真結果表明，相比于CNN,SVM等頻譜感知方法，本文提出的DCNN頻譜感知方法，在相同的虛警概率下具有更高的檢測概率，在相同的檢測概率下虛警概率更低，且網絡不易發生梯度消失等問題。