基于殘差神經網絡和注意力機制的頻譜感知方法

王安義，孟琦峰，王明博

(西安科技大學 通信與信息工程學院，陜西 西安 710054)

0 引言

在全球信息技術和經濟發展中,頻譜資源已經成為各國建立新的競爭優勢的關鍵戰略資源,制約5G網絡高速大容量的重要因素之一頻譜資源的稀缺[1]。無線應用增長迅速,但固定頻譜分配策略導致資源利用不充分,需探索新的頻譜分配方法以高效利用頻譜資源[2-3]。為了解決頻譜資源短缺的問題,認知無線電(Cognitive Radio,CR)作為一種潛在的方法被提出[4],它允許次用戶(Secondary User,SU)在主用戶(Primary User,PU)不使用時訪問PU,進而使得PU的傳輸不會受到其他因素影響。

傳統的頻譜感知方法主要包括能量檢測(Energy Detection,ED)[5]、匹配濾波器檢測[6]和環平穩特征檢測[7-8]。傳統的頻譜感知方法在低信噪比(Signal to Noise Ratio,SNR)和復雜電磁環境下缺乏實時性和適應性,導致檢測準確率較低。例如,能量探測器在衛星頻譜傳感場景中有著廣泛應用,但在SNR下降到很低時,ED的表現依舊很差,甚至不能良好地工作。

深度學習(Deep Learning,DL)作為一種有效提取目標特征的方法,近年來已經被證明對許多復雜任務都是有效的,例如計算機視覺和自然語言處理等任務[9]。近年來,DL技術也開始廣泛應用于頻譜感知。文獻[10]將深度神經網絡與礦井下的頻譜感知相結合,雖然這種方法檢測概率有所提高,但是信號強度在礦井下嚴重衰落,導致在低SNR下該方法的檢測概率依然很低。文獻[11-12]提出利用信號協方差矩陣的頻譜感知方法,將協方差矩陣灰度圖像作為數據輸入到卷積神經網絡(Convolutional Neural Network,CNN)模型中,完成頻譜感知。文 獻[13-14]提出將信號的灰度圖像送入CNN中進行分類,從而確定PU是否存在。但是CNN模型在提取特征方面存在一定限制,而且隨著網絡層數的增加,容易出現梯度消失的問題,導致頻譜感知的準確度仍然相對較低。文獻[15]把殘差神經網絡應用到頻譜感知中,殘差網絡可以隨著網絡層數的增加而保持網絡模型的性能,進而減緩模型性能退化的情況發生。為了提高CNN特征提取的能力,從而有效捕捉到特征圖中更顯著的特征,文獻[16]引入了注意力機制,通過該機制可以增加目標重要特征的權重并抑制不重要信息的權重來提高模型的性能。

綜上,本文提出了一種基于殘差網絡和注意力機制相結合的正交頻分復用(Orthogonal Frequency Division Multiplexing,OFDM) 頻譜感知方法,該方法利用對OFDM信號的循環自相關性進行分析,將頻譜感知問題轉換為圖像處理問題。首先將信號循環自相關歸一化后進行灰度處理,得到灰度圖像,并將灰度圖像分為訓練集和測試集。然后將訓練集輸入到神經網絡模型中訓練提取信號的深層次特征。最后,使用訓練好的模型對測試集進行頻譜感知。

1 OFDM信號的循環自相關和系統模型分析

1.1 OFDM信號的循環自相關分析

OFDM的等效基帶信號為:

(1)

式中:G表示OFDM信號的總長度,P(t)表示矩形脈沖,Tc表示碼片時間,Ts表示符號有效周期時間,Ck,l表示插入CP中的第k個OFDM符號的第l個采樣點。

時域的表達式為:

(2)

式中:N表示有效長度,D表示插入CP的長度,l=0,1,…,G-1,ak,n表示第k個OFDM信號的第n個子載波上的調制數據,n=0,1,…,N-1。

OFDM信號中傳輸數據與其復制源之間的相關性為:

非對稱自相關函數表示為:

式中:τ=nτTc。插入CP引入了相關特性,從式中可以看出,OFDM信號有2個周期,大周期為Ts,小周期為Tc,所以有:

(5)

式中:τN=|τ|-NTc。

以上證明了OFDM信號具有循環自相關特征,并且Rx(t,τ)具有周期性。進一步對Rx(t,τ)進行傅里葉變換,該表達式可以表示為:

(6)

式中:α表示循環頻率。

1.2 OFDM信號的系統模型分析

頻譜感知是通過SU感知PU是否存在于一個特定的通道中。由此,頻譜感知可以建模為經典的二元假設檢驗問題,分別對應于PU的存在和不存在,該問題可以表示為:

(7)

式中:H1表示信道中有授權用戶,即存在OFDM信號;H0表示信道中無授權用戶。因此,頻譜感知問題可以被視為一個二元分類問題,其中H0表示僅存在噪聲,而H1表示存在PU信號和噪聲。此外,本文將通過檢測概率Pd和虛警概率Pfa這2個性能指標來評估頻譜感知模型的性能,Pd和Pfa的計算如下:

Pd=P{{H1|H1}},

(8)

Pfa=P{{H1|H0}}。

(9)

根據1.1節的說明,OFDM信號的循環自相關特征與噪聲信號有所不同。通過對三維循環譜圖進行歸一化處理,使用灰度值來表示循環譜圖中自相關值的大小(較深的顏色表示較大的值)。這一過程生成了H0和H1情況下的循環自相關灰度圖。其中,H0和H1情況下的三維循環自相關及其相應的灰度圖分別如圖1和圖2所示。

(a)H1時OFDM的循環自相關三維圖

(a)H0時OFDM的循環自相關三維圖

(b)H0時OFDM循環自相關灰度圖像

2 基于ResNet-CBAM的OFDM頻譜感知模型

2.1 頻譜感知系統框架

傳統的CNN頻譜感知模型通常采用LeNet-5網絡結構,由于其網絡層數較少,會造成特征提取的不充分。此外,隨著網絡層數的增加,網絡梯度消失的問題也會更加明顯,進而影響模型的感知性能。

針對上述問題,提出了具備更強的特征提取能力的ResNet-CBAM頻譜感知模型。該模型在傳統的CNN頻譜感知模型中加入殘差結構以緩解模型梯度消失的問題,同時使用注意力機制捕捉到特征圖中更顯著的特征。頻譜感知系統框架如圖3所示。首先采集OFDM信號,然后將其進行特征提取后映射轉化為灰度圖像,分為訓練集和測試集。然后使用訓練集訓練ResNet-CBAM頻譜感知模型,對數據進行深層次的特征提取并完成模型的訓練。最后將測試集輸入到模型中完成頻譜感知。

圖3 頻譜感知系統框架Fig.3 Framework of spectrum sensing system

2.2 ResNet-CBAM頻譜感知模型

傳統的CNN頻譜感知模型隨著網絡層數的增加,會導致模型梯度的消失,從而降低模型的準確率。為了解決這一問題,使用了殘差神經網絡ResNet作為頻譜感知的基準模型,如圖4所示,其中ResNet頻譜感知模型由輸入層、淺層特征提取Conv層、多個級聯的ResNetblock層、Fc層和分類標簽層組成。

圖4 ResNet頻譜感知模型Fig.4 ResNet spectrum sensing model

為了在網絡模型計算能力有限的情況下進一步提高模型的精度,提出了ResNet-CBAM頻譜感知模型,如圖5所示。該模型把卷積注意力機制 (Con-volutional Block Attention Module,CBAM) 整合到ResNet網絡中,即把圖4中級聯的Resblock替換為Resblock-CBAM。其中CBAM可以利用其空間注意力機制(Spatial Attention)和通道注意力機制(Channel Attention),將更多的計算資源分配到更重要的特征上并抑制對不重要特征的關注,進一步增強對圖像特征的提取,從而更好地學習信號特征,避免資源浪費。由于CBAM屬于輕量級模塊,在保留圖像信息并提升模型準確率的同時,不會增加過多的模型參數。在ResNet-CBAM模型中,淺層特征提取Conv層卷積核的大小為 1 × 1,卷積核數為 2,Resblock-CBAM卷積核大小為3× 3,卷積核數為16。

圖5 ResNet-CBAM頻譜感知模型Fig.5 ResNet-CBAM spectrum sensing model

Resblock-CBAM結構如圖6所示,由此可得ResNet-CBAM模型的殘差函數為:

圖6 Resblock-CBAM結構Fig.6 Resblock-CBAM structure

F(x)=f(x)+x+C(x),

(10)

式中:x為殘差塊輸入值,f(x)為Resblock的觀測值,C(x)為CBAM的觀測值,F(x)為Resblock-CBAM的輸出。

CBAM示意如圖7所示。

圖7 CBAM示意Fig.7 CBAM schematic

通道注意力機制為:

Mc(F)=σ{MLP[avgpool(F)]+MLP[maxPool(F)]}=

(11)

空間注意力機制為:

Ms(F)=σ(f7×7{[avgPool(F);maxPool(F)]})=

(12)

2.3 ResNet-CBAM模型的訓練

在ResNet-CBAM模型中,使用前n對數據{(x(1),y(1)),(x(2),y(2)),…,(x(n),y(n))}作為訓練集,后m對數據{(x(n+1),y(n+1)),(x(n+2),y(n+2)),…,(x(n+m),y(n+m))}作為測試集,其中x(·)表示灰度圖像,y(·)表示灰度圖像的標簽值。在該模型的前向傳播過程中從輸入到輸出映射關系為:

(13)

(14)

3 實驗分析

3.1 實驗條件

為了驗證ResNet-CBAM頻譜感知模型的性能,進行了以下的仿真實驗,并標明了實驗中使用到的參數配置。在實驗中,CPU采用Intel Core i7,GPU采用NVIDIA GeForce 3060。使用Matlab 2020a生成OFDM信號,該信號的載波頻率fc為10 MHz,采樣頻率fs為40 MHz,選取SNR為-20～0 dB的OFDM信號作為實驗數據。選取的OFDM信號經過瑞利信道和高斯白噪聲信道后,按照1.2節的方法對信號進行循環自相關歸一化處理,再將處理后的信號轉化成灰度圖像。在轉化灰度圖像的過程中,設置采樣點N=900,使得構建的灰度圖像長、寬為30。OFDM信號的詳細參數如表1所示。模型訓練的損失函數采用交叉熵損失函數,訓練過程中使用自適應矩估計(Adam)[17]優化算法 ,Batch設為32,學習率為0.001。

表1 OFDM參數Tab.1 OFDM parameters

3.2 實驗1 模型的網絡層數對模型準確率的影響

在本實驗中,OFDM信號的SNR在-20～0 dB,以2 dB為間隔變化,每種SNR下取相同數量的OFDM信號數據和噪聲數據,每種SNR選取100組數據,形成1 100組信號數據和1 100組噪聲數據。為了創建訓練數據集,選擇了990組信號數據和990組噪聲數據,而110組信號數據和110組噪聲數據則保留為測試數據集。在實驗設置中,ResNet-CBAM和CNN均采用相同數量的卷積層。圖8顯示了隨著網絡深度增加,頻譜感知方法(ResNet-CBAM和CNN)的分類準確率變化情況。

圖8 ResNet-CBAM、CNN的準確率隨網絡層數的變化Fig.8 Changes of ResNet-CBAM,CNN accuracy with the number of network layers

ResNet-CBAM、CNN的準確率隨網絡層數的變化如圖8所示,當網絡層數小于23時,ResNet-CBAM的準確率持續上升,并在23層時達到最高,CNN準確率持續下降至50%,而ResNet-CBAM的準確率始終比CNN高。隨著層數的逐步增加,ResNet-CBAM的準確率緩慢下降至85%左右,而CNN的準確率一直維持在50%。網絡層數的增加導致CNN梯度的消失,從而使得模型的準確率下降。然而深度ResNet-CBAM由于可以有效提取更多的圖像特征,從而提高模型的準確率。過深的網絡層數也會使ResNet-CBAM的性能下降,因為過深層數的ResNet-CBAM在訓練時會出現過擬合現象。由于ResNet-CBAM在網絡層為23時準確率最高,所以本文中ResNet-CBAM模型的網絡層數選取為23。

3.3 實驗2 殘差結構對模型損失的影響

本實驗中ResNet-CBAM和CNN的網絡層數均為23,數據集選取方式與實驗1相同。ResNet-CBAM、CNN的損失隨迭代次數的變化如圖9所示,隨著迭代次數的增加,ResNet-CBAM的損失最終穩定在0.1左右,而CNN的損失下降幅度小,很難收斂,最終維持在0.66左右,并且ResNet-CBAM的損失始終低于CNN的損失。ResNet-CBAM、CNN的準確率隨迭代次數的變化如圖10所示,隨著迭代次數增加,ResNet-CBAM的準確率穩定在0.96左右,CNN的準確率穩定在0.52左右,而且ResNet-CBAM的準確率始終遠高于CNN的準確率。說明ResNet-CBAM的優勢在于具有殘差結構,能夠防止梯度消失發生,降低了損失并且提高了準確率,在CNN中加入殘差結構可以有效防止梯度消失問題。

圖10 ResNet-CBAM、CNN的準確率隨迭代次數的變化Fig.10 Changes of ResNet-CBAM,CNN accuracy with the number of iterations

3.4 實驗3 訓練數據規模對ResNet-CBAM性能的影響

為了對比不同規模的訓練樣本對23層的ResNet-CBAM檢測概率的影響,選取了SNR在 -20～0 dB間隔為2 dB的訓練數據,其中每種SNR下取相同數量的OFDM信號數據和噪聲數據,取 4個不同大小的訓練集(H),分別為4 400、8 800、 17 600、22 000。測試集由1 100組信號數據和 1 100組噪聲數據組成。訓練數據規模對算法檢測概率影響如圖11所示,在訓練樣本較小時,ResNet-CBAM在不同SNR下檢測概率波動很大。隨著樣本規模的增大,ResNet-CBAM在不同SNR下檢測概率逐漸增加。

圖11 訓練數據規模對算法檢測概率影響Fig.11 Influence of training data size on algorithm detection probability

3.5 實驗4 不同模型的頻譜感知檢測概率比較

ResNet-CBAM、CNN、SVM、ED和自相關檢測(Autocorrelation Detection,AD)[18]在不同SNR下的檢測概率如圖12所示。

圖12 ResNet-CBAM、CNN、SVM、ED和AD在不同SNR下的檢測概率Fig.12 Detection probabilities of ResNet-CBAM,CNN,SVM,ED and AD under different SNR

比較了ResNet-CBAM、CNN、SVM、ED和AD頻譜感知方法SNR在-20～0 dB下的檢測概率。本實驗中,實驗數據選取實驗3中樣本規模H=22 000的數據集作為訓練集,由1 100組信號數據和1 100組噪聲數據組成測試集。由于傳統算法不需要訓練,樣本為接收端處理后的數據?？梢钥闯?在SNR低于-10 dB時ResNet-CBAM頻譜感知方法的檢測概率始終高于CNN、SVM、ED和AD頻譜感知檢測概率。這是因為ResNet-CBAM具有注意力模塊,能夠提取更多有用的特征并抑制無用的特征,從而有效提高模型的檢測能力。

除了檢測概率,虛警概率也是評估頻譜感知算法性能的重要度量之一。為了全面驗證所提出的ResNet-CBAM頻譜感知方法的有效性,進行了一組實驗,其中SNR=-14 dB。通過多次實驗系統記錄虛警概率及其對應的檢測概率,獲得了ResNet-CBAM、CNN、SVM、ED和AD頻譜感知方法的Receiver Operating Characteristic(ROC)曲線,如圖13所示。

由圖13可以看出,ResNet-CBAM頻譜感知方法具有更優的檢測性能。在虛警概率Pfa=0.05時,ResNet-CBAM、CNN、SVM、ED和AD五種方法的檢測概率分別為0.98、0.87、0.70、0.36和0.30。在給定虛警概率的情況下,ResNet-CBAM的檢測概率優于其余4種方法,說明ResNet-CBAM通過殘差結構和注意力機制可以有效提高特征提取能力,從而提高檢測概率。

4 結束語

針對傳統CNN模型在頻譜感知中存在的梯度消失和特征提取不足等問題,通過結合殘差神經網絡和注意力機制,提出了ResNet-CBAM頻譜感知方法。通過利用OFDM信號的循環自相關性來獲取其灰度圖像,并將這些圖像作為模型的數據集,將頻譜感知問題轉化為圖像處理問題。仿真結果表明,在低SNR條件下,這一方法不僅在性能上超越了常規的CNN頻譜感知方法、避免了梯度消失等問題,還在相同的虛警概率下,相較于傳統的SVM、ED等頻譜感知方法,表現出更高的檢測概率。