基于CNN-SVM的調(diào)制方式識(shí)別優(yōu)化算法

念茂， 郭里婷, 陳平平

(福州大學(xué)物理與信息工程學(xué)院， 福建 福州 350108)

0 引言

調(diào)制識(shí)別是指在不了解接收信號(hào)的情況下, 確定其調(diào)制類型的一種技術(shù)手段[1]， 被廣泛運(yùn)用在軍事和民用領(lǐng)域. 傳統(tǒng)的調(diào)制識(shí)別算法可以分為兩大類[2]： 基于決策理論的方法和基于統(tǒng)計(jì)模式識(shí)別的方法. 決策論方法是基于概率論和假設(shè)檢驗(yàn)原理[3], 計(jì)算量大且復(fù)雜; 而基于統(tǒng)計(jì)模式的方法主要在于對(duì)特征的選擇和提取， 根據(jù)所提取到的特征選用特定的分類器對(duì)其進(jìn)行分類識(shí)別. 相比之下， 基于統(tǒng)計(jì)模式的方法更加簡(jiǎn)單易實(shí)現(xiàn)， 因此其得到更廣泛的應(yīng)用.

近年來， 深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域得到了廣泛的應(yīng)用[4]. 能夠通過對(duì)圖像的學(xué)習(xí)來自動(dòng)地提取其特征， 漸漸取代了人工提取特征， 因此在分類識(shí)別算法方面受到了眾多科研工作者的青睞. 文獻(xiàn)[5]提出一種利用深度稀疏卷積神經(jīng)網(wǎng)絡(luò)來提取信號(hào)循環(huán)譜特征的方法. 該方法所需要的訓(xùn)練樣本過大， 進(jìn)而導(dǎo)致訓(xùn)練時(shí)間長(zhǎng)， 并且在0 dB信噪比時(shí)識(shí)別率僅為90%， 因此該方法實(shí)用性較差. 文獻(xiàn)[6]提出基于高階累積量的識(shí)別方法， 并根據(jù)高階累積量設(shè)計(jì)特征參量， 以此作為判斷閾值來對(duì)不同的已調(diào)信號(hào)進(jìn)行分類識(shí)別， 該算法由于人為設(shè)計(jì)特征值， 加大算法的計(jì)算復(fù)雜度， 并且在信噪比為10 dB時(shí)才能達(dá)到96%的正確識(shí)別率， 低信噪比下的分類結(jié)果不盡如人意. 文獻(xiàn)[7]提出提取信號(hào)循環(huán)譜的等高圖獲得二維特征信息， 并采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)二維特征信息進(jìn)行訓(xùn)練分類的算法， 但該算法在信噪比為0 dB時(shí)僅有90.17%的準(zhǔn)確識(shí)別率， 識(shí)別效果較為一般.

本研究對(duì)不同已調(diào)信號(hào)采用譜平滑周期圖法做循環(huán)譜估計(jì)， 生成循環(huán)譜圖， 截取循環(huán)譜等高圖作為特征圖， 然后利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)和t分布鄰域嵌入算法(t-distributed stochastic neighbor embedding,t-SNE)結(jié)合形成的特征提取器來提取特征， 由于支持向量機(jī)(support vector machine, SVM)在小樣本的情況下具有極佳的分類性能， 并且其擅長(zhǎng)處理非線性的分類問題以及具有較好的結(jié)構(gòu)穩(wěn)定性， 因此將提取到的特征值輸入到SVM來進(jìn)行分類， 實(shí)現(xiàn)已調(diào)信號(hào)的有效分類識(shí)別. 實(shí)驗(yàn)仿真結(jié)果表明， 該算法不僅表現(xiàn)出了較好的識(shí)別效果， 在SNR較低的環(huán)境依然保持較高的識(shí)別準(zhǔn)確率， 并且具有較強(qiáng)的魯棒性.

1 循環(huán)譜估計(jì)與圖像預(yù)處理

1.1 循環(huán)理論分析

平穩(wěn)噪聲信號(hào)的統(tǒng)計(jì)均值為常量， 其循環(huán)均值和循環(huán)自相關(guān)函數(shù)在非零循環(huán)頻率上恒為0， 即平穩(wěn)噪聲不具有循環(huán)平穩(wěn)性[8]， 因此信號(hào)的循環(huán)譜具有很好的抗噪性能， 對(duì)后續(xù)提升模型的準(zhǔn)確分類提供了有力的支撐.

通信系統(tǒng)傳輸模型表達(dá)式如下:

r(t)=x(t)+n(t)

(1)

其中:r(t)表示接收到的信號(hào)；x(t)代表經(jīng)過調(diào)制后的信號(hào)；n(t)為信道產(chǎn)生的隨機(jī)噪聲.Rx(t;τ)為信號(hào)r(t)的廣義循環(huán)平穩(wěn)過程自相關(guān)函數(shù)， 表示如下：

Rx(t;τ)=E{r(t)r*(t-τ)}

(2)

這里,τ表示時(shí)間間隔.將Rx(t;τ)用傅里葉展開：

(3)

(4)

(5)

1.2 循環(huán)譜圖處理

常用的循環(huán)譜估計(jì)算法有基于時(shí)域的快速傅里葉累加算法(FAM)、 SSCA算法、 時(shí)域平滑周期圖法， 以及基于頻域的數(shù)字頻域平滑算法(DFSM)和譜平滑周期圖法. 本研究采用計(jì)算速度較快的譜平滑周期圖算法來對(duì)調(diào)制信號(hào)做循環(huán)譜估計(jì). 計(jì)算過程如下：

對(duì)信號(hào)x(t)做傅里葉變換：

(6)

并且循環(huán)譜周期圖為：

(7)

(8)

這里，

(9)

式(9)為周期相關(guān)圖. 則譜平滑周期圖的循環(huán)譜估計(jì)函數(shù)為：

(10)

對(duì)六種已調(diào)信號(hào)利用上述譜平滑周期圖法計(jì)算生成循環(huán)譜圖， 如圖1所示：

(a) 2FSK

(b) 4FSK

(c) BPSK

(d) QPSK

(e) 16QAM

(f) 64QAM

最后對(duì)生成的循環(huán)譜特征圖裁剪去除邊緣冗余信息， 然后將其做二值化處理， 生成CNN的輸入圖像， 關(guān)于CNN的搭建將在下節(jié)給出.

2 基于CNN-SVM的調(diào)制方式識(shí)別

2.1 CNN網(wǎng)絡(luò)的搭建

圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of CNN network

卷積神經(jīng)網(wǎng)絡(luò)由于其在特征提取方面有著卓越的表現(xiàn)， 被越來越多地應(yīng)用在圖像分類識(shí)別領(lǐng)域. 本研究搭建23層CNN網(wǎng)絡(luò)用來提取循環(huán)譜特征值. 具體的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示. 圖中: conv代表卷積層， 其步長(zhǎng)皆為1. maxpool代表最大池化層， 步長(zhǎng)為2， bn為標(biāo)準(zhǔn)化層； relu為激活函數(shù)層; gap(global average pool)為全局平均池化層， fc為全連接層; softmax為分類層; output為輸出層. 本研究使用SVM作為分類器， 因此訓(xùn)練數(shù)據(jù)無需經(jīng)過fc及以下幾層， 直接從gap提取所需要的循環(huán)譜特征值.

2.2 t-SNE降維

因?yàn)樵贑NN中， 從gap層提取出的特征值是高維的， 故采用t分布鄰域嵌入算法(t-SNE)降維技術(shù)降低特征值的維度， 通過降低高維特征值的維度來減少后續(xù)的計(jì)算， 并且還能進(jìn)一步地提取特征值.t-SNE是一種高效的降維算法， 是由SNE發(fā)展而來， 其主要思想是構(gòu)建相似目標(biāo)之間的概率分布. 具體算法實(shí)施如下：

對(duì)于高緯輸入數(shù)據(jù)x1,x2, …,xN， 輸入之間相似的條件概率：

(11)

(12)

設(shè)定Qj|i=0， 代價(jià)函數(shù)為：

(13)

根據(jù)t分布的對(duì)稱性， 則代價(jià)函數(shù)可以改寫為：

(14)

并且有Pij=Pji,Qij=Qji， 因此式(11)～(12)可以改寫為：

(15)

圖3 特征值聚類圖Fig.3 Clustering graph of eigenvalue

由CNN中g(shù)ap層提取出的特征值， 經(jīng)t-SNE降維， 聚類情況如圖3. 可以很直觀地看出， 六種已調(diào)信號(hào)根據(jù)其特征值被劃分到6個(gè)不同的區(qū)域. 以下將給出SVM的設(shè)計(jì).

2.3 SVM分類器的設(shè)計(jì)

SVM很擅長(zhǎng)處理非線性的分類問題， 并且有著不俗的分類表現(xiàn)， 因此本研究算法采用SVM作為最終的分類器. SVM算法的主要思想是找到一個(gè)最大間隔超平面使得需要分類的對(duì)象離這個(gè)平面的距離最大， 分離超平面為

wx+b=0

(16)

具體步驟如下：

1) SVM的輸入可以用如下的集合表示.

T={(x1,y1), (x2,y2), …, (xN,yN)}

(17)

其中:xi∈Rn，yi∈{+1, -1},i=1, 2, …,N，xi為第i個(gè)輸入，yi表示每個(gè)輸入對(duì)應(yīng)的類別.

2) 選擇高斯核函數(shù).

(18)

3) 構(gòu)造求解凸二次規(guī)劃問題.

(19)

4) 計(jì)算b*.

(20)

5) 計(jì)算w*.

(21)

6) 輸出分類決策函數(shù).

(22)

圖4 算法流程圖Fig.4 Flow chart of the algorithm

則整個(gè)分類模型的設(shè)計(jì)流程為： 輸入圖像數(shù)據(jù)經(jīng)CNN網(wǎng)絡(luò)訓(xùn)練， 提取gap層輸出的特征值， 將提取到的高維特征值采用t-SNE降維處理， 經(jīng)CNN+t-SNE處理后得到的特征值作為SVM的輸入數(shù)據(jù)進(jìn)行訓(xùn)練， 最終得到CNN-SVM分類器， 整個(gè)調(diào)制方式識(shí)別流程框圖如圖4所示.

3 仿真實(shí)驗(yàn)

3.1仿真實(shí)驗(yàn)及結(jié)果分析

圖5 整體識(shí)別率隨信噪比的變化Fig.5 Change of overall recognition rate with SNR

圖6 不同已調(diào)信號(hào)識(shí)別率隨信噪比的變化Fig.6 The change of recognition rate of different modulated signals with SNR

針對(duì)BPSK， QPSK， 2FSK， 4FSK、 16QAM、 64QAM六種已調(diào)信號(hào)， 令載波頻率fc=1 kHz， 抽樣頻率fs=10 kHz， 采樣數(shù)N為2 048， 平滑窗M取64， 信噪比取值范圍為從-10 dB到10 dB， 每2 dB取一組做實(shí)驗(yàn)， 共11組， 對(duì)上述六種已調(diào)信號(hào)添加隨機(jī)噪聲， 然后再進(jìn)行循環(huán)譜計(jì)算. 每種已調(diào)信號(hào)每信噪比生成300張循環(huán)譜特征圖， 一種信噪比下共有1 800張圖， 輸入到CNN+t-SNE特征提取器中提取特征， 取其中70%的特征提取器的輸出結(jié)果作為SVM分類器所需要的訓(xùn)練數(shù)據(jù)， 剩下的30%用來測(cè)試結(jié)果. 并與CNN+SVM(未加t-SNE)作比較， 經(jīng)實(shí)驗(yàn)仿真， 本研究所提算法整體識(shí)別率變化如圖5所示.

分析實(shí)驗(yàn)結(jié)果， 由圖5可以看出， 當(dāng)信噪比低于0 dB時(shí)， 本研究所提算法在識(shí)別率方面高于未添加t-SNE時(shí)CNN+SVM的算法， 當(dāng)信噪比在0 dB以上， 兩種算法的識(shí)別率基本相同. 并且可以看出， 在信噪比高于-2 dB時(shí)候算法識(shí)別準(zhǔn)確率穩(wěn)定在96%以上， 表明了該算法在低信噪比的條件下依然具有很好的識(shí)別效果.

不同已調(diào)信號(hào)的識(shí)別率隨著信噪比的增加而增大(圖6)， 在信噪比高于-2 dB時(shí)， 六種已調(diào)信號(hào)的識(shí)別率都保持高于90%. 因此驗(yàn)證了該算法提出對(duì)于提高低信噪比環(huán)境下分類識(shí)別的有效性.

3.2 算法比較

文獻(xiàn)[9]提出利用欠完備自編碼器對(duì)已調(diào)信號(hào)提取特征并利用三層全連接層神經(jīng)網(wǎng)絡(luò)來作為分類器進(jìn)行識(shí)別的算法. 文獻(xiàn)[10]提出利用高階統(tǒng)計(jì)量的特性， 構(gòu)造特征參數(shù)， 并采用SAE-softmax網(wǎng)絡(luò)進(jìn)行調(diào)制分類的方法. 取信噪比從0到10 dB， 間隔2 dB， 共6組信噪比， 分別將每組信噪比下本研究所提算法與文獻(xiàn)[9-10]所提算法的分類識(shí)別率進(jìn)行對(duì)比， 結(jié)果如表1所示:

表1 各算法識(shí)別率對(duì)比

由表1各算法的比對(duì)結(jié)果可以看出， 本研究所提算法在識(shí)別率上高于文獻(xiàn)[9-10]所提算法， 并且由于文獻(xiàn)[9]使用的欠完備自編碼器是全連接的網(wǎng)絡(luò)結(jié)構(gòu)， 參數(shù)較多， 學(xué)習(xí)復(fù)雜度較大. 并且其局部參數(shù)的調(diào)整很容易影響到整體結(jié)構(gòu)的參數(shù)調(diào)整， 造成模型不穩(wěn)定， 因此魯棒性較差. 而卷積神經(jīng)網(wǎng)絡(luò)采用的是局部連接結(jié)構(gòu)， 達(dá)到參數(shù)共享， 因此所需參數(shù)較少， 并且相比全連接結(jié)構(gòu)參數(shù)更易于調(diào)整. 相比較下， 卷積神經(jīng)網(wǎng)絡(luò)比欠完備自編碼器更容易處理圖像且識(shí)別率也更好. 故本研究所提算法相比文獻(xiàn)[9]計(jì)算效率更快， 模型更具魯棒性. 文獻(xiàn)[10]采用高階累積量對(duì)信號(hào)做預(yù)處理， 并且其使用的堆疊自編碼器同樣存在參數(shù)較多及模型魯棒性較差的問題， 由于本研究采用的是二階循環(huán)譜計(jì)算， 因此， 相比之下計(jì)算量就更少.

4 結(jié)論

將CNN和t-SNE結(jié)合起來作為特征提取器， 結(jié)合SVM優(yōu)越的分類性能， 設(shè)計(jì)出分類模型， 將整個(gè)分類模型各個(gè)模塊細(xì)化， 方便不同模塊的修改變更以及整個(gè)模型的優(yōu)化調(diào)整， 可拓展性和發(fā)揮空間更大. 本研究提出的算法是基于循環(huán)譜和卷積神經(jīng)網(wǎng)絡(luò)的調(diào)制識(shí)別算法， 首先對(duì)BPSK、 QPSK、 2FSK、 4FSK、 16QAM、 64QAM這六種已調(diào)信號(hào)進(jìn)行譜平滑周期圖法計(jì)算循環(huán)譜， 截取循環(huán)譜等高圖做裁剪、 二值化操作， 然后輸入到CNN進(jìn)行特征提取， 對(duì)于CNN中g(shù)ap層提取到的特征值采用t-SNE降維， 最終輸入到SVM進(jìn)行訓(xùn)練、 分類識(shí)別. 實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法相比于其他算法， 在低信噪比的環(huán)境下有更好的識(shí)別準(zhǔn)確率.