基于深度學(xué)習(xí)的信源數(shù)估計(jì)方法

麻凱利，王川川

(電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，河南 洛陽(yáng) 471003)

0 引言

盲源分離(BBS) 自20世紀(jì)80年代開(kāi)始發(fā)展，是一種非常實(shí)用的信號(hào)處理方法，指的是從混合的觀測(cè)信號(hào)中提取、分離出無(wú)法直接得到的原始信號(hào)的技術(shù)。空間譜技術(shù)中大部分算法需要知道入射信號(hào)數(shù)N，以此作為盲源分離的前提和基礎(chǔ)，因而輻射源個(gè)數(shù)估計(jì)也一直是研究的熱點(diǎn)和難點(diǎn)。

現(xiàn)在信源數(shù)估計(jì)的主要算法有：信息論準(zhǔn)則[1]、矩陣分解法、蓋氏圓準(zhǔn)則(GDE)[2]和正則相關(guān)技術(shù)。其中信息論準(zhǔn)則適用于陣元接收的噪聲是高斯白噪聲的場(chǎng)合，而實(shí)際環(huán)境中更多地存在有色噪聲，在有色噪聲的干擾下，算法性能會(huì)受很大影響。矩陣分解法需要接收的信號(hào)有比較高的信噪比。在有色噪聲的環(huán)境下可以使用蓋氏圓準(zhǔn)則和正則相關(guān)技術(shù)對(duì)信源數(shù)作有效的估計(jì)，但是正則相關(guān)技術(shù)的信源數(shù)估計(jì)需要有兩個(gè)分開(kāi)陣列的接收信號(hào)，因而使用的陣列需要滿足一定的孔徑。蓋氏圓準(zhǔn)則因?yàn)槠湓诘托旁氡鹊那闆r下正確率比信息論準(zhǔn)則和矩陣分解法要高，而且在有色噪聲的情況下仍然可以有效估計(jì)信源數(shù)，所以得到了廣泛使用。

蓋氏圓準(zhǔn)則設(shè)計(jì)中存在人為確定調(diào)整因子的問(wèn)題，因而整個(gè)過(guò)程不能完全自動(dòng)處理，并且需要進(jìn)行奇異值分解，計(jì)算量較大。GDE準(zhǔn)則法在低信噪比條件下檢測(cè)性能也不盡如人意。使用基于深度學(xué)習(xí)的命名為3CPB的模型，則可以使系統(tǒng)在數(shù)據(jù)中自適應(yīng)地調(diào)整參數(shù)，不但識(shí)別性能得到改善，而且避免了人為因素造成的影響。

將信號(hào)轉(zhuǎn)換為二維時(shí)頻圖[3]之后使用深度卷積網(wǎng)絡(luò)來(lái)對(duì)信號(hào)進(jìn)行分析[4]是現(xiàn)下技術(shù)水平中一個(gè)可行的路線。但這其中涉及到網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)與優(yōu)化、網(wǎng)絡(luò)參數(shù)的選擇等。深度學(xué)習(xí)技術(shù)在信號(hào)分析中的使用更多的是淺層網(wǎng)絡(luò)的使用，近幾年優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)還沒(méi)有能引入到信號(hào)處理的網(wǎng)絡(luò)中來(lái)提高信號(hào)源數(shù)估計(jì)的性能。在綜合考慮網(wǎng)絡(luò)的規(guī)模、結(jié)構(gòu)、參數(shù)之后，可以使用端到端的卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)信號(hào)源的數(shù)目進(jìn)行一個(gè)準(zhǔn)確的估計(jì)，在源數(shù)估計(jì)問(wèn)題上開(kāi)辟一個(gè)新的技術(shù)路線。

1 神經(jīng)網(wǎng)絡(luò)理論

深度學(xué)習(xí)中主要使用的是多層神經(jīng)網(wǎng)絡(luò)，其主要分為前向神經(jīng)網(wǎng)絡(luò)(FNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)兩種。最普遍的神經(jīng)網(wǎng)絡(luò)類(lèi)型是前向網(wǎng)絡(luò)，其設(shè)計(jì)基礎(chǔ)是受到人類(lèi)大腦皮層結(jié)構(gòu)的啟發(fā)，網(wǎng)絡(luò)由一層一層的計(jì)算單元疊加而成，每層的輸出進(jìn)行一定的變換并作為下一層的輸入，每層計(jì)算單元由數(shù)量固定的神經(jīng)元組成。在每個(gè)網(wǎng)絡(luò)模型中，首層是輸入層，最后一層為輸出層，中間所有的層都叫做隱含層。前向網(wǎng)絡(luò)中，數(shù)據(jù)從輸入層開(kāi)始，經(jīng)過(guò)數(shù)個(gè)隱含層的變換，自底向上的傳遞，并經(jīng)過(guò)輸出層得出計(jì)算結(jié)果，網(wǎng)絡(luò)結(jié)構(gòu)是有個(gè)有向無(wú)環(huán)圖。圖1展示了前向神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的幾種結(jié)構(gòu)示例，箭頭代表了數(shù)據(jù)的傳遞方向，方框代表了每個(gè)計(jì)算層。本節(jié)以前向網(wǎng)絡(luò)為基礎(chǔ)介紹神經(jīng)網(wǎng)絡(luò)中一些基礎(chǔ)概念。在計(jì)算機(jī)視覺(jué)中前向網(wǎng)絡(luò)針對(duì)圖像的二維矩陣特性發(fā)展為一種卷積神經(jīng)網(wǎng)絡(luò)(CNN)，由于其結(jié)構(gòu)的特殊性，本文在下一節(jié)介紹卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)知識(shí)。

圖1 神經(jīng)網(wǎng)絡(luò)的常見(jiàn)結(jié)構(gòu)

1.1 神經(jīng)網(wǎng)絡(luò)的前向傳播

前向傳播是數(shù)據(jù)從輸入層，經(jīng)過(guò)隱含層的變換最終從輸出層得到計(jì)算結(jié)果的一系列計(jì)算過(guò)程。以形式較為簡(jiǎn)單的分類(lèi)神經(jīng)網(wǎng)絡(luò)為例，樣本的輸入為x，樣本的標(biāo)簽為y，隱含層中使用的非線性激活函數(shù)為σ。則輸入層下一層的隱含層輸入為α(1)和激活h(1)之間的關(guān)系為：

α(1)=W(1)x+b(1)

(1)

h(1)=σ(a(1))

(2)

式中，W(1)是參數(shù)矩陣，是與輸入數(shù)據(jù)維度對(duì)應(yīng)的矩陣數(shù)列，需要由訓(xùn)練過(guò)程來(lái)確定，b(1)為偏差向量，初始為隨機(jī)數(shù)，也是由迭代訓(xùn)練來(lái)確定。激活函數(shù)σ使用sigmoid函數(shù)進(jìn)行非線性變換。由此步驟將第一層的參數(shù)傳輸?shù)较乱粚樱W(wǎng)絡(luò)的前向傳播依次一層一層向后傳播直到網(wǎng)絡(luò)的輸出層。

1.2 神經(jīng)網(wǎng)絡(luò)的反向傳播

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個(gè)從后向前依次更新參數(shù)的過(guò)程，使用梯度下降的方法指導(dǎo)參數(shù)更新。因此，計(jì)算網(wǎng)絡(luò)損失函數(shù)的值對(duì)參數(shù)的梯度來(lái)說(shuō)非常重要，反向傳播就是通過(guò)不斷迭代來(lái)計(jì)算參數(shù)梯度的最普遍的方法。由于神經(jīng)網(wǎng)絡(luò)層數(shù)多，是一個(gè)復(fù)雜的非線性系統(tǒng)，損失函數(shù)的解析式很難得出，因而反向傳播以一種一層一層信息傳遞的方式來(lái)迭代進(jìn)行，在每層計(jì)算出每個(gè)計(jì)算單元中參數(shù)的梯度。也就是說(shuō)，反向傳播是一個(gè)局部的算法，每次計(jì)算的時(shí)候只考慮局部的輸入輸出，不用考慮整個(gè)網(wǎng)絡(luò)模型。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)[5-6]是最廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)的一個(gè)發(fā)展方向。卷積神經(jīng)網(wǎng)絡(luò)可以提供多任務(wù)的融合以及端到端的訓(xùn)練和測(cè)試，使得算法會(huì)更簡(jiǎn)便。卷積神經(jīng)網(wǎng)絡(luò)是針對(duì)圖像所設(shè)計(jì)的一種特殊的前向神經(jīng)網(wǎng)絡(luò)，針對(duì)圖像二維矩陣數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行了優(yōu)化，主要包含卷積層、池化層、全連接層、激活函數(shù)層這幾種計(jì)算層。

1.3.1 卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)最有特色的一部分，同時(shí)該層中也包含了整個(gè)網(wǎng)絡(luò)中絕大部分的參數(shù)。卷積層是對(duì)二維輸入進(jìn)行滑動(dòng)窗卷積，也就是對(duì)圖像的空域卷積。網(wǎng)絡(luò)中每一層的節(jié)點(diǎn)只與前一層的k×k的局部區(qū)域相連接，前一層參與連接的k×k個(gè)點(diǎn)構(gòu)成與之連接的這個(gè)節(jié)點(diǎn)的感受野，因此，隨著層數(shù)的增加，感受野也在不同層之后逐漸積累，越來(lái)越大。即底層的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的圖像上的點(diǎn)比較少，感受野小，更上層的節(jié)點(diǎn)對(duì)應(yīng)的圖像上的點(diǎn)多，感受野大。這在一定程度上也造成了卷積層在前幾層提取到的特征較為低級(jí)，如邊緣、線條、角，而更高層的卷積層提取到更高級(jí)的特征。

1.3.2 批量歸一化

深度神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練的另一個(gè)原因是模型是由一層一層的神經(jīng)網(wǎng)絡(luò)疊加而構(gòu)成，每一層作用于前一層之上，訓(xùn)練時(shí)每一層權(quán)值的調(diào)整都是基于上一層的輸出。然而，在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，每一層的參數(shù)在變化，輸出數(shù)據(jù)的分布也隨之變化，這樣，網(wǎng)絡(luò)每一層輸入數(shù)據(jù)的分布受到之前所有層的影響，這使得權(quán)值的更新在擬合一個(gè)變動(dòng)的權(quán)值分布，并且網(wǎng)絡(luò)越深，底層微小的參數(shù)變化累積后的效應(yīng)會(huì)更加明顯。

這一現(xiàn)象影響了網(wǎng)絡(luò)訓(xùn)練的速度同時(shí)也使網(wǎng)絡(luò)更加難以訓(xùn)練，Ioffe等人[7]提出了批量歸一化(BN)，將網(wǎng)絡(luò)每一層的輸入數(shù)據(jù)的每一維進(jìn)行歸一化。同時(shí)，BN 引入尺度參數(shù)γ和偏移參數(shù)β使得網(wǎng)絡(luò)的表達(dá)能力不下降。BN層的歸一化參數(shù)與網(wǎng)絡(luò)參數(shù)的訓(xùn)練同步進(jìn)行。BN極大地提高了網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性和速度，是訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)必用的關(guān)鍵技術(shù)。

1.3.3 池化層

池化層主要作用是通過(guò)降低數(shù)據(jù)的大小來(lái)減少訓(xùn)練的參數(shù)個(gè)數(shù)，并且可以有效地防止數(shù)據(jù)過(guò)擬合的發(fā)生。最常用的方法是最大化池化、平均池化，即在給定池化區(qū)域和步長(zhǎng)之后，從區(qū)域中選擇數(shù)值最大的點(diǎn)或者區(qū)域平均值作為整個(gè)區(qū)域的代表，這種操作可以提取區(qū)域內(nèi)最有特征的點(diǎn)并增加抗噪能力。

1.4 不同深度的抽象能力

圖2 不同層的可視化

池深度學(xué)習(xí)之所以能有很強(qiáng)的特征表達(dá)能力，很大程度上得力于模型有很多個(gè)層次結(jié)構(gòu)，不同卷積層能學(xué)習(xí)到不同抽象程度的特征，圖2中展示了使用Zeiler[8]等人設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集上學(xué)習(xí)得到的各層特征的可視化。對(duì)于每一個(gè)卷積層，圖2中展示了其最高的9 個(gè)響應(yīng)值，同時(shí)伴隨顯示了該響應(yīng)所對(duì)應(yīng)的原圖上的感受野。可以看到，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征表示能力，同時(shí)，隨著網(wǎng)絡(luò)層數(shù)的升高，網(wǎng)絡(luò)對(duì)于圖像中的相應(yīng)面積越來(lái)越大，所提取的特征也從底層梯度特征逐漸擴(kuò)大到高層目標(biāo)區(qū)域特征。

可以看出在卷積層前幾層所學(xué)習(xí)到的特征為邊緣、角的特征，而層數(shù)加深的時(shí)候慢慢學(xué)到更抽象的一些概念如輪子、眼睛等，而這種底層特征在不同目標(biāo)之間是通用的，即在信號(hào)數(shù)據(jù)處理過(guò)程中，也存在著神經(jīng)網(wǎng)絡(luò)前幾層提取的特征較為底層，而隨著網(wǎng)絡(luò)的加深，所提取到的信息更加抽象、更加復(fù)雜。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

2.1 單通道信號(hào)時(shí)頻特征提取

估計(jì)輻射源信號(hào)個(gè)數(shù)時(shí)，要對(duì)傳感器內(nèi)接收到的信號(hào)進(jìn)行一定的預(yù)處理，文獻(xiàn)[9]指出雷達(dá)信號(hào)時(shí)頻特征具有唯一可辨識(shí)性，因此，在本系統(tǒng)中采用短時(shí)傅里葉變換(STFT)將信號(hào)表征為二維時(shí)頻分布。可注意到，一方面變換域同時(shí)涵蓋了時(shí)域和頻域的有意調(diào)制信息，另一方面可考慮利用圖像處理方式處理二維時(shí)頻圖，示例圖如圖3所示。

圖3 幾種典型信號(hào)的時(shí)頻圖

同時(shí)，在卷積網(wǎng)絡(luò)池化層、權(quán)值共享等相關(guān)機(jī)制的作用下，時(shí)頻圖原本維度過(guò)高的缺點(diǎn)也能得到抑制，這也是深度卷積網(wǎng)絡(luò)在圖像上應(yīng)用的一大特點(diǎn)。

選取7種有代表性的信號(hào)來(lái)構(gòu)造訓(xùn)練集、測(cè)試集，以驗(yàn)證算法的有效性，即使用線性調(diào)頻LFM信號(hào)、非線性調(diào)頻NLFM信號(hào)、二頻率編碼BFSK、四頻率編碼QFSK、二相編碼BPSK、四相編碼QPSK編碼、常規(guī)脈沖信號(hào)CP這7種典型信號(hào)的不同混合來(lái)模擬混合信號(hào)。圖3為二頻編碼、二相編碼、QPSK編碼的幾個(gè)樣本。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

現(xiàn)有的應(yīng)用于數(shù)據(jù)分析的基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)大多只是淺層網(wǎng)絡(luò)，只包含一個(gè)隱含層，并不能將深度卷積網(wǎng)絡(luò)的特性充分發(fā)揮。然而過(guò)于深的網(wǎng)絡(luò)或者過(guò)于寬的網(wǎng)絡(luò)又會(huì)出現(xiàn)訓(xùn)練困難、無(wú)法收斂或者是過(guò)擬合等問(wèn)題。需要針對(duì)具體問(wèn)題、數(shù)據(jù)特點(diǎn)設(shè)計(jì)相應(yīng)深度、寬度、結(jié)構(gòu)的網(wǎng)絡(luò)。

2.2.1 網(wǎng)絡(luò)搭建

在網(wǎng)絡(luò)結(jié)構(gòu)上，根據(jù)實(shí)際問(wèn)題決定網(wǎng)絡(luò)的深度，一般認(rèn)為卷積層的個(gè)數(shù)為網(wǎng)絡(luò)的深度。同時(shí)過(guò)深的網(wǎng)絡(luò)也會(huì)導(dǎo)致訓(xùn)練過(guò)程容易發(fā)散或者網(wǎng)絡(luò)過(guò)擬合的問(wèn)題。在本問(wèn)題中，使用3個(gè)卷積層，每個(gè)卷積層之后都加上池化層，以此減小圖片的維度，提取其中有用特征。在分析圖3后，認(rèn)為與普通分類(lèi)任務(wù)相比，時(shí)頻圖的池化操作中更應(yīng)保持信號(hào)的能量，尤其是在較低分辨率的情況下，因而網(wǎng)絡(luò)中所有的池化層都采用最大池化，如圖4中的pool模塊。為增強(qiáng)模型非線性表達(dá)能力，在每個(gè)卷積層后都添加激活層。這個(gè)操作在卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中基本已經(jīng)成為標(biāo)準(zhǔn)操作。模型難以在一行中畫(huà)出， 以數(shù)字1、 2表示對(duì)應(yīng)的連接。

圖4 3PCB模型結(jié)構(gòu)圖

考慮到讓網(wǎng)絡(luò)有更好的訓(xùn)練效果，在2次pooling操作后還分別加入2個(gè)批量歸一化層，保證網(wǎng)絡(luò)可以盡快收斂。由于本模型最大的特征是有3個(gè)卷積層，及每個(gè)卷積層后都有pool池化和Batch Normalization操作，因而為這個(gè)模型取名3CPB模型，即3個(gè)卷積、池化、批量歸一化的線性網(wǎng)絡(luò)。

2.2.2 Kernel Size

在近幾年Alexnet[10]、VGGNe[11]等網(wǎng)絡(luò)的設(shè)計(jì)經(jīng)驗(yàn)中，知道了用更小的卷積核可以使網(wǎng)絡(luò)在有相同感受野的情況下有更多的非線性表達(dá)能力、更少的參數(shù)、更容易訓(xùn)練。如一個(gè)5×5的卷積核感受野為25，參數(shù)為25個(gè)。而用3×3的卷積核時(shí)，要完成對(duì)5×5面積的卷積，則需要2層：第一層卷積后得到3×3的特征圖，第二層卷積之后得到1個(gè)特征點(diǎn)。小卷積核對(duì)相同5×5面積進(jìn)行濾波一共需要9+1=10個(gè)參數(shù)，而2層的特征表達(dá)能力又會(huì)比一層表達(dá)能力更強(qiáng)，因而更小的卷積核可以使得計(jì)算量更小、網(wǎng)絡(luò)表達(dá)能力更強(qiáng)。因此針對(duì)信號(hào)源數(shù)估計(jì)的網(wǎng)絡(luò)我們普遍采用3×3的卷積核。

3 實(shí)驗(yàn)設(shè)計(jì)

在仿真生成混疊信號(hào)時(shí)，在添加不同強(qiáng)度的隨機(jī)高斯噪聲的情況下，仿真生成20000組不同數(shù)據(jù)，其中包括單個(gè)信號(hào)、不同的2種信號(hào)的混疊、不同的3種信號(hào)的混疊。每種信號(hào)的強(qiáng)度、參數(shù)、以及添加的噪聲都是隨機(jī)的。將整個(gè)數(shù)據(jù)集中40%拿出來(lái)當(dāng)作測(cè)試集檢驗(yàn)?zāi)Ｐ托ЧＳ嗖糠之?dāng)作訓(xùn)練集。為了加快模型訓(xùn)練、檢測(cè)速度，將混疊信號(hào)的時(shí)頻圖片縮放到32×32大小后作為網(wǎng)絡(luò)的輸入。圖5分別為1種、2種、3種信號(hào)的混疊。其中圖5(a)是二頻編碼，圖5 (b)是二頻編碼和二相編碼信號(hào)的混疊，圖5 (c)是三種信號(hào)的混疊的時(shí)頻圖。其信號(hào)源個(gè)數(shù)分別為1、2、3。

圖5 混疊信號(hào)時(shí)頻圖

Caffe平臺(tái)是一個(gè)非常流行的深度學(xué)習(xí)框架，這個(gè)模型也基于caffe來(lái)構(gòu)建，訓(xùn)練模型過(guò)程中超參選擇為迭代60000次、初始學(xué)習(xí)率設(shè)為0.001，學(xué)習(xí)率固定不變。

對(duì)比網(wǎng)絡(luò)在不同信噪比的情況下對(duì)信號(hào)源數(shù)估計(jì)的準(zhǔn)確率，同時(shí)也對(duì)比相同信噪比情況下，不同網(wǎng)絡(luò)配置時(shí)準(zhǔn)確率的變化，以找到網(wǎng)絡(luò)結(jié)構(gòu)對(duì)源數(shù)估計(jì)相關(guān)問(wèn)題的優(yōu)化方向。

本文在不同信噪比情況下對(duì)網(wǎng)絡(luò)識(shí)別的性能進(jìn)行了對(duì)比試驗(yàn)，同時(shí)也就池化層的2種方式訓(xùn)練了不同的模型來(lái)對(duì)照。表1中信噪比-5dB的情況下，池化層是最大化池化的設(shè)置確實(shí)可以使網(wǎng)絡(luò)更加精確。在信噪比越高的情況下，識(shí)別精度也隨之提高。在信噪比10dB的數(shù)據(jù)集中可以達(dá)到98.5%的識(shí)別準(zhǔn)確率。

表1 不同條件下源數(shù)估計(jì)準(zhǔn)確率

4 結(jié)束語(yǔ)

在信號(hào)盲源分離領(lǐng)域，針對(duì)信號(hào)源數(shù)估計(jì)的問(wèn)題，本文引入深度學(xué)習(xí)這一方法。通過(guò)將信號(hào)變換到時(shí)頻空間，使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行問(wèn)題求解。借鑒現(xiàn)有的較成熟的網(wǎng)絡(luò)結(jié)構(gòu)，針對(duì)問(wèn)題規(guī)模、時(shí)頻圖像特征，通過(guò)設(shè)計(jì)、調(diào)參、精調(diào)等方式使用3CPB模型解決問(wèn)題。將深度卷積網(wǎng)絡(luò)引入源數(shù)估計(jì)領(lǐng)域，為源數(shù)估計(jì)開(kāi)辟了除傳統(tǒng)方法之外的新的技術(shù)路線，使得模型在有色噪聲干擾下有較好的識(shí)別效果。